管理员
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.04
; D$ Z a0 p1 i0 O; H2 q7 s& T. y! H
- ###更新仓库' ~ u; [/ ]# n
; y2 B9 z5 r- b9 H- apt-get update -y4 h9 j% l% y! I" e, {! ]
- apt-get install wget -y7 }# ?& k* b8 @8 Y% L" u/ @2 U
- #下载nginx和相关软件包
复制代码 ^# ^! f: t" |5 x( O+ O
: j# R1 _5 X. B$ P0 @
pcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。
: j) m; ?( ]. ?: A
8 @1 l1 G/ D5 _" o5 O- L# ?# U- cd /usr/local/src
9 ~' D! a' _4 r6 {& u$ m - wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>
( U, q) F( K# V x- s0 \* e - wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>! l# J" w- g' Z7 X1 L' S9 S, |
- wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>
, K0 ]) ]6 a- D8 `% C- V - tar xf pcre-8.33.tar.gz6 [0 ? `) b q/ y* W( x
- tar xf zlib-1.2.8.tar.gz
1 Q0 A/ K: J" N - #安装编译环境
' G& h: [1 s7 n3 d, w& \9 F4 J
复制代码
- |- m& i) e& W/ V' T ! x, o& w( G. [
apt-get install build-essential libtool -y
4 N# F' H; u: U( s#创建nginx用户
9 O* ]- B0 I: B- [: l- v/ F. Z9 X7 u. L0 U% M+ }
所谓的unprivileged user
, n+ F2 C4 L! m: V- ]% K- B& S8 C' D( {! P2 ?' l7 \! O+ i
- useradd -s /bin/false -r -M -d /nonexistent www
" i6 M4 C; _) C+ F+ _* O5 W& _ - #开始编译安装
8 c9 y+ I' s. `9 |* d9 _8 C5 T - / _0 R# B; d( }* E
- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \5 r0 E! U+ P# d1 U2 W2 v
- --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module V. _) I+ M/ F/ K( {' E
- make$ f7 V2 A0 `. u; y7 ]; I8 ]
- make install5 I( w7 J; }& Y
- #给文件夹授权
复制代码
$ X+ b- a g7 _7 @
: [6 ]# j* H5 |5 K/ A. |chown -R www:www /usr/local/nginx
( ~$ N& F( z L& A* m( O#修改配置文件% [1 P" A" l" v( p
vim nginx.conf
) u R% ~* a& H$ W3 c" m* M8 s! K$ f2 \9 W% ~3 n4 |5 d
user www www;- O/ a; b# y+ U, v' V/ @. E
worker_processes 1;
, \ @& C! A* G/ q+ l Eerror_log logs/error.log;& C) u6 ^* n5 C! W/ P
pid logs/nginx.pid;6 r0 b8 Q+ U3 L2 k+ c4 H
worker_rlimit_nofile 65535;# Z7 G7 {$ } i) U9 F8 u D2 z
events {
, e6 t+ i- m% R1 C W: k) k, R use epoll;/ G4 i3 x. M7 m9 R5 J3 x& }
worker_connections 65535;
" }5 g& L% o1 q' j}
6 x/ J- v* J) z/ Y) f. r* C1 v2 I. Rhttp {2 e! |% R1 o. Z: N ?
include mime.types;7 d2 c! h+ F1 h3 N" B0 n
default_type application/octet-stream;
9 c' q+ E' [) p: d7 N! q include /usr/local/nginx/conf/reverse-proxy.conf;
* i) ]+ Q$ d8 {( i, x- `4 R+ | sendfile on;' X& q6 q! q) T
keepalive_timeout 65;
& T+ A8 G6 ?8 c4 ^. j: b; s8 R gzip on;
8 j! Y% r4 Q/ ^+ s v client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户
( B7 L, T( O( } n$ Q) a+ Y8 |1 D) h client_body_buffer_size 256k;
1 F5 m1 L( z v% w! | client_header_timeout 3m;4 `# E. y" {( v3 r2 `
client_body_timeout 3m;
! v& J7 z+ D# x1 V send_timeout 3m;) s5 m( M# u( s1 ?: S/ @: L
proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)
6 i9 s- A: @* z. d0 ]1 z3 L proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时): Z: L' [1 F: O2 U# N/ |
proxy_send_timeout 300s;+ s) h; @, \) N" W, P* `5 q
proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
9 R# F1 h- A$ _& I4 G proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置
) k% _# c4 `3 g9 ?8 J proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)
4 M9 O/ s; z8 f) ?8 t1 v! I& x proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘
( w6 H. m2 K" K6 | proxy_ignore_client_abort on; #不允许代理端主动关闭连接3 P# u) C; n" N% @1 f. ]
server {$ s( d( j( C9 W9 k0 b1 G( Q* l
listen 80;
2 t* z! o! o) Z! b4 U) @" q$ L server_name localhost;+ p4 O2 ], m w. c
location / {9 }# u4 |# F" C; y0 P9 a% E
root html;8 ?5 S) Q+ M3 f9 W( [3 C
index index.html index.htm;5 b) ~, w; I9 w6 W5 S5 Z7 e( H. |
}
* K6 X( j; B2 l) C error_page 500 502 503 504 /50x.html;0 G# V6 X2 t& D
location = /50x.html {
" M# Z- h4 d+ v$ c. D root html;
3 x4 ~% l% V& a4 i }! z2 N" O5 I: {/ A9 {/ C6 @* U
}" T8 f) y6 `: N4 I' n
}& C1 ?; s1 D' ?, D6 k+ x4 E
8 C! l. X0 a0 z) j
编辑反向代理服务器配置文件:; ?) ?# p; b# p1 @/ N. g4 o6 d! u5 b+ z' O
6 f4 C9 `. i7 C. Q3 F
vim /usr/local/nginx/conf/reverse-proxy.conf
6 k5 e3 V0 l+ d; [: {7 ~ g# B# Q6 L
server2 ] c/ q+ V: c' k
{$ A0 \/ z+ ^( S) F2 ]
listen 80;
$ C) W+ |% Y; S$ _6 Y server_name xxx123.tk;
) t( I6 s1 |0 f* W" S/ a) r# I location / {& Y9 w+ C3 f7 p& B" p
proxy_redirect off;
2 Z; k0 H2 @8 \- ~9 _6 f proxy_set_header Host $host;
- e+ e& u6 ^% t2 B' Z6 t proxy_set_header X-Real-IP $remote_addr;' U; ^/ T4 o/ N
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
: K; ^- {' K* o- ` proxy_pass http://192.168.10.38:3000;+ `) M( p3 ^! l
}
# d# M0 h; c0 u access_log logs/xxx123.tk_access.log;9 p1 `% L, C6 _. k6 {& Y7 h
}; b6 k0 J4 D( M% G q. o! z+ e4 a
7 J3 l) O+ u: L2 B$ F8 O0 H# t: Rserver+ [3 y* \! ]6 x! P }' Z. P3 }4 @3 b! z
{0 i( L0 m3 {; I$ t& o1 R
listen 80;
3 O0 [5 }( ^: L+ o! f% d server_name xxx456.tk;
4 [" A! I4 Z6 E* X( Y9 ~0 {$ M location / {
1 \* {- A8 T4 a% ]* a5 q+ ? proxy_redirect off; H/ @ ?% A2 k3 W
proxy_set_header Host $host;
) [9 g0 l5 ^' }+ ?. B proxy_set_header X-Real-IP $remote_addr;
6 N3 [: [! c; A0 g! x proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;% ~# w% B3 I$ }$ A
proxy_pass http://192.168.10.40:80;( G q2 {, C- `) g- P: F+ g
}
+ @, c( ]; {) H, P+ c7 z access_log logs/xxx456.tk_access.log;
% _1 B$ n1 V; f1 l' O2 x}
0 n3 Y, m$ r4 T' j
' J% m; q5 y- S/ H3 e5 [然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。
2 P) p; g- j- A/ b' M+ K
7 i( N9 S1 I0 M9 L1 R Bupstream monitor_server {1 B/ X# s! k- |1 R0 E. M6 V
server 192.168.0.131:80;. \' `* d6 d3 b2 H5 b; A& p" ?
server 192.168.0.132:80;
. ?# a. O$ h# s0 h. ~2 }}4 m5 J v. D) m A+ _
5 \9 \, s) w" nserver
% U* y. S" r: J' Q( ]{
# \5 z* E) g- X listen 80;
& p1 h4 |9 d& R4 l server_name nagios.xxx123.tk;1 h {, l J- G
location / {( x2 \& n! T$ J; I( z; W% B6 Q& l9 }
proxy_redirect off;1 n3 o( w; O8 t
proxy_set_header Host $host;
" m( s* R: A7 g- D8 I; W proxy_set_header X-Real-IP $remote_addr;
) j) [& C- R" A/ G4 d proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
h/ _# b2 `2 E0 m+ W proxy_pass http://monitor_server;5 M. X2 |( i; p. z ^7 L7 ], ~
}: ~5 k, V. K) q: C5 Y
access_log logs/nagios.xxx123.tk_access.log;
7 r& k/ w$ j, q) J+ g}8 N5 j' |6 A6 Z, h
- P& I# K% J' F- o7 r额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:
9 Q- G- _1 X8 ^2 H |9 C' w0 X% F
log_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '
/ _' ?- n% @0 Z! I4 A'$status $body_bytes_sent "$http_referer" '
, | M" \8 G! H$ W'"$http_user_agent" $HTTP_X_Forwarded_For';) k" o1 U# g' m9 S+ t
/ W! U3 n6 S- B% ]9 V
access_log logs/access.log access;
! c/ g" F# i2 h* Z
( j+ R X* P$ f2 Z- `) z再看看原来日志的格式长什么样:
6 q" f; | \4 Z, F+ u6 s2 `! n
8 B1 L9 O: q8 ~7 |1 j1
9 k( H: w. B" {( }" Z/ F+ ?/ ]2
: X4 G' y! B* t; |4 {7 X- H! g39 S: W# n( H; A- J" ] ~& r" C
4
* T0 k( m- n- q5 |5
1 k/ i0 m) c) F" Z, J9 a2 K) u#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
. d+ {2 {/ p; M; I( @' S# '$status $body_bytes_sent "$http_referer" '
: J# \! r' U- p# '"$http_user_agent" "$http_x_forwarded_for"';0 [3 ]; b% \* q' q4 `$ o- H
: t' f$ a6 S; q t. P, V#access_log logs/access.log main;
/ Q* g9 |) y" ^6 v看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查& G6 l) X9 g% [) K) D2 P8 _+ h
# h- E* K8 o/ p+ _+ d( B9 g1 U1% P3 m& q! b$ w, A
2
0 H3 c; i% h/ l" @0 C" ]) ?3, x1 L t$ Y: @( Q7 d6 j
4' l/ j3 k# y2 u/ \
5
7 f1 n7 `2 U. P2 R6
% {# R6 }, ^- m a7
8 V0 O) v# ]/ }' ]: ~8
4 ]; g: e1 o9 u# dproxy_connect_timeout 300s;4 B! I* L7 `% l
proxy_read_timeout 300s;
5 `# ^0 Z+ f- h4 e& Oproxy_send_timeout 300s;5 y- k! N8 r. @1 W
proxy_buffer_size 64k;
6 ^9 N% @5 g% n' S5 Y! Fproxy_buffers 4 32k;2 c- E7 ^" P9 ]$ Q
proxy_busy_buffers_size 64k;( m0 ]- J2 x8 U$ X2 \
proxy_temp_file_write_size 64k;$ k5 c: ~# @! ~
proxy_ignore_client_abort on;
- e" h! M) l2 D* S# b报错日志:) Z" p+ M' v/ B3 j8 P* b
" O' W! A0 P! J# U3 A! e1 J& R6 h...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。
1 B; U+ j# c2 p$ s# s u4 ^+ s! B- Q X+ u9 P! f
PS:关于域名转发. X" z& S1 ^( g$ W% T
$ d2 _4 S- X/ s* F! A" J2 `
所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。( m$ i; O5 Y+ ]7 j( X% s& K
|
|