管理员
   
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.04
. [7 F' G4 p. |' A+ Q+ x! L. l- o/ C6 D: x$ D! n# Y& l
- ###更新仓库
& w. e8 i3 o1 s5 f3 ?: C3 ~
3 w3 J D' Q d1 n' ?) O4 K8 N- apt-get update -y; ]9 h+ K) t* y$ ]
- apt-get install wget -y
* @% c9 X3 \, Y5 d - #下载nginx和相关软件包
复制代码 ) ]1 A- p( c8 X* Y4 P% Z7 j
/ @- f0 K2 j+ Y: H0 b! G! ppcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。3 ~" s4 L' V) \7 O! I; l! e
8 @3 _2 C; g% K- I3 R: i- cd /usr/local/src
7 }, b! r1 U. S& i - wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>$ i( I3 _5 e% a
- wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>1 q' y; w3 G6 D. f: u
- wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>2 Q/ x( z1 K3 Q
- tar xf pcre-8.33.tar.gz( K7 M% e3 n+ M
- tar xf zlib-1.2.8.tar.gz7 i- ~3 w- X* o0 y% ]! Q, _
- #安装编译环境& g: L3 ^; n& P; l# C" z6 h
复制代码
9 b6 w, h/ i% I - C, k% S/ H+ k# ~6 J. X) R( c6 S
apt-get install build-essential libtool -y, P' g8 i7 ?# } M5 A. J ?
#创建nginx用户2 H8 d9 t, L x
. c2 `- m. p* m F/ W
所谓的unprivileged user2 M* z1 X4 R% f
6 c, E+ M) u2 E- useradd -s /bin/false -r -M -d /nonexistent www
* x6 ~1 g- @9 M' t/ _: } - #开始编译安装
$ ], S: R2 q: l3 g7 }
1 ^2 u2 n; D' x2 [- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \& Q9 s# Y& E0 h6 T# b' Q8 g8 r
- --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module0 U, P# a6 R% r+ ]
- make
6 e! x8 Z+ y& j1 ? - make install
- U& M9 S7 y) c8 ~ O! E* J - #给文件夹授权
复制代码
/ q, n+ U) `. H- F6 L& N
6 H, D4 o' V5 F! d$ nchown -R www:www /usr/local/nginx
8 I9 R8 m) U7 `#修改配置文件
8 Z2 n( {8 X# u! M; z* Dvim nginx.conf
$ ?+ c- C& U- Q9 k6 Q: j! Z# \ m8 n: ?
user www www;' |1 l" R" ?. @% d3 `$ P
worker_processes 1;
- q7 t X3 @: N* Eerror_log logs/error.log;) m% K5 X5 t6 J
pid logs/nginx.pid;
) e$ k j- \3 Q3 v/ @7 z5 y3 n5 dworker_rlimit_nofile 65535;
# c+ G1 `/ z' s! T2 u6 _events {2 y% L. i; p" C# s2 y
use epoll;$ \/ [: Y. y* f) j. `- ]: W
worker_connections 65535;
) \- v# P4 z8 C+ a, }9 A' k}
8 ^- c6 x# s' e) ~# C5 J: {http {
! M0 `( Q* k: O7 k# P+ E include mime.types;- I( o' Y) I4 N' B9 K
default_type application/octet-stream;4 {' Y5 a3 z& u; \/ t6 `/ ]2 s
include /usr/local/nginx/conf/reverse-proxy.conf;. j" o& R; ~+ m: d |. P' W
sendfile on;' j. k) v P1 i7 A
keepalive_timeout 65;
: Y {& b0 }# G4 ?, t8 ~ gzip on;
: }9 S: o: ], H* ? client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户
7 S. @, M( c+ {4 ~5 L( j: B# V client_body_buffer_size 256k;" _0 |& ]1 z6 f$ U0 y
client_header_timeout 3m;3 U% z E/ u# A z2 l6 ?% h
client_body_timeout 3m;
3 e8 n) M$ [' b8 K6 A send_timeout 3m;8 k3 F( y5 M1 h7 N+ q' P
proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)5 ~* \& J3 f# q) J w+ {" Z
proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)
) E& ~/ [/ Z" ]2 ?$ t proxy_send_timeout 300s;
" f( |' N6 O9 h/ e+ }- B% Q proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小9 @6 C3 S! h( O+ U. v
proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置6 j2 h5 {4 c) E6 U" c2 |1 m) X0 W
proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)
' w! U6 l. G' x6 Y3 U/ } proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘' u8 j4 ~1 I. F, q" e- m% z- B# B( p
proxy_ignore_client_abort on; #不允许代理端主动关闭连接
4 y- U1 i& [; V9 `* h1 B server { s4 U: `$ m; A# ~
listen 80;, X F3 n5 S8 {8 L( y( [/ M# @
server_name localhost;9 o+ N$ R$ L, ]" t
location / {
6 P( h! ^: m) T5 ?. O+ q, v# t root html;; O1 L1 D8 K7 @* ~; }$ r& E
index index.html index.htm;6 {% s5 P3 [. W& G# e
}* E$ X) A- [' z8 u8 S7 G u4 i
error_page 500 502 503 504 /50x.html;
1 {* s% n* f3 y( B: j* B4 y) k location = /50x.html {8 p) ?0 v# u/ V
root html;+ B5 v) \# ?( _. p1 h
}
z1 J( W" o4 U- E- X) a' i/ {7 L# G: Q }* s7 E. N) t* A
}/ V: v1 C9 P1 [ `: T$ M- P
7 E, A _* N& u2 N7 P
编辑反向代理服务器配置文件:& i6 g% }2 X% n* ?
0 @$ n: k, L M* |- F, O9 H8 y6 {vim /usr/local/nginx/conf/reverse-proxy.conf
" X: z5 c4 c8 \ q# j" T/ p: ~- I. H5 \- N& c- F5 N: \
server: y2 r* k+ r* l5 E1 X
{
7 [. g4 L/ F1 e5 j$ W7 u6 D$ p. A z listen 80;" R6 P: G! g$ v6 i( x
server_name xxx123.tk;
- B A8 O: v: Z location / {8 ?# ~( h6 i5 T" U% s: C' \
proxy_redirect off;
3 t: C, Z7 l4 | proxy_set_header Host $host;
9 A) E [. |( }, Y proxy_set_header X-Real-IP $remote_addr;
( `, Y& L& n! }$ P; j% T proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
0 o2 f3 L' T# n# s. n, I proxy_pass http://192.168.10.38:3000;
, m7 N- D$ X T3 g0 [ }+ _* \4 U' U$ e" t- S0 {6 W
access_log logs/xxx123.tk_access.log;7 A/ S) ^' g& V6 }) K7 k& ]
}- C& ^1 d& {% m4 g( W
9 Z9 J4 e J+ R7 _8 s! Aserver/ X( E8 g/ R6 k, _8 d
{
; H2 X6 S {- F; J2 E listen 80;8 @2 _" z F1 [, B% C
server_name xxx456.tk;& q+ d5 V- k8 ?7 a* E$ x
location / {
' B: S" b2 J b4 d' F. o/ N& O2 x proxy_redirect off;5 W1 F" }4 k$ P) T
proxy_set_header Host $host;
2 S- v5 A$ H g1 R2 ~/ z( U0 R3 d/ l proxy_set_header X-Real-IP $remote_addr;
* L0 o5 }, k0 Y; h( k+ w0 x proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
* s0 u0 n: ~5 l, z5 V$ a proxy_pass http://192.168.10.40:80;# o6 q: Y. A6 ]: h$ B, Q
}
. e/ K5 {& S( e0 k4 b$ q8 | access_log logs/xxx456.tk_access.log;
9 G" o2 {- s8 o9 @ p4 P- G% n/ m4 ~}
- X4 r7 z1 _% q; {& Z4 s2 z+ M1 @! h' `9 v+ q" U' R6 i
然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。
% S$ E% F4 @# R. I
# F/ F; W. Q( Wupstream monitor_server {
6 L5 _ F8 a: r y2 v8 m8 y server 192.168.0.131:80;
" b& C+ M' i n0 k6 } server 192.168.0.132:80;8 u: C( e3 B; k3 K
}# X: ]% P4 V( ]
$ [! ^6 W% S+ y1 s# x9 W+ Userver
8 r( X; W* Q/ O$ r{1 Q. m2 L8 i4 t4 ~7 J# j0 P
listen 80;; ?& X, K9 c v+ B$ D
server_name nagios.xxx123.tk;% C/ A# s$ a( b3 y) ^
location / {
8 e( t! F% `) C7 V6 O1 r: r' } proxy_redirect off;" _0 K7 f) V. R c0 R# h- T
proxy_set_header Host $host;. X1 B$ s- Q, y) r
proxy_set_header X-Real-IP $remote_addr;
7 S9 Q, z# B) r. R# a proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; & z) U1 Z8 e) `6 @- q; i# M: B7 ]/ Y/ R
proxy_pass http://monitor_server;
: i* F$ V7 E$ T. a* P) U8 P }
" s. ~+ C" u! i" y access_log logs/nagios.xxx123.tk_access.log;1 T: {4 J S7 b3 R! N
}
+ l* n! q$ _7 Q) j" D" k
6 _; d% W2 Q; ?' b4 ?; p; D额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:
- V! O) F) O+ O8 O* [$ |; l' q: P7 P7 \$ K. o2 B5 w% g2 E
log_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '' }# z' a4 ^& v! H" S" u
'$status $body_bytes_sent "$http_referer" '7 @' D2 E7 S7 g- y6 x
'"$http_user_agent" $HTTP_X_Forwarded_For';1 B6 K' T+ j2 X/ {- ]% u9 M
3 u/ q) I0 C- c" ?+ [- _7 d' y+ K+ m
access_log logs/access.log access;
/ V! @" r$ z9 n% l0 n9 ]
) o' H$ T' U+ z' `; }再看看原来日志的格式长什么样:
2 |+ L1 F0 ^. f8 f {& q D* x9 c& o+ n1 Y& S5 d- Y
1' a% @) }7 [5 g( Q. k2 r$ H
20 }4 e/ b2 d* n6 q# _$ u6 I2 d$ B
3
+ }. j% x3 ~4 |3 T/ E5 y41 {, i. S+ Y0 c3 G
5- q% X7 k% |, f8 d% A
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
* U) X% u! m: X$ v U* O# '$status $body_bytes_sent "$http_referer" ' G+ r; K& K: Z0 o7 M% M9 r+ N/ m
# '"$http_user_agent" "$http_x_forwarded_for"';
0 {% x# [9 N8 r1 p6 P% b1 ^, j' s. z
' h6 U3 H5 L2 s6 ~4 j: V: x9 Q; p#access_log logs/access.log main;
7 G6 N* O4 b% A+ c+ e9 e+ ~- X/ f看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查& b* d, n: x, A; @4 X, a& j
. ?0 d% B6 z0 |7 Z5 }
1
4 X* @) i- p) J2
' Y* o8 M# Z) @( b. H) r" \3! T$ a: s7 s: U# ` v
4
: Y- r* I4 n+ ?+ w! }- l5
) Z6 N; l/ m$ t2 R+ F8 g6
' X5 X1 i6 L5 ^, v2 L- B3 R7
/ \# W. Y" C2 Q8
6 v& N' J5 T4 X. R) cproxy_connect_timeout 300s;8 T. b* u* y9 H8 j+ g
proxy_read_timeout 300s;' A+ C+ X' J f" [8 w2 R$ W/ }
proxy_send_timeout 300s;+ I* @6 G$ `, q1 R
proxy_buffer_size 64k;
6 m+ k7 t, j6 b J& q! b" ?proxy_buffers 4 32k;
0 I9 s: u* P/ t6 w- M* `! Uproxy_busy_buffers_size 64k;, u# ~( ~( m# M% Q! d3 x3 R
proxy_temp_file_write_size 64k;
) H1 b0 S% p5 Fproxy_ignore_client_abort on;6 ]: }/ R! s2 R, J) X
报错日志:1 E2 J5 r5 }5 l" A
+ e% ?2 h/ \( a, k
...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。9 z# B6 Y6 n0 | p2 p
. }0 h- G' |" v3 A( k" U8 ?PS:关于域名转发
% a2 X* B+ A" w* B2 O7 z$ {) g5 K
$ t, _2 [0 N: E; `% n5 u8 t3 m所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。/ z. E" Z! B6 v% K0 g# n! r
|
|