管理员
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.04
$ e4 _5 A; J# G7 ^
8 q2 E) m/ p2 q; i- ###更新仓库
# Z9 t8 ?, B8 C$ j( f6 W - 0 a" p' i' S3 E5 }) k
- apt-get update -y
+ \: }" ]0 r$ y8 s p0 |! } - apt-get install wget -y5 q7 w9 Z+ I$ U2 v5 _
- #下载nginx和相关软件包
复制代码
: [2 b8 F5 Y" y. _" O5 ?3 R. k' q& Q; m0 a& W$ v
pcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。; s3 W4 X6 w% f+ r. H V! d
% v6 }" [- m6 o% t- cd /usr/local/src
. `$ P2 V$ m" J+ q - wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>
9 X& X1 p1 P4 [ - wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>; m7 j; e0 M& u2 i
- wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>
/ ~0 d; g# e8 }& T/ N9 [ - tar xf pcre-8.33.tar.gz
$ J, i4 z; _' L+ r2 {4 s9 u/ G7 { - tar xf zlib-1.2.8.tar.gz
z; f9 K# F& `7 E - #安装编译环境
# z* [* P* b+ O
复制代码
5 E& u7 m8 ?( j. n
, m* @3 `' E& j apt-get install build-essential libtool -y
; _7 O$ h1 c( \ R& k#创建nginx用户8 ^. \6 A' @( `& y/ f6 ]! s1 m
9 ?' A8 P( P: m3 [0 X* w
所谓的unprivileged user
) T k! R% J/ x8 o# p! P. @4 l9 k& y- |# k" t$ X/ i/ x3 H& x F0 Y
- useradd -s /bin/false -r -M -d /nonexistent www
4 g8 S3 [" q, V - #开始编译安装" ^5 `3 B. N0 l6 O! D3 B( K
- # K3 m' v. A/ |3 v8 V
- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \
" F0 L' o. k# @; v - --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module0 }: v+ ]4 K1 h0 o5 ^
- make3 G+ I5 |$ j( r3 p0 l( H
- make install
5 j0 T2 Y4 P8 W) g! ? - #给文件夹授权
复制代码
4 L D. ]1 S% J
9 U# }1 O5 j8 E- G/ y0 g8 _chown -R www:www /usr/local/nginx6 {1 e2 G9 o( V: }' i$ z( t
#修改配置文件
1 n) e r. t; `. nvim nginx.conf5 W) u% s* Y: m' C' V2 D
0 G: E1 W* _& _' p U+ l2 g
user www www;
* J$ C# O0 n7 P% D/ fworker_processes 1;
. z8 P, ]# r0 A: @& cerror_log logs/error.log;
. J. `5 q/ p: S3 W+ V, A% m! c" D, v2 dpid logs/nginx.pid;
& W, @: L4 y- Cworker_rlimit_nofile 65535;
, I7 d1 I2 n! @3 {' G7 v2 r* Levents {
% b5 P/ d& r8 y9 \" O/ B- F1 _8 ~ use epoll;
: r$ s" b+ @9 ^2 b& l" j. r worker_connections 65535;9 J4 Q; g2 q( J- v$ l( y
}9 @+ P. f4 \3 a- ~1 }; q2 d
http {
* ]" ?4 F: \9 Z: O( y2 e5 ] include mime.types;, d1 j; Y% o: P$ z2 a; Z
default_type application/octet-stream;' u0 \/ k$ l1 f& ?$ ?( D7 @! u
include /usr/local/nginx/conf/reverse-proxy.conf;$ \0 h! c1 g$ v7 }5 g& M4 C7 E2 m
sendfile on;. G' I7 r( b- K0 q
keepalive_timeout 65;; W- Z0 N$ {! ^- P, T7 D
gzip on;, O* H T1 P! @' P+ v! H6 z, d
client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户
/ j0 R4 _7 N" O- ?# @3 S client_body_buffer_size 256k;
/ h" a9 Q* m' Y4 w1 z4 J$ c' x! T client_header_timeout 3m;
" E n# }. q8 L4 r) R client_body_timeout 3m;- P. W5 B/ ^6 h5 v
send_timeout 3m;# f! f( ?1 D% }9 Y. @" ?
proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)* T6 e+ K0 T1 u! L' d
proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)
7 a w. r+ u! B% J N! s proxy_send_timeout 300s;
; ]) w+ {2 k3 m proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
( o* e! x1 u" q* X$ Z9 e proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置* w+ X1 |8 E9 P
proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)
+ S# V! ?: d. }( E! w$ f' t; C! O* f proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘
4 E% h! p/ t Y* \9 W proxy_ignore_client_abort on; #不允许代理端主动关闭连接
/ |" j. Y) @# B7 G9 G server {. @# t- ~, O$ f7 |( ^+ O2 H t% L( a
listen 80;9 N# b4 m; t; [8 f( i
server_name localhost;# F: B0 j1 }; G! F
location / {2 d) {3 m) [' D [3 F4 ^" b
root html;
* l1 j+ g* `9 M- Z p( h index index.html index.htm;
8 [3 ?- e9 g* }8 g }
1 [# y) l) }8 x* I0 R( v error_page 500 502 503 504 /50x.html;
* l1 b% {) K2 q3 q location = /50x.html {$ L0 n# ` N# Q" [% r& V
root html;/ l& Y& t& n1 O, S+ z) ]5 |
}/ W$ U, Q1 F# q3 w$ m( @# o
}
I. {7 c: Z' D5 E}/ m9 x# S; d8 Z. w. `; O) @5 W
) {6 ? i& I V* z+ `$ p, t2 x0 _) O编辑反向代理服务器配置文件:
& J+ O$ b1 M/ m& J& G
0 _4 p% }( B" {0 S( p Nvim /usr/local/nginx/conf/reverse-proxy.conf+ H1 s& F% r( e A3 ?# h2 L# o
5 ]* Q$ B. z* mserver
/ V3 T0 i6 `) B* p{9 A5 z" I* k: [
listen 80; Q; J, ]- z$ _6 G( k( Q, x+ r
server_name xxx123.tk;
% L# V* M. U# |! B7 ~# [+ n& v9 ]: X location / {4 h; L3 s2 }, p. r3 S
proxy_redirect off;$ d7 c, |7 w! y$ z9 | `. w
proxy_set_header Host $host;' x$ h$ U' _- ]4 }% n J
proxy_set_header X-Real-IP $remote_addr;; P8 Q" l: Y& j
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;* R9 t6 d ~" {/ S
proxy_pass http://192.168.10.38:3000;
0 Z: u5 ?7 `; j }
( Y3 o# W2 e2 X& M. j: M1 v/ s access_log logs/xxx123.tk_access.log;
* B0 @# \1 Q' \* m1 h7 O" r}1 C* E0 J9 L; \
) ?9 ~, |, N0 h* }. R- g
server* ~% @9 o- t' u, I! o
{
6 h v9 u$ [3 E, h8 M4 Z listen 80;& z3 S% a6 n5 r7 |1 t7 a- d
server_name xxx456.tk;
. l- b9 m" T9 i5 {/ ] location / {
+ i+ P# X' O0 |2 Q proxy_redirect off;
! r7 E, n) D" G3 a. i8 d; G1 } proxy_set_header Host $host;
Z1 \& W( W7 M9 r2 p: f0 J proxy_set_header X-Real-IP $remote_addr;' J+ K9 C4 x: x" m' X; [
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;. t7 G5 K7 z$ u$ y4 |' y
proxy_pass http://192.168.10.40:80;1 O) n* y; Z( k0 O# @6 p9 P
}
0 ~2 Q; y" e6 l0 _- s9 r2 n0 ?) } U; W: Q access_log logs/xxx456.tk_access.log;
/ k9 K; D! t) N9 H/ a5 z! I}
! X2 f/ d3 Z* q& u
7 ?: e% L+ m' H. n. M然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。9 i1 O* j" G; D1 s/ ]
$ _+ f7 J- P7 L% [2 \4 ]upstream monitor_server {+ E8 Z$ D: o0 l, m% @; k5 d2 `- i1 e
server 192.168.0.131:80;. ]9 i. x% o8 W5 I* K+ w
server 192.168.0.132:80;8 w# H) [9 f/ x. t
}
, \* f+ o, k" r# K8 V ( o" I6 _) D5 [
server8 x8 q4 `. J# }
{7 @ u4 j s0 f: ]
listen 80;# p# s6 N8 d0 [% n
server_name nagios.xxx123.tk;
$ F% \! G; m9 U) ^) ~9 V* D location / {5 a- ~8 [1 }6 c1 x7 b! C
proxy_redirect off;0 T- |# ]* ^6 {0 s* G
proxy_set_header Host $host;
; |# e& Q7 h$ _# g7 e2 F proxy_set_header X-Real-IP $remote_addr;
& Q J! e" Y7 j0 \ proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
% ^3 W0 h) K! Y3 A* n7 R5 T7 r proxy_pass http://monitor_server;
) ^4 K# p2 A5 c, M Y. f! G }+ S4 X: D' h, x7 u* N5 A9 U {9 O
access_log logs/nagios.xxx123.tk_access.log;
. d p% c4 E4 G}5 Z6 @5 X9 s+ r+ s/ o8 } [5 N
# G' a1 Q; R+ ~2 T1 m+ K
额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:& E0 V. b( e- \$ d/ Y+ {. t! h+ {
9 x3 a: [+ W% W0 ^5 ~0 Qlog_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '8 g% f L% ~% T! T# w0 Y& q
'$status $body_bytes_sent "$http_referer" '* |( S4 {) J8 _& F& h) m/ U0 M
'"$http_user_agent" $HTTP_X_Forwarded_For';& Q! e! @1 t' F" I( I8 v
2 p6 E- x5 x: h: e$ T2 x! b
access_log logs/access.log access;3 C- E+ L2 O& u
4 H" }/ n4 r' e4 g4 `( c
再看看原来日志的格式长什么样:
* t0 k* i" Q: E6 Z, S
+ c! _- N4 w3 j3 C! B3 F3 m1
9 l0 k8 L* Y" Y3 W- V, c. |: K2; [) N$ D% E9 `- f6 V& r* a
32 `! `4 X$ m: O" o
4
+ m* W0 U" G. |+ U; t; R! d$ I5
8 v' z; }% N4 ]: h2 l% R#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
1 q5 L D, i: L6 A' m9 f# '$status $body_bytes_sent "$http_referer" '
q8 ?7 g4 n2 O6 W+ w# '"$http_user_agent" "$http_x_forwarded_for"';. N- @; X) j4 m/ X. W! x
. Z& o4 V. V. W9 D ^. i+ z) U#access_log logs/access.log main;. ]2 b4 z+ U" A' @- X6 Q" {0 K4 E
看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查& }. j$ L; b0 ~$ X# ?7 r3 b
) a: H9 p: w6 ~! c
1
' z2 k9 |& L" A2
/ D7 k) q, B% r* h3
+ U& p b6 |- p/ ?9 Y. o4
& t r* \- F+ K/ F9 p5
c: o6 o+ N! j5 I6
$ g: T4 W1 d7 U* d8 f1 e+ w7
6 }3 R4 ~7 ], u+ @, t7 }: E1 O8
7 `, m: x! C& Q* rproxy_connect_timeout 300s;* J) B) ^" `+ g
proxy_read_timeout 300s;
3 x% |6 `( D5 t3 _5 yproxy_send_timeout 300s;
% E( r5 Y. F- Q) B: k. ]% g5 vproxy_buffer_size 64k;: V3 ]1 b; P2 H
proxy_buffers 4 32k;
* Q& U5 F( w8 t+ k( J- h7 q( pproxy_busy_buffers_size 64k;
) Q: E8 f) i' j* e9 j2 Pproxy_temp_file_write_size 64k;% D2 x% B2 |6 n( ~! o
proxy_ignore_client_abort on;
% e H' b& X. S报错日志:4 E+ V4 H* K9 }, T
) T! |, T' p9 E) |. N
...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。( d" K% w2 x3 y; T# C8 K+ R
% V8 q9 z5 P2 l* |+ V( k/ C; `PS:关于域名转发
% B# C4 L; q0 |0 \6 m5 T& v, ^! r1 e q
所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。5 Y* J: V, U4 c) ]! V( n+ x
|
|