管理员
   
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.042 |( G' F z" j! b) g( v
; ]. U; q! y# y+ }1 u, L5 w) z
- ###更新仓库
7 V# ~/ X( Y, `7 N/ [. c
+ u, y' A! e6 \3 l" ]- apt-get update -y
9 N5 i3 i2 n2 ]( E: S* \ - apt-get install wget -y4 h- T1 {6 u: t8 q# A
- #下载nginx和相关软件包
复制代码
7 _! q) a4 F' z6 i# ~! j; \( P5 u6 o6 j' |/ k6 e# T
pcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。
9 R# m+ T- X O& H$ ?
& n2 k* j5 H5 J, A- v- cd /usr/local/src. E$ N* }- [) n5 H. p* }
- wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>2 _: I5 W+ x! V6 U, a
- wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>
% v3 S8 a/ m3 q - wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>2 W+ f& S: ~! x. B' v+ @
- tar xf pcre-8.33.tar.gz4 `5 v8 t; ]/ @: D# l
- tar xf zlib-1.2.8.tar.gz7 g, x$ M6 W, W2 q; y- B8 R; q
- #安装编译环境4 u! Q# ?, X/ g% B5 n4 F) ]* m( V1 e
复制代码
1 e$ l) @3 a2 {; c1 ^
* u8 W/ L( c) G7 D+ b9 ? apt-get install build-essential libtool -y( V* a- ~0 E& t- N6 R
#创建nginx用户: {3 k# W3 z& r1 A
1 ?* i. X* _( |# s所谓的unprivileged user+ i# y6 v- Z: H) u4 v3 C; F
" @- D4 p8 ?/ Z) ]3 ?6 M; T- useradd -s /bin/false -r -M -d /nonexistent www
! X: c5 S8 ^* T+ \! h( U& J - #开始编译安装2 f7 J* u( Y/ Z9 t7 n
- * f, g# v7 o3 u/ X
- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \* G" `: i! e Q+ f6 A! g/ f
- --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module
4 ~) I) e2 F% x5 X( Z$ Z - make) s) s0 p& ~$ B6 d- }% a
- make install+ U. g1 F+ i. m) @, j+ x# {
- #给文件夹授权
复制代码
9 }7 T/ ]( T' t2 w) }0 o 9 L, P; m7 p/ P
chown -R www:www /usr/local/nginx
" Z) |* O# y( r6 ^6 w#修改配置文件: D" u$ j5 a2 @0 t
vim nginx.conf
: [, c0 A. J1 D; p
1 A n* e( |* s! luser www www;
5 z3 A0 k6 P8 f; t1 w4 F' wworker_processes 1;
! Z) _& t$ u' Z' Ferror_log logs/error.log;
4 q9 C5 q8 c4 I( }& _% Ipid logs/nginx.pid;
& x' ~) e3 d9 Pworker_rlimit_nofile 65535;
' E9 t9 t/ X2 X* V0 Zevents {
5 H6 M- I5 q8 \( b z9 X7 D use epoll;
1 {. f, c- s7 m8 H! |2 n3 |) ^ worker_connections 65535;4 e k1 S! s, [ x7 a6 F
}
+ `: W9 s" I2 I5 K4 h2 B! xhttp {% a- }( m$ \& V! k6 y J
include mime.types;+ N7 }: B( Q& V+ x0 N
default_type application/octet-stream;/ L3 g! h ]2 d- U! W
include /usr/local/nginx/conf/reverse-proxy.conf;& u p4 @: T6 ^5 w6 z* V& k
sendfile on;5 P) k' ~& L+ V( Q
keepalive_timeout 65;
" P$ {0 ?/ J' K3 O, T' F k1 t gzip on;* x0 `- U* c% V7 o- O5 [
client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户" `, l5 s0 P% j6 ^$ E* h
client_body_buffer_size 256k;, p. @9 }3 r+ y; B
client_header_timeout 3m;4 }4 ?, A9 S$ n" I5 g* v
client_body_timeout 3m;
1 e9 S* R y2 S& U0 t2 k send_timeout 3m;! V R2 P9 P7 w4 ], m
proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)
6 g" b* w+ ]$ T% I. f9 X" k proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)( R8 n- Q: x- D* ?" ]: T
proxy_send_timeout 300s;9 ?) e" e. @1 k* t V4 p* E
proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
* p) e% J* C0 Q) }! t: a1 H! K proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置
[3 D/ v# r) T7 a- W- H; Z" o proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)4 T- X4 _. U; \. s m0 N8 U
proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘2 F ]( r, }: x1 a% | E
proxy_ignore_client_abort on; #不允许代理端主动关闭连接/ G3 ?" O7 w& f
server {
. s* i# p2 n+ W7 R) ?& p$ q" A listen 80;" @# y" M; y2 ~$ l% b: s
server_name localhost;
$ v$ q7 [' V3 B% L% y; H! ` location / {: e" R1 ]# `. l
root html;
- `) n$ z8 m _ z index index.html index.htm;) d+ }8 n) c. j' o
}
: g) R, g( D9 X/ C0 f# ^8 z% p$ R' ~ error_page 500 502 503 504 /50x.html;
7 [$ M) N8 H9 [1 W, F- q! Q location = /50x.html {
9 R5 Y; R: U( I root html;5 k3 C& Q: |% T" y" @6 e) R4 t% k
}5 g5 e) q E# w, x
}
; y* |+ g/ _5 z8 d% {6 z+ H, k}/ z9 V8 @' g7 ^& e* n9 w6 C$ E
$ ?! B/ O) C8 P- t F) n/ f; e( Z
编辑反向代理服务器配置文件: r6 m$ v+ ^0 x: @7 n% \, h+ s, A. w: Q
# i+ z+ C, `* p
vim /usr/local/nginx/conf/reverse-proxy.conf
2 z2 z F" C' v, }- }) O. K
# }0 E! q. T8 ^! f. Sserver
: F: _7 q1 w3 F5 g: [{
0 T! v0 J, x+ n* L, L listen 80;4 y9 N; Y5 b& z9 h+ V# O
server_name xxx123.tk;
# ^1 X# y; E, t( W location / {9 A; D, {8 b: Z) ]* i4 ~4 b; _+ y$ b
proxy_redirect off;
# X& t8 }$ n7 q' [8 H proxy_set_header Host $host;
8 ^' W# Z7 ^6 o7 `& \. C9 g proxy_set_header X-Real-IP $remote_addr;
% h" T5 D4 ]7 H# @ proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
- d2 q f8 o: X: Z# K5 m6 l proxy_pass http://192.168.10.38:3000;8 c f/ `" \0 ~; G
}, q p+ x3 w% N/ X& {
access_log logs/xxx123.tk_access.log;
, _! `0 `3 p( c" R}- C1 H2 N' T/ q: h0 z
8 d" r/ L" d7 o# q
server
1 m# L% s$ t) _{) C: ?- s: a" D' f
listen 80;
o5 k% ~3 i# Q6 Y server_name xxx456.tk;
5 l. I0 Y0 `0 |+ {9 Y( x location / {5 M3 Z& t. n o4 ]1 |
proxy_redirect off;+ D# D/ B3 I! }% i1 M3 [& p
proxy_set_header Host $host;
# G; S, m- @% V( O9 }; S2 @ proxy_set_header X-Real-IP $remote_addr;7 e. i% K1 k y' [
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
, s* t8 _/ z- ?7 u3 g proxy_pass http://192.168.10.40:80;) M5 b4 F% Q$ \% y) K3 `0 m
}
& n: f$ H3 E' p: S access_log logs/xxx456.tk_access.log;
* G5 {+ }$ t, ] ]0 R}
+ z6 `# D' R0 L% @0 O9 M" s# U
1 l; U; ]1 \; a! N6 O& g, Z然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。
; K4 j# k1 i" Y4 i: b# W ?# q# o1 M! [4 P' b
upstream monitor_server {
7 I, w! O1 K! `% i2 d/ Z server 192.168.0.131:80;- R0 D+ J( _6 G6 i. d" D
server 192.168.0.132:80;
6 |; Z) M( R) v j3 n}
6 y' h1 ?8 o1 b1 h - g M$ m- l) J
server
3 n- t6 [$ h4 m{
- `( h( H, u0 n, @; U7 L listen 80;0 a6 B% K) d. A6 x( w% P
server_name nagios.xxx123.tk;" ?3 E1 W, I: e7 e. N6 {5 r
location / {' O. J7 ~1 W8 ~9 B. E$ H# Z3 O/ p
proxy_redirect off;
* f' z9 l1 _! `& ^2 l" ~% v, E proxy_set_header Host $host;: _+ C N8 {7 F3 _4 Q% d+ q( s3 x
proxy_set_header X-Real-IP $remote_addr;
; @8 s( z k6 d2 t$ b4 t proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
4 B3 Y0 M8 R, p6 T9 b1 d proxy_pass http://monitor_server;
& q# a# z/ A- U9 [& ?0 N/ |% t }
, `( v; Y* e) ~0 \1 P access_log logs/nagios.xxx123.tk_access.log;! ~# B+ \. T7 c, l0 C" @
}
5 s9 k, a5 Q3 E; D$ U2 F
5 L' [ l4 Y2 i) g$ r3 r额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:6 n0 e+ b" P6 ^/ \9 \. s' S9 F
2 V' H2 n' O4 \8 {; I; i. ^
log_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '
}" c" c1 C5 O$ W$ ^- E- f- j'$status $body_bytes_sent "$http_referer" '
0 ^ p: {9 q$ K4 w'"$http_user_agent" $HTTP_X_Forwarded_For';
0 p- A6 H0 X5 t& b* f6 F ! k) Z% i F5 w i! p
access_log logs/access.log access;
0 O5 p8 n6 S6 P* d
: L7 c3 ^. \3 {/ v" x& H再看看原来日志的格式长什么样:
. J# t" \7 ?1 z5 A! Y3 n$ |
; \" a7 ^' d/ y1
6 u* ?, n& N6 v8 g2 \% K4 \2
! |; ]9 | ^) T, ?$ S3
3 Q% T% Q2 p/ r4
, k, K$ r, Z- J3 S1 l& e57 \' T$ ? T6 N) N; e$ E) ]
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
+ O6 |+ h0 ?- z- n# '$status $body_bytes_sent "$http_referer" '
- C7 j: i0 X' `' S" h! I# '"$http_user_agent" "$http_x_forwarded_for"';( t* c+ F- _/ j( z/ E8 `2 r% U
2 W2 Z" T% X1 w! ^5 Q( b2 L
#access_log logs/access.log main;
, D0 l5 p* R2 G" _& H) r6 H看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查
( ?0 N, e: j" h
( J( y" r3 D; X$ @/ `2 \+ O1
1 K0 u7 m5 U2 }2
: {% V ~/ H; f" W39 \) T2 G+ |; H7 r6 D+ v- _
4
: D" {# v% x8 c* P1 Q& P" }7 L! P5
6 S- ^+ G! t. `8 Z7 e# {& m6
" D9 y+ h$ D) D* I5 I# J7! F7 |# G/ R8 {2 C$ s
8
9 Q m# }6 L5 d, l' q- vproxy_connect_timeout 300s;* g9 }4 N+ b- E# c
proxy_read_timeout 300s;% z0 g" r/ h/ P% o) \6 Y4 s8 W
proxy_send_timeout 300s;
i) n6 ~. i) ~* t4 H, ]8 uproxy_buffer_size 64k;5 ] v9 Y! n9 ]1 g
proxy_buffers 4 32k;( d4 ]3 g, h, }: h0 s) i' D4 j
proxy_busy_buffers_size 64k;
/ {: u/ _) ~; cproxy_temp_file_write_size 64k;
* F2 e7 o0 H$ E3 Q+ _9 n4 Lproxy_ignore_client_abort on;
; }8 C; D: L/ |$ s, p7 [报错日志:7 W4 u+ j, |; X) v' \9 L
$ k0 |. q8 W2 ]7 P; Z. N5 ]...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。
T( l8 U7 C" p) _1 V8 N5 Y, B
/ d& u% n3 i( `5 x7 n/ c( UPS:关于域名转发' g& u) F* k( x
) G3 x# V A J0 ]* ~- t/ Z1 G' G I所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。, } m2 ]. B5 o/ r
|
|