管理员
   
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.046 a% a3 N3 \4 U+ R9 Y: y8 X% }) A
, U& z4 x" m- v: a7 U. h) c) q) m- ###更新仓库
8 V6 ?+ ~, J# `$ s. B) T! k - 0 _2 [. @2 I& X
- apt-get update -y
) J6 O4 @) u! ], B* s6 W - apt-get install wget -y: F$ q" [8 V5 X- h, x( \
- #下载nginx和相关软件包
复制代码 ; N5 E1 f" s. I4 \4 Y3 n* K& |3 P
" W3 t( V) ^; @
pcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。
& ^4 [- E9 s$ K# _- d2 h' P; e+ J3 u# x2 p Y' P& M% _: L' N
- cd /usr/local/src
0 Z% h' \ [' Q$ z - wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>
# b! S1 L9 ~2 d - wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>
& [! P1 z2 w4 v3 S2 ~0 r - wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>
- s0 N* f9 e7 @ z - tar xf pcre-8.33.tar.gz7 q4 X p9 }+ Z( E: r) f, ^ @1 Q
- tar xf zlib-1.2.8.tar.gz
3 y2 \* C/ f1 n% y1 } - #安装编译环境
6 z% W2 k; W- \" y$ p3 l( n5 t3 I
复制代码
' D$ h' p0 @6 h5 a# a
1 s0 _- @- {) y0 ]" x apt-get install build-essential libtool -y
# U3 g; W8 w% Q# @( e9 R9 q) _- q$ X#创建nginx用户
2 y* y# _; _1 o3 E0 g( c- P/ V ?( I3 I) v
所谓的unprivileged user3 L: ~7 s( z& a( m& U
: e' K3 E( [. N6 P+ X- {1 U
- useradd -s /bin/false -r -M -d /nonexistent www
/ c& P4 C5 n5 n4 i! b - #开始编译安装9 R; g4 m( \1 u( B# \3 Y; n- C
8 @. I Y0 i w( Z+ e0 P% T- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \
: K5 O6 d4 X9 S9 p% W# z - --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module
9 T( D F1 ]: e4 V - make
4 }, d- U* I% f# Q7 Z - make install2 ^, l8 y0 Z( \8 \" r! U. H
- #给文件夹授权
复制代码
& m- n3 @0 F! }0 E0 `' s
3 P; K l9 f0 L; Z$ e' Bchown -R www:www /usr/local/nginx
2 R: M: a% C6 s* Q0 m( }6 `7 T2 K#修改配置文件. y% w0 d4 j+ }1 i, T
vim nginx.conf, }- r# K# j( _* P8 p; X8 }
4 Q2 {' I; V5 n) I3 B
user www www;. t4 _8 k$ j, G" P6 y! L: o1 X
worker_processes 1;7 K/ U3 T- T" e2 }& b: c9 G
error_log logs/error.log;% d. G/ h( u3 N
pid logs/nginx.pid;
- h; N/ O9 @- S: W$ Lworker_rlimit_nofile 65535;6 l- C( U* R# x7 ]
events {
9 l! Z& G, f. I# z) {/ U; r2 \ use epoll;- {4 g6 O/ ^ u( v {# v6 |
worker_connections 65535;
9 X, w/ b7 b+ B}
( P. v3 d6 u, x$ L" z. \http {
. s+ h2 K3 ^; @* g3 E( _/ P include mime.types;3 R b3 j) J5 Q l& e
default_type application/octet-stream;
6 G' J% E# w* W0 R8 L' F( D$ ?% L include /usr/local/nginx/conf/reverse-proxy.conf;
# P9 D* ^" s/ Y- B# d sendfile on;* |6 f% o/ G8 B" n$ ~
keepalive_timeout 65;8 Y7 \9 a1 i2 B% k8 B2 u
gzip on;4 {2 D) G* W, g9 R; z' T n
client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户# u l; {! b# k+ s. Q
client_body_buffer_size 256k;; \6 G5 w4 k7 h2 M J3 e
client_header_timeout 3m;
" k4 R4 P; G; ~8 w. v& w: @ client_body_timeout 3m;
' d4 U2 L+ o+ h8 O send_timeout 3m;
3 v( U+ V, E* [/ X! P proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)# z) s3 E6 o" a: t3 O/ v) \
proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)
& h* D( T- f9 Q8 @5 R proxy_send_timeout 300s;" h8 a" h3 T1 r: `; R( C5 e
proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
1 a. r) d; e4 `% }& |; E proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置
7 q8 R8 A! i9 v' `* S proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)
+ J, a2 R) ]8 {' B+ R. I proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘! W; k. X& a. C! N( R ~
proxy_ignore_client_abort on; #不允许代理端主动关闭连接0 n0 \% M: P0 Y+ ]3 s
server {( z. S, ?2 D# t/ ?: {4 ^4 c) R1 ^
listen 80;3 P7 c/ |$ w. _6 R' i. \6 I% H
server_name localhost;
$ b9 y0 Q- W3 p7 O% V location / {
. c9 C! L1 c, w" Y% R; @4 d root html;
+ |5 d& s2 R9 K# w) A( S index index.html index.htm;5 y/ ]* p) S+ R( }
}9 b! a: o; Y2 U7 P, f( R
error_page 500 502 503 504 /50x.html;7 F) @- e! N; ?# K
location = /50x.html {$ L# S x' S V. a8 O6 z6 p
root html;
& f2 A5 h' f! Q8 B! I* L/ z. p0 T+ Y }
+ y- w8 E/ L' l, b }6 f! c A ~. h5 \) p0 E, @1 d
}' J( ~5 f( g: s/ L6 z" a$ Q
3 E3 _0 r. d" N! h1 o
编辑反向代理服务器配置文件:0 M A# M: t8 ]/ K" |! T* ^3 R
" H8 f% q' J2 C& b. V- Z8 lvim /usr/local/nginx/conf/reverse-proxy.conf/ a9 q- \0 _$ z; y1 R
8 ~2 |0 r) Z. \6 {, n" `; z+ T2 v
server8 N6 t$ r- u6 B$ U: Z8 ?
{
+ A- f: u8 v4 e2 @" W9 p& F2 G listen 80;
& J7 b2 Y7 P' _9 ? server_name xxx123.tk;+ K5 \1 l$ H8 y, ]
location / {0 H1 y, w4 x, z2 @
proxy_redirect off;7 I4 }8 }5 H# E+ E1 ?6 _- I
proxy_set_header Host $host;
) k6 Y3 \2 t& |% _, h1 r* p/ Q proxy_set_header X-Real-IP $remote_addr;8 i7 ~2 x# S- q: K" \7 A7 D0 u
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;, [2 j. |6 c& i/ m" c
proxy_pass http://192.168.10.38:3000; C# j* [- S' i% E Y! R
}* x& ?- b$ F: `& \" y
access_log logs/xxx123.tk_access.log;* G1 @3 O7 X' u: B. }
}, j) i' K/ Y5 U9 G. q/ i
( i/ P% R* P1 }2 F$ M! O
server6 A: m2 A7 j" l+ y
{7 P& q9 z n7 \* I" R
listen 80;
- i* ~5 e0 n" A; P; f1 M6 C server_name xxx456.tk;
2 z7 l4 d' ~6 O1 ~) r% M, q6 `+ T/ u location / {
7 l: L5 _% k1 K! t2 ^1 p" c9 [" u proxy_redirect off;
1 `% ]6 Z) ~. w+ r s proxy_set_header Host $host;
! J6 s; x5 u Y* n5 f1 _ proxy_set_header X-Real-IP $remote_addr;) Y. b* [; R9 B9 j
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;6 ~7 o/ Q/ x6 ]# X' h" U- g- Z
proxy_pass http://192.168.10.40:80;
. }/ V6 S, ^7 Z/ H4 ` k7 d }
9 V# w7 G6 v; X& K+ H access_log logs/xxx456.tk_access.log;$ _) e* i. [+ w4 `$ S. e0 f; f& \
}
7 w0 c% y# _6 W7 U0 x2 ]& y% x( p2 T
然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。
2 f) {8 i- ]* `, l# T8 s, R$ K! a# L8 R3 c, R
upstream monitor_server {
# \- f, d$ ]9 ~9 v. \' _ server 192.168.0.131:80;: K3 u8 s" Y. z- B
server 192.168.0.132:80;
* E( |: _. c4 `7 K5 C}
# U% y* H) T- q. W, N& U / H) R+ I, q a# p3 \. c
server
$ q$ T$ _+ _! M8 r! @{- O7 I; B; n3 s+ w
listen 80;% g, l. H3 d" h+ m! |3 l; h- _8 ?
server_name nagios.xxx123.tk;! I" i4 Q' B6 E2 z" l4 F# o! b6 a
location / {
# T# _9 j$ q" d% U proxy_redirect off;, p3 i3 K3 r% Z! s' g
proxy_set_header Host $host;
0 D! R; G2 e( v proxy_set_header X-Real-IP $remote_addr;
3 D% l" F2 W: R% F9 x- m/ ^ proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; # L: B, p# E# E6 @- a' x3 t* ~: J
proxy_pass http://monitor_server;
8 Y$ Q- a& m- Q: N8 e; C7 f }! t% \" K8 I1 |& @9 e! I
access_log logs/nagios.xxx123.tk_access.log;( K; P' ^4 g* \4 b4 o* K' _
}* ?* S0 A% {$ Z0 u/ o5 Q& f# w0 l
) F& Z) [, m5 r$ V+ |3 p8 B" C) f
额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:1 |5 s# M0 W+ h f0 B+ B* ?& R1 [
# G8 q# e; h+ O i, H' _/ S. Xlog_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" ') V7 G0 e6 H2 B/ f# e- R
'$status $body_bytes_sent "$http_referer" '- I% I( k: O9 Q0 |
'"$http_user_agent" $HTTP_X_Forwarded_For';
3 s2 }$ B0 |( c. T/ k
# w/ x0 J: e Kaccess_log logs/access.log access;
! V0 w4 L1 t5 j- H2 ?5 m$ b0 d [" h) L( I4 n
再看看原来日志的格式长什么样:
4 N1 A6 ? D( }% }0 J' g' k2 d) D5 O/ o7 N! T+ ]6 j# [
1
2 o5 u, U% |+ Q. f$ a" k% N2 x$ k% ~; w# \! C1 e) F) O2 N
3$ [7 A7 z! W0 U: O [
4
- B: A: J6 X) F: k Y. \) i" _6 [5$ v& }" w" g# W8 V1 p' P
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
1 ^ ^# G# L( I/ w! H# '$status $body_bytes_sent "$http_referer" '
7 t- W. N8 t9 }8 g# '"$http_user_agent" "$http_x_forwarded_for"';
5 _1 N$ v* M& e1 J7 ~
2 _. D! ^3 S$ d; b4 P# K; H#access_log logs/access.log main;& t/ \8 h0 {7 b& Z5 c' Y
看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查+ e; ^( j2 E+ C, [( x
1 M/ ~& t/ ~5 x7 R0 |# Q( p* [
1
; ~7 d# x8 Q% u2 v D2" e/ X: l9 N4 o7 M" k; j
3
: o `7 R# M; e D& E' a4 ^. @4 g+ d7 l, q' {% l! L6 a
52 j, M0 L) f$ A, [$ `+ I( L
6# U( v- Z$ {- q9 Z6 ^3 t
7) X/ _# s3 s. F
8+ J% G Y* P3 W( H( D% h
proxy_connect_timeout 300s;
. z' G% f: u5 O5 ?proxy_read_timeout 300s;7 n5 }) g* T/ r8 T& m. h5 p" f
proxy_send_timeout 300s;; K" Q8 L* g n$ J' Z; @) y
proxy_buffer_size 64k;: c8 }: U) i: C, u' Z0 M
proxy_buffers 4 32k;, M/ I/ `/ w# k' j: ]) k$ e& W( V
proxy_busy_buffers_size 64k;$ b# o: e4 x* S* I' L8 R
proxy_temp_file_write_size 64k;
, i. U) B- h5 C5 k% s" m- Xproxy_ignore_client_abort on;
4 J; c" M) `4 c8 H0 x报错日志:- E2 ^# r/ B4 n, i! z7 j
) C3 t$ B, Y% ?* @% L( b7 a7 Y
...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。
! U$ R. l, N' }6 D: H5 ^
1 F4 J9 I: R# H& o1 pPS:关于域名转发
) O9 x7 h" p4 a/ W% v! l1 E' y5 p, o( h8 A# c, d
所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。) c4 ~+ p/ r. L% \& U5 `
|
|