管理员
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.04+ C) _# C7 r: ~' o2 @7 E4 h
! Y& t+ a- K: d3 U& J8 s* h- ###更新仓库( c, X8 B4 Z/ ]6 r8 w/ v& K
- 4 Q2 @; B3 c$ B# `' M* E; R+ S
- apt-get update -y' U; e3 z( E7 @
- apt-get install wget -y- \# a8 w) B3 D4 b& U
- #下载nginx和相关软件包
复制代码
+ x, W$ L/ J( m% S' p1 {& @ t; a( N( b
pcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。
" {( ?9 e3 K* U$ m* @8 y' W* `2 y0 Y$ G6 {( G. b: Q& R
- cd /usr/local/src% B) K- E) g) ^7 P9 v3 U' a, @
- wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>/ S2 g# R/ @& p/ V- [+ U
- wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>2 X6 P5 h1 |" |2 c. u) S" a
- wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>
' s1 F0 ^6 p$ t! l9 x1 P6 d) a - tar xf pcre-8.33.tar.gz- }- F5 x8 R3 c) o! G
- tar xf zlib-1.2.8.tar.gz
, d4 }7 N( _; ~. q - #安装编译环境' G0 w# p3 X* \
复制代码 ) x5 X; e- F" Z: i: `" n& h
* W/ G( T* C- t' T/ {3 y# N5 S/ w# y
apt-get install build-essential libtool -y1 S$ h; H) {' X: O+ D# [! Y5 ?
#创建nginx用户
0 n! {4 K2 U4 Y* A( s9 z3 t% ^2 p! o! D4 g5 S$ a, e9 ?$ \
所谓的unprivileged user5 q4 J+ c& H8 H2 Q$ b0 h
' i7 \& `2 p) }. G" f: J+ [1 c# W
- useradd -s /bin/false -r -M -d /nonexistent www0 A6 D* w8 O p' D8 t9 x4 |
- #开始编译安装: N' ], z2 X! N k
- 3 A4 H# o0 M& ^4 R \8 X
- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \6 n7 f& G9 m6 z5 t) P: m
- --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module0 m( |% ~$ `9 b' r) j9 J
- make
& e9 T3 B# G& q! S - make install
: N1 r2 N0 O/ ?7 v& O - #给文件夹授权
复制代码 & z- A# P- E/ z G P
3 \0 O, A$ P2 fchown -R www:www /usr/local/nginx
2 I0 ]" }' Q1 J" {#修改配置文件
) Z7 c; g5 |: ?- a& Fvim nginx.conf
, `) I+ {+ R; Q F
$ t' g. |& J8 m. ?user www www;
8 Y' \. t' t" y- H1 U$ Cworker_processes 1;8 l" [& b' O0 G/ c; M2 Q
error_log logs/error.log;
; a0 s( s5 [% C* L; Opid logs/nginx.pid;
+ W; n8 p2 p' R. t+ nworker_rlimit_nofile 65535;
' c( G$ v8 O& |3 cevents {* C8 z4 s1 }- e3 h: G8 ] j, ]! F
use epoll; y" p' L0 ~! @
worker_connections 65535;
% @' O h+ x6 K" E+ N5 a3 x- F}% L& D, |) ?% M
http {
# F4 a* r% m6 o# J6 _ include mime.types;
6 Q! b% N+ x% N. S, ^3 U- I8 q+ R default_type application/octet-stream;
. v* y! E1 c$ o5 a C( P include /usr/local/nginx/conf/reverse-proxy.conf;% j, i; w" M2 v, e8 u
sendfile on;
; @, c# |2 L; N keepalive_timeout 65;) M# q1 _- i8 y: I0 ]" w) l
gzip on;# n3 ~8 G+ y9 ]0 c" a
client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户# J* _' n, x: i# S+ i% j: l9 s5 T
client_body_buffer_size 256k;
. ~5 O7 }; c" U, \8 ~ client_header_timeout 3m;
5 H: G x4 P2 h8 }+ e0 a' W N' U client_body_timeout 3m;
, ~" T+ a b/ M7 N, g9 U send_timeout 3m;
$ d; }( M/ q0 s7 x% o, S! h proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)8 E4 b; E# |9 l* t
proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)1 V! o2 b( Z/ T
proxy_send_timeout 300s;7 c: _# U% [# f1 X- E: W1 ^
proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
! U9 v0 g. d5 P3 `8 p proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置- u6 s' I' Z- C9 l: z* T( u
proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2) H' l& l. f; Z8 y P# i; Y
proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘
( b$ Z' O6 _; l' \- h3 ~. h* z0 z proxy_ignore_client_abort on; #不允许代理端主动关闭连接
; C2 m' l0 z( Q; |" \; M6 x server {
$ [2 q c; B* W$ R listen 80;# j% }1 b$ z" a3 t" r; `4 p2 U
server_name localhost;
6 i/ f! b; i/ D( B location / {
. T; M; L9 P9 e8 K z2 O/ n root html;" O) J. v; K; P' J- s; U5 C
index index.html index.htm;
- j a5 p( F* a6 d/ U) e! u3 S }
6 m8 N& M5 P+ l: r7 k4 P error_page 500 502 503 504 /50x.html;
$ |* K* }. ^- A5 {. M6 l. Y; X location = /50x.html {9 O" X' L A. ~# N
root html;; U3 H5 b2 k3 B8 }0 c6 f
}
8 [9 a9 T8 b( @, R5 j2 Z" M }
' k4 n) M$ H# b6 U j! i3 j, |3 _}
) {) U! d1 c# b7 |+ _ Z( U7 z3 q- N
[1 D/ N$ {$ a- x. U7 Q编辑反向代理服务器配置文件:& E7 n- |4 t" ^) i* u
% C7 g% G+ U8 I( A% Z
vim /usr/local/nginx/conf/reverse-proxy.conf
* y4 W$ R, z) q s" i$ ~
' C V- O7 o3 J# t: R1 Kserver
& y' k: j6 X9 }$ `( I( N, W{: K8 `$ F+ O! O
listen 80;
l- i# \8 e6 `" Z7 T! c0 H- O server_name xxx123.tk;1 Z+ o% T; p6 G2 m
location / {6 \3 T1 o( H+ u; Y) k
proxy_redirect off;1 O7 h) z, w n1 m/ X
proxy_set_header Host $host;+ C# v* w) _" S% G5 e
proxy_set_header X-Real-IP $remote_addr;* v5 P& c7 G; q% \1 @* I
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
1 B0 N# L0 C/ Y8 I proxy_pass http://192.168.10.38:3000;
7 W, g* W4 p; L7 e }7 M% G) y8 S) B8 r# S
access_log logs/xxx123.tk_access.log;, H* X3 f, a% T2 b
}
+ ~* d9 f8 E0 r. ]
4 c! z. i6 w J7 b8 R6 z% _: yserver7 }/ [% a9 y9 j; b0 @) G' g
{8 A& s( x7 |3 ]3 Q7 d7 b; R
listen 80;
: c8 H5 n6 L0 k) P server_name xxx456.tk;/ }& Y8 G5 ^/ y0 P
location / {
5 u- K% z9 ^" g) K! z- @- Y proxy_redirect off;
: `- G& I& s5 E* P proxy_set_header Host $host;
+ ?" J6 W7 y5 e0 a3 A* d* y6 _- W proxy_set_header X-Real-IP $remote_addr;
# C2 N- L+ `$ }/ @3 q0 _ proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;% G$ ?7 G% Z8 S
proxy_pass http://192.168.10.40:80;
% J4 q+ f; J. \. O8 m( |. g8 i4 g }/ R" C8 ~8 x3 b! y7 Z: r
access_log logs/xxx456.tk_access.log;# m* s l: |1 m9 P
}
i4 P8 f, `% t0 [* D) V# U
6 E6 B! U9 |' {% y9 ]然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。
% l) D; f1 M6 ^1 p# |* v4 V
# W0 V; Z! R0 P: s, Wupstream monitor_server {' `, m4 I; w: [% e/ b: J
server 192.168.0.131:80;' f% w9 \" y" b, a5 t
server 192.168.0.132:80;: x7 \' c+ w7 q* E7 v
}
7 l6 o- W9 }) q; b% E4 X5 j4 ~ - `$ z5 @8 t1 f' \) v' o
server
3 T4 p" d2 |; k- ~- l7 a* G9 Z{
" d+ m8 g2 H3 F9 \. d/ e6 [ listen 80;: s7 \9 q; ?7 J6 V0 L. B( d
server_name nagios.xxx123.tk;$ T/ t' \9 I$ p0 ]( I- ~
location / {$ `3 O; R! ~- r8 r: e
proxy_redirect off;
; ~$ P8 L, M, ^1 Z# ]) a proxy_set_header Host $host;* U* Z7 {9 v# V9 c
proxy_set_header X-Real-IP $remote_addr;
2 l( Z+ [0 Y1 V$ C1 Z proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; : j- k( {; z W# `& n& x
proxy_pass http://monitor_server;
3 ^; i# Y6 V* Q( R4 { }
7 U6 j- w/ v7 s- ]3 B access_log logs/nagios.xxx123.tk_access.log;* K: H) v' U+ I. m+ ^: e
}
; a! ]3 R1 J( |4 T
2 O' x1 F! n% S1 l4 Z- s2 _额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:: }& ]# L: M0 `
7 @0 R- `: a% d2 u' c0 _& J
log_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '
1 ?# }7 n# M- a2 }'$status $body_bytes_sent "$http_referer" '* ?6 a1 X0 o% Y8 Z, B$ p5 f4 z s
'"$http_user_agent" $HTTP_X_Forwarded_For';, i2 x9 L4 N1 t6 v0 L6 S) O
2 k+ p3 u W: Q3 w5 `# E+ v: k
access_log logs/access.log access;& l" g7 @# C1 s% b7 S# n
( `" c. v0 J+ Y; K2 c! j/ E再看看原来日志的格式长什么样:1 w+ W5 j7 @& G8 B
' u1 l; a# C! ?* x( A3 d2 X12 F3 A& n" h! N" K+ {
2$ Q% Y$ f% h- m% n% V
3
9 X/ S# L8 @1 y# B( i4, i& ], {$ n" p+ i+ {
57 l' A. r5 m6 f3 r( n+ a2 D1 O
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
8 O- Q- w8 _7 }6 Z# N+ _# '$status $body_bytes_sent "$http_referer" '1 i" F# l( R5 |: {+ N
# '"$http_user_agent" "$http_x_forwarded_for"';0 E" S8 C4 j! ^* j7 n/ H
% ] n, m4 q0 p! [$ v
#access_log logs/access.log main;8 W2 p' {: }7 x! O/ y0 l
看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查
5 i+ S& U. F, a# ]; g+ N6 M
- v9 x K9 ~1 W s4 t. o# k5 }1* i4 p- m- m5 o" A. b0 b- v
2
0 k/ N' M* d% L4 p0 A/ a3! J7 U/ n' u3 {0 w( [% z: p% W" v
4
& s- O8 _+ u( X0 r; ~, {8 J5 n59 e& F7 ~+ L4 J5 v# B
6
1 G6 v j( Q3 Y* `7% L. a' v0 c& L& Q: E
8; a0 |& d2 N: B; W. U5 P
proxy_connect_timeout 300s;
' G( v3 g: n8 R% z! m X$ p/ }proxy_read_timeout 300s;; X- e0 {8 I0 I& p
proxy_send_timeout 300s;4 l$ ? u& l* Z; f
proxy_buffer_size 64k;/ ^ G; Q; H& o5 Y$ p. {& U' B3 y
proxy_buffers 4 32k;( _4 H& t) f0 M. U
proxy_busy_buffers_size 64k;
" C4 o- K0 `1 W3 rproxy_temp_file_write_size 64k;
9 W! T" `0 s3 }8 r1 uproxy_ignore_client_abort on;* c% Z) _7 Q7 X, {# F/ R
报错日志:$ c3 o1 A! j. q" Z( m
3 h" J, E* ?4 b% r, b( s- |. R...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。
$ ~' h' p4 U2 o8 B' _9 R4 a) W" o% i
PS:关于域名转发
# a, R& J+ I' E$ G0 ]% i1 ?3 w+ \+ G" Y7 P- s( C9 s
所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。
; B7 V( A y3 r! T5 d6 a" q |
|