管理员
   
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.043 ~2 x. f$ i) u9 y& I
, j. I& e b+ ?- ###更新仓库* _" Q! [: A* {$ l
7 O. i# R5 \, t+ B, k" N- apt-get update -y
% U, }4 ~& v8 R5 z0 K. r: t - apt-get install wget -y
: E! U7 k; O4 M0 T5 z6 b4 j - #下载nginx和相关软件包
复制代码 $ K/ O, O- W- a0 p6 U
0 R% L" z% `8 {- ` j# k0 }# B X% c) x' |pcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。
, E# R6 f5 D; t- q# }4 `3 ?: m3 Q9 i0 X6 i) H h1 A+ Z
- cd /usr/local/src" ]% _1 G# D/ ~( C6 u- Z
- wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a> ]9 q& p: `8 U- a1 R' p
- wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>
5 ?- h! Y" E& A) @: T. l0 v - wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>
2 Q# y7 H2 t9 m. g8 Y1 \* y# u3 d, Z - tar xf pcre-8.33.tar.gz% t4 D, L/ g7 `8 B# [: q+ U" V
- tar xf zlib-1.2.8.tar.gz
& \/ v/ r* \: h - #安装编译环境
, v1 i8 d( o/ [( f$ |
复制代码 / @! n3 t# q& i9 B
9 |, |; ^5 e0 d0 ~- P3 S3 [! N0 b apt-get install build-essential libtool -y
' H% V8 I( f2 t0 `6 H7 {#创建nginx用户
' @( s4 } G- V, r* d4 J2 t+ l) F. g
所谓的unprivileged user
% H2 H3 F& L# F) \5 @
* r9 r' i3 j6 E" U3 Q7 ^- useradd -s /bin/false -r -M -d /nonexistent www- D6 a2 p& o" R# v2 T% f/ b, I
- #开始编译安装- D; v8 t& ~2 ?! C
/ Z" n) N! G# R+ c- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \5 S& l9 \" V# c" f
- --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module
, E4 Y/ F4 b% {- n8 g - make
/ z U6 i7 {: j, c' h5 j! v - make install& n( A. S! x/ b! }7 l: n0 b
- #给文件夹授权
复制代码
# i7 p2 t5 w9 ?- u* J ' _, z2 {, m. t! c: F
chown -R www:www /usr/local/nginx- |6 q7 q4 q' i. E
#修改配置文件
8 R' X! j% I' I$ I; g' g2 c! j; vvim nginx.conf
4 K" a5 h, B/ {* p& c! W7 d
% j# U. C( e8 Puser www www;$ g$ }' F: J0 e( Y$ C7 G
worker_processes 1;
: o7 v: H; x& B) I4 a& }+ Ierror_log logs/error.log;! u4 Z- g+ E* q* A0 W4 {; R
pid logs/nginx.pid;5 w4 b, f4 h/ u+ l7 N0 M! Z
worker_rlimit_nofile 65535;/ b* b" A* V3 |: m$ a8 Z2 ]
events {0 r7 M+ v b! B
use epoll;# d5 [( F. b( i; n
worker_connections 65535;- K# a9 g& C0 n& N! X
}4 W2 x6 |- W) x9 d
http {4 @" @! ^: o" M5 m1 b& O( V
include mime.types;
8 t5 C+ v8 s$ L u) K/ {/ S default_type application/octet-stream;9 g# J) l; u8 d" c: p3 o
include /usr/local/nginx/conf/reverse-proxy.conf;
- M8 V9 E3 e0 P5 N! I" X sendfile on;
2 C, D$ G1 J% c3 U$ q' B: Y keepalive_timeout 65;# O* ]# ]% Y: o
gzip on;0 G! l# p2 d7 {
client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户
& h: V& @7 X; D" g client_body_buffer_size 256k;. t) ?! @! I) V- ?( z2 q7 C& U
client_header_timeout 3m;. r4 w; J' J( v1 @. B
client_body_timeout 3m;8 E8 P ?$ C% v% ?$ O
send_timeout 3m;
! S1 [5 m3 S' d) ^8 Y; \2 _ proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)
: f0 z/ w/ y e7 R2 v, B" Q6 T proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)1 M4 w" H6 k" _+ v
proxy_send_timeout 300s;
/ ^+ c+ T2 D* V( G9 r proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
; J" Z9 G: Z7 g' L proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置4 ]5 ?9 m; A( r/ }) p% R( S
proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)
! W# M9 t4 G# @/ O3 ^7 c proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘% k O3 i) y7 Q+ a) f/ x
proxy_ignore_client_abort on; #不允许代理端主动关闭连接$ e+ `2 ?4 p7 g! B1 g: D8 p
server {( U7 K8 h" M) t. B
listen 80;7 k& F6 ^. o7 ~4 D: i" C# Z( I
server_name localhost;4 V) i8 Q- o" e) {( {) X
location / {
( g; H4 N5 R2 }* |$ ]2 n; H1 W4 e root html;2 T) b' b& D+ J
index index.html index.htm;( h* v- y; W }, \! \
}
) M7 ~( u9 n' T5 l' B l error_page 500 502 503 504 /50x.html;* X, C3 L! X0 |5 F
location = /50x.html {
5 r; j _2 b, K7 X/ y root html;
; Z" K% V. U3 ]7 q }
5 s' o2 E! m7 F# P+ @: v }" r6 W. d/ n2 k |
}, ^) O( c' T; c- L" V ~) U
+ A/ I5 _1 h9 ~& \ z% C; s
编辑反向代理服务器配置文件:) p% P4 ]- e e: X( L2 v+ R
/ ?& Q0 I& l* R
vim /usr/local/nginx/conf/reverse-proxy.conf2 @' c) ?+ l0 F8 Q' v$ {4 Q
% L1 F) Q) K9 e# |6 Xserver/ m' a7 b) T9 V" K3 t5 x7 q' ?
{+ }- Q! S- O" [6 p
listen 80;* g3 Y' C! t# e7 S* m( B
server_name xxx123.tk;
2 v, j! V: d9 j6 e. k, F: f location / {: C! l, P0 Z, W. l$ p8 b
proxy_redirect off;
" `* P. A3 p4 q: X7 b proxy_set_header Host $host;$ r% X3 o0 @0 c. n7 X" E: ]
proxy_set_header X-Real-IP $remote_addr;
' I) h6 }* L, y4 d proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;4 `! W2 ^8 ]5 k" ~
proxy_pass http://192.168.10.38:3000;! |. j0 W0 a4 V" o" g" h. d
}
/ @9 N% C4 Z8 n8 N* f access_log logs/xxx123.tk_access.log;7 i$ Q/ e6 C' d3 I% I) Y0 G2 f
}
) H6 d5 N9 q/ K v" F
/ d u9 W Z1 c }+ I, y4 dserver
( ]6 ^# j \ N* f+ s{3 H& M5 Q% [) ~. n0 r. D
listen 80;; S8 X) r+ P$ Q
server_name xxx456.tk;
9 B. T4 E' t; s' X4 o+ [# f' c location / {
- z4 }- g2 ?3 j% v' J proxy_redirect off;
D/ J4 U: `: V( Y0 c proxy_set_header Host $host;
- I. }1 c3 l& I, s% q4 ^$ E proxy_set_header X-Real-IP $remote_addr;
( R5 ]8 V( @" J: |9 u, O proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;5 b* z5 h. T1 h" R! U% U& O
proxy_pass http://192.168.10.40:80;
) O1 T/ @9 K, o" h/ ^ }
. s7 O6 x; t2 z- s9 ~ S5 e access_log logs/xxx456.tk_access.log;9 y2 b! y; H' U# Z; e' s8 X
}: d. l& _, H. }( }/ V8 N4 V& {& S
- M4 c7 E" P4 G1 ~然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。
0 d( a! i) _, t \7 t* z' ]0 `
, I: t* z3 j1 _% tupstream monitor_server {) ?" P9 p! E k
server 192.168.0.131:80;
' P, b1 n5 D8 u; w. Z1 d server 192.168.0.132:80;% Q+ Z; A9 E- B& [
}
2 F" R9 z/ M5 ?2 V4 ~# x; K1 R- d 9 L/ {- `2 H" P4 u, g' |, Z: U
server
+ e% ` U' B3 \; J& r9 \9 p4 y{
6 E$ s# N7 ^2 o& D1 X6 D listen 80;8 _$ U" t4 K, T: e. k
server_name nagios.xxx123.tk;3 Y* ~+ q9 ~! {( _; y. `
location / {% V |( u& |$ E# l
proxy_redirect off;
W. Z* y( b6 x5 } proxy_set_header Host $host;
. k' i `7 c" o# S9 Z proxy_set_header X-Real-IP $remote_addr;( V. @/ B1 s" V0 e
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; ) m5 X* S3 Z3 ?# P# @% C
proxy_pass http://monitor_server;& F. n8 r: E) a7 v
}
! [+ L% h3 r# [' L! X: Q+ n7 o access_log logs/nagios.xxx123.tk_access.log;
6 f3 _: x! `4 k2 E5 e8 y d9 e0 j- {}: L7 N4 P5 t& x6 x. H) X
5 y- H2 i4 _; M+ l; Y0 J
额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:" c1 W" {$ S0 ^- ~! M% ?
$ u$ T! `7 `2 F: \
log_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '
" l2 @7 d; {/ n4 x+ B- l'$status $body_bytes_sent "$http_referer" '0 Y( s( e u+ m" O, i! o& L
'"$http_user_agent" $HTTP_X_Forwarded_For';
* Y6 W/ t6 b n% `) P$ d: H* k
$ P- E- \. c4 h8 D2 naccess_log logs/access.log access;
% T8 r5 j$ w" c5 h3 e2 U# {- z4 Q
再看看原来日志的格式长什么样:0 Q% z h" _. ]' q R
/ H& r5 F8 r: G0 _* |
12 B! @9 O& J8 s" d; @2 R
2! j5 C" X# Y7 n! b1 N3 @
3$ q! u [" V" h* [3 q
4
8 u y& F" y# g, e5 t8 F53 n# s& i" n4 ]7 D/ h
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '6 ?6 K3 Y4 }( a+ l3 @
# '$status $body_bytes_sent "$http_referer" '
7 M' d: V; L7 J Y- S" r5 r# '"$http_user_agent" "$http_x_forwarded_for"';
( A) S: ?; ^5 W: a a# _
* A1 ^5 D; l* A% B#access_log logs/access.log main;9 @. b, I& `) F8 e" {+ w
看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查' K( m: P- E3 [' ~$ ]+ K0 A
" `; P; u; Z7 ]" i2 ~
1
: W. ?, f5 z5 ?4 e28 n: s" l3 F$ c, O7 x
3
! J$ G$ f4 E/ T9 T4 [4 c$ W4 x. X! _! e8 Q; `
52 d2 Z. `/ J4 l* S7 n5 o6 [
6
- [9 b* }# Z Z8 E7
/ N. r9 i H: _- {; C81 L( ~( Z4 X/ \- A7 m5 W0 Z
proxy_connect_timeout 300s;
9 q; w# e }. ^, j0 z& `, Z" w+ Rproxy_read_timeout 300s;
% z9 z4 o/ a; p: c& H! Uproxy_send_timeout 300s;
' u F3 W3 b @+ G" Qproxy_buffer_size 64k;" Y8 H; A9 \6 V$ G- i1 M0 e2 w+ L3 Q
proxy_buffers 4 32k;* `; S" y) L0 z/ K
proxy_busy_buffers_size 64k;" l' O+ F4 T6 S4 [
proxy_temp_file_write_size 64k;
9 U: B4 z/ G; o& ^; O+ v& ^proxy_ignore_client_abort on;7 J! S; \" O) Q3 r' y2 M5 L4 k
报错日志:6 ?* K4 S' ~+ S* x" j. y
/ b8 c/ h1 k5 {# c# t, q3 F. x) r...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。0 ]- ], n) v+ ?
7 q1 b) p, x; Q2 ePS:关于域名转发
- B, Z1 N6 T3 X3 F& E$ q: T! i1 }, [8 i
所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。
5 e* q1 ^$ {% n* v% s$ b |
|