管理员
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.041 F" X# A2 n$ s) u! F4 K
3 ~4 Q+ Y- S% K$ k/ D8 \
- ###更新仓库
{9 O" \3 s- D - $ V. n; a) A U
- apt-get update -y+ y( }! {+ L: Z; B8 j2 Z$ M
- apt-get install wget -y
. J3 K) r# x. Z' e* Y- A7 n2 t - #下载nginx和相关软件包
复制代码
5 d a. c, h W" F* @
" I& g. s( S9 d0 y# p. R! npcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。
* }2 x4 [( X% b2 n8 P
+ v5 S8 `5 W V ^; x( Z/ ~- cd /usr/local/src
9 d/ ?3 ^$ s+ z1 r/ X$ G - wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>/ f; X9 V" S+ n7 ^! u
- wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>8 k. ^4 j' y: d( D4 L
- wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>
- `" D9 {0 F' ` - tar xf pcre-8.33.tar.gz9 z- h5 |$ X+ u1 W' @, x) c- T* h, z/ B
- tar xf zlib-1.2.8.tar.gz' r" X" L9 D# F9 D9 m! o8 k
- #安装编译环境# N7 O; Q2 Y1 \6 a9 e: S9 T' O
复制代码 M" d5 I/ W6 y Q
+ ]4 A: M0 I3 L# o! W1 S
apt-get install build-essential libtool -y
2 w9 S' S. p! w- r; ^3 l$ S#创建nginx用户" u5 z D, d- \* n; R! I
: b6 |- A+ {( C r* f; s所谓的unprivileged user
# F4 [* Q, S! m% n" J$ E$ q' _, C! A: |3 h3 c( K; ]( K* Z
- useradd -s /bin/false -r -M -d /nonexistent www: ^. N( B K. f" x6 d
- #开始编译安装$ R8 g0 u7 o5 h1 |8 @2 w
7 }7 @) u) k0 T6 `' q( g- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \# p. G) h! \+ G5 D! \8 m
- --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module" B# \$ X2 @+ U
- make
$ Z3 X- X1 o# z. O0 d - make install
! c# u P$ }8 n - #给文件夹授权
复制代码
( y( _, i8 V1 s/ u: ^' `0 O
; h% L+ h8 U4 n3 L, p; kchown -R www:www /usr/local/nginx
1 c4 J! L# z. Z! P#修改配置文件( X0 M* f6 i0 q( a6 h s1 b
vim nginx.conf- U: \: u: O& L" ^7 S
7 }6 ^$ B+ w! Zuser www www;" b* p' ?: }- t" w7 }/ K7 z
worker_processes 1;
6 Y( b' ^. }& i4 g5 N' cerror_log logs/error.log;% L+ v/ ^" n4 b, f: t8 h9 R
pid logs/nginx.pid;9 N) g* T0 }3 v& Z* m4 A0 n# U
worker_rlimit_nofile 65535;; I3 g$ }) B( `) d9 ~
events {
U( _9 W4 l' C3 }" m+ }; ^ use epoll;
) \5 J4 |2 m/ t worker_connections 65535;+ u1 ~* E0 `. r4 b! X
}
D& }0 g+ h2 khttp {
; X% s$ l- o f6 L" [% b2 H include mime.types;
/ S& l) Y5 K) n default_type application/octet-stream;
1 y; Y7 K. f% l5 v1 R f ^: n- l5 B7 i include /usr/local/nginx/conf/reverse-proxy.conf;. t! t0 {; `8 v1 I; c4 U/ G
sendfile on;6 Y; F1 b; l1 q% F# m
keepalive_timeout 65;' E! G) Q9 P% F$ b6 N5 W
gzip on;. l$ Y/ d; x* T3 w0 T
client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户. n8 H) u8 F3 M6 D4 o& J9 D
client_body_buffer_size 256k;
' B' o8 Z I- @5 q. P/ Q9 X7 M client_header_timeout 3m; B" p2 {- O" O8 B
client_body_timeout 3m;
0 |9 ^4 z) x9 D3 t2 ?) S" @5 G send_timeout 3m;9 N; I. M. B& u- Z, S, ]* y
proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)
! O) J0 J4 v6 E. o, q9 \: A$ _ proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)$ w U g( L9 C7 e) f- E
proxy_send_timeout 300s;% t5 I) l! F% _" y2 u; A
proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小4 e, o% q+ W7 o: y; _
proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置
8 I: r. @3 O+ |3 T proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)% r) ]1 A' q5 `, U7 O
proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘2 x" h1 ]& @% f7 f- M4 m [3 }
proxy_ignore_client_abort on; #不允许代理端主动关闭连接
. p- m* A% Q0 s; [" }0 y, q0 C server {
- b, I5 M! t" c listen 80;
6 F4 W' \; I) y server_name localhost;. Q' e v: d/ |$ x0 V2 u) u9 [2 Z
location / {
" \, R e. Z6 y. W. E root html;" S P' i' `# M8 j* R0 |$ A
index index.html index.htm;
7 _6 h2 e- X4 Z; J7 [ }5 @9 ?$ Y2 D. A) f1 I5 r
error_page 500 502 503 504 /50x.html;
2 a" I, {: A6 o location = /50x.html {
4 c1 ^' q2 X) ^. R root html;& ?; M0 y5 ?5 ~+ N. {
}/ I( F9 `' b9 ?- y$ L o
}
; ?( v* o, j" x( J4 _1 ]2 d}
8 d, C2 J+ A4 a0 ~0 v# ~6 c) S0 i! G" y: R
编辑反向代理服务器配置文件:8 F& j5 ]5 }( ]- X3 Q4 c
$ y* o6 S- p+ M* `$ O+ l- yvim /usr/local/nginx/conf/reverse-proxy.conf
' ?9 V" Q4 |+ {
# [& X+ t, {: [/ Jserver, D) h- Z+ N6 Q; `6 y1 l
{$ {: L6 d6 ^, C9 u( [( Z+ X9 Q4 G
listen 80;
+ I* s! d8 f1 L& X; N4 o3 W server_name xxx123.tk;
1 l. z9 `: t: r7 z( |: ]# N2 {4 s. U location / {+ `% v" |$ x9 \' x( U
proxy_redirect off;
/ D: U% w) I7 \0 w0 ], m proxy_set_header Host $host;
% J c* n/ j$ Q5 a9 P; Q proxy_set_header X-Real-IP $remote_addr;+ ~6 }6 W! j. H( @) Y5 ]# w% I
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;( b" i. N/ y6 B- E
proxy_pass http://192.168.10.38:3000;
: x' i A1 A( C! O! D4 t0 d }" ]8 L9 d) b3 _3 s5 V
access_log logs/xxx123.tk_access.log;
4 p z+ d# b0 O0 u2 Z; j4 I}
. j9 a8 q) n8 X! w4 j
$ e) `3 Z9 w$ Y' E# }: gserver. D/ P ~5 r$ {0 [
{6 M8 n9 C" }% ]* F; V' |2 C
listen 80;
8 Z$ r9 q. E' e. g/ k6 `/ s server_name xxx456.tk;
( j: F; T7 G0 Z- f, E) K location / {
* a+ ` T% t5 f- m0 W proxy_redirect off;
4 {8 ~5 I, r9 m' N) g9 z7 S proxy_set_header Host $host;
' R% y3 h+ E) k' d, L proxy_set_header X-Real-IP $remote_addr;
0 `+ {% v4 B& u" ? proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;; p" S4 r/ b8 E8 {2 W! ?( o
proxy_pass http://192.168.10.40:80;" M1 o$ U7 a Y
}( f5 [ K0 u9 E. X0 X& [
access_log logs/xxx456.tk_access.log;' ~* Z" ?0 |8 I8 n# q- j* w
}
. l. g* q; }& W+ I, E1 Y
# m0 t4 @! i3 ^# s, c! B, j$ h然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。# ?3 b7 F8 {/ Z! p" J. V
' H9 ]+ ~* I$ O0 y' m' A7 U
upstream monitor_server {7 g' _( \, x. Z( r$ ]
server 192.168.0.131:80;3 G& S1 {' Q" e6 d
server 192.168.0.132:80;% T% D3 {4 ~+ j# L5 d
}
' a0 ?6 e5 ?6 U- } 2 P3 \" D8 K, X! n5 y; @" u
server
3 [ O; I7 D% l( D% b4 R* j9 M{
, u2 n2 o' ]" f- n) @( q- n& O listen 80;$ w2 `: {4 r8 r: W# l7 Z
server_name nagios.xxx123.tk;
. d3 {, j9 q0 O. Q location / {
- ]" o% [. X2 f" G proxy_redirect off;
7 @2 @5 C K) I* Q# {1 P. @ proxy_set_header Host $host;' [, }" a, J4 x" d9 f) N6 _2 n
proxy_set_header X-Real-IP $remote_addr;/ x7 ?) G. R( M$ e2 c2 f6 N5 J
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
, t8 T. c8 n0 u1 R proxy_pass http://monitor_server;8 }- z4 K4 }" L0 O5 o, g$ u
}
- `# v6 E6 o% q V4 G9 d4 P access_log logs/nagios.xxx123.tk_access.log;
) @. ^ n# Q- l% Z) J6 B}
' e7 f' s, A) L
. _7 u- l" f+ m, W额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:
( I* n9 b4 ]$ Q; F; M; e: B3 {: G( }# _0 \( F
log_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '! o/ H# ~3 C+ C
'$status $body_bytes_sent "$http_referer" '$ r) j! q b1 ^! J
'"$http_user_agent" $HTTP_X_Forwarded_For';+ G5 x0 R+ `) A! W: a* s
0 x2 j9 ^1 b N; v- |! \3 l; N% Q9 zaccess_log logs/access.log access;
; M' M3 J1 f, [ P! a( {% P2 i7 A7 ]0 A J6 q% K6 C
再看看原来日志的格式长什么样:
! j+ \( N j u' V- X! O% _
6 ]/ [" ]. C5 q" Z9 C% x' n5 h17 _/ P6 G$ q7 L3 i' ^; L- z
2
" x& J7 W5 y# u6 B, }3 @9 A. ~- j3
6 w, }+ d1 B$ B8 [3 L8 |4
: S. Y9 }& x: P5, \% Z0 F, U. S" K& E
#log_format main '$remote_addr - $remote_user [$time_local] "$request" ') D" s4 t- H9 I% k' `
# '$status $body_bytes_sent "$http_referer" '; S6 h! b/ R7 t f/ ]; N0 o3 S
# '"$http_user_agent" "$http_x_forwarded_for"';' I9 s! Z0 V2 Y: K, e L" D
. f4 [& l p7 \( I
#access_log logs/access.log main;
; E( \+ m% j; l/ b( O1 i看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查
9 g( g1 T3 F# F/ {# `
1 n2 h- O2 T7 g/ G. P. o# C19 O' c/ q9 e( |% D4 O, ~" c
2, }/ f/ p1 M+ I- Z; V. p- d& r. w8 p
3/ t- |" o/ z0 n* v- ]1 {5 {6 {& I& ?
4
+ @! \4 Y4 V9 W* Y, N51 i4 p& j; ^ z/ v
6
' t9 G" d( }6 ^: ]7 }* p76 K. ~1 U3 j* A. p5 q
8* G' F- h6 {+ \. m
proxy_connect_timeout 300s;
9 Q$ S% P3 E( n) r; C( Cproxy_read_timeout 300s;9 l# i4 i- D7 t4 D
proxy_send_timeout 300s;; m1 q- ~6 u0 i% w9 T
proxy_buffer_size 64k;
1 P$ h4 ?7 @0 I. ^4 P( H+ Iproxy_buffers 4 32k;' B6 w R: R2 P# x( w- c1 ~8 }- b
proxy_busy_buffers_size 64k;5 s* Q8 t& N8 L7 o
proxy_temp_file_write_size 64k;% [& O2 E# R1 H5 U* A, I9 I. e
proxy_ignore_client_abort on;
. I; S4 b( x0 {+ z报错日志:
9 G' B+ I2 h _6 l; U7 Z* N
9 i( n8 h" m! p' U: Z...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。
' g% C* V! U0 O5 v, r3 P* Q2 {. K9 V6 h6 F. \. n. I/ d
PS:关于域名转发
D1 @) V7 i" V
/ }6 s9 u' v g7 M' R5 T所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。
P$ s- J( v7 K$ d: v* Q) ^& K |
|