管理员
   
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.04
% F$ D, T1 r: }# m1 [' ~9 e8 A( V0 [5 b2 m8 s" L
- ###更新仓库; ^! } X" E$ G6 o" @1 K2 ?
- $ f2 }- x4 a% x9 i) P5 h7 [" _
- apt-get update -y0 l- U& h+ E3 l( F7 w) w
- apt-get install wget -y
& F; M2 f" ^ v4 E* t+ r - #下载nginx和相关软件包
复制代码
# W* H) t6 y: I+ M( |: a
0 Q: p B/ T% U# e& R% |7 rpcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。
, ~0 M6 I# a" I4 @8 k1 E0 A9 v* F2 p
- cd /usr/local/src. j& x5 @: c; J* g9 e
- wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>9 _8 Y% f2 B3 F
- wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>
; J; E" x; E7 G# q1 T - wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>
9 a! x/ N6 l& J" v - tar xf pcre-8.33.tar.gz
+ g- Z( A' R; J - tar xf zlib-1.2.8.tar.gz
0 A, N" p; A( ? - #安装编译环境
# Z: L* m) Y/ f. t# X6 O
复制代码
! k# |8 Y6 n! @) X' O& I
; o( z! e" }) k V5 ] apt-get install build-essential libtool -y
% ?5 E8 Q. r/ w4 y; H: h$ g#创建nginx用户
- n; ], _, a$ U/ S# s9 v6 h. O4 W( w3 b P1 E
所谓的unprivileged user
0 c2 P, j2 _* W/ q0 Q
' `3 a/ S. O7 }- useradd -s /bin/false -r -M -d /nonexistent www* m. s+ k; [ R9 s# O0 Y
- #开始编译安装
2 D9 `$ I, [ J# Y
4 g! C, c: I! j3 G, ?- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \
* f, P0 p3 _1 l* |8 n! h; U - --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module
9 H! T; P" Q2 D, \0 U9 L! R6 O" P6 m - make' g! Y8 e- ?" t9 }' g- H) N, D
- make install! A6 I" s5 a, G+ ~. H1 d
- #给文件夹授权
复制代码 $ F* }! r1 X. ^, I8 H% `
# D" r3 z% q0 S1 A2 L2 ?
chown -R www:www /usr/local/nginx6 s: E8 h; T0 n7 W; j6 b0 _) P6 @/ S; [* L! D
#修改配置文件
+ s: Q: V% @$ `5 j& F. Ovim nginx.conf
1 q5 L7 i: o, U# x8 ~2 V( D- _; F3 C& u) S
user www www;
: U( h5 }6 I, h, S: f) ~worker_processes 1;1 [8 S5 ?' G* Z& D% Z1 t( \8 G
error_log logs/error.log;
! }4 s( }; n7 h0 H& z* rpid logs/nginx.pid;2 `2 O0 @7 t- {; u
worker_rlimit_nofile 65535;$ ?6 c$ {- m1 R# w9 \
events {
- x0 b: }- s+ h. O use epoll; u9 X9 A2 m0 k7 ?) R
worker_connections 65535;# R0 C4 l k8 d; }: n3 T L
}
4 j. t+ f# I7 C; Qhttp {
' A" P9 J7 Z W) b include mime.types;
K+ |5 n$ W/ _7 M* ?% W default_type application/octet-stream;
# C7 l7 T' f/ x$ q) @ include /usr/local/nginx/conf/reverse-proxy.conf;; H% Z; Z0 A; \/ R( A* e
sendfile on;7 E* v8 o& I9 \+ Z( Y
keepalive_timeout 65;' e! H7 v1 k5 R, M# _
gzip on;
0 r5 G+ F8 }. N1 I* D* i client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户
+ h2 e' n9 G% v& r client_body_buffer_size 256k;
& c& r) _5 d, d; T: {8 [( M client_header_timeout 3m;* `4 e+ S: O4 d& o# `
client_body_timeout 3m;
3 P+ ?& A% b4 q0 ~6 T1 Z, N9 M; O y send_timeout 3m;
2 q- z, h7 T: l% Q6 g! K( \ proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)+ ?9 E7 t; p7 i' F
proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)& l. s" s$ E+ G1 G( T& {
proxy_send_timeout 300s;
0 C3 \) a6 f+ H7 U) G- `1 x7 Z proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小- s4 D8 t8 G) F2 h* G( J |
proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置3 o" y' e) P4 V& ^9 x3 v, A
proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)
( `* b4 n9 u$ R5 K8 u* o U) ^ proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘
1 u' ~- g: V3 L; q! V proxy_ignore_client_abort on; #不允许代理端主动关闭连接
6 e& P* B% M) N' i2 j2 L3 j server {, l9 @# {: g% l j/ Q
listen 80;1 B b$ r3 ]1 K, @; p
server_name localhost;
4 z, Y* h) {9 A; ?& i+ U8 z6 D location / {0 h% I* G, F% v1 {2 P
root html;
" u7 I7 c% C2 L1 u6 g index index.html index.htm;$ t2 |! ]# @! o9 r3 {
}
$ B( ?2 [0 Z# X p4 ^% R: S error_page 500 502 503 504 /50x.html;4 P! `. g E: e8 s, y7 n; |
location = /50x.html {" T/ }/ C! O# E7 ]4 t
root html;
( k# T7 I$ s* x }, J8 M, O# B! g- f4 ]* B
}. D5 c$ N X$ {
}
! X$ k$ w9 d! n+ {$ h6 O. S2 S# C( O, x/ s$ a9 T
编辑反向代理服务器配置文件:, `& W" K5 j0 L$ u1 S6 W
$ J! N. k$ K8 S* N" H: q
vim /usr/local/nginx/conf/reverse-proxy.conf
* m! F3 K* ~ P0 h" e+ y3 V
3 K2 h" K% a. Q0 p1 m/ t0 ~server
. D0 |3 _: z) n9 U7 ?{
8 c* w& z2 u" f$ p7 o1 q1 u listen 80;2 o5 K8 D& e. m* Q/ |/ b7 m9 a4 v
server_name xxx123.tk;
# T: C5 @. a; K location / { W, l; `+ ^' Q$ Q) t/ v' l
proxy_redirect off;
. V V3 T. k: r3 ]! @- _ proxy_set_header Host $host;
3 A3 |& G+ B/ ~: ? proxy_set_header X-Real-IP $remote_addr;
7 Z; Z1 [" k' q2 C# x7 P' p proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
7 w3 }- q. Q5 G0 E/ n7 P4 O proxy_pass http://192.168.10.38:3000;* a1 { h2 O- q- ~* _' Z9 i
}
. q0 T# O% x6 F$ m access_log logs/xxx123.tk_access.log;
# f4 V$ v0 z1 }6 b% M# M: z}0 n6 i, K; S9 Y7 A
3 v- ~- W9 X, X+ f5 ]7 h: x
server/ M- b# p. a# y: @4 K0 M% B
{
+ Q# X. h! V! y* p2 Y listen 80;
% g: P# d& V. W* M& x server_name xxx456.tk;$ ]' g @7 z# L- C3 W8 n
location / {+ C- T% P4 _1 N1 v% ?
proxy_redirect off;
: z1 s) e [3 E/ P* [0 v; E proxy_set_header Host $host;
9 r, `! F; V$ R' x$ v& G1 K0 ~ proxy_set_header X-Real-IP $remote_addr;
" S0 F* D- G3 B7 u Y proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;: v9 S/ `* d+ R' R) {
proxy_pass http://192.168.10.40:80;
, | F! S8 i1 N1 S5 b7 e9 _ }
' N6 Z. t5 ^! w+ V2 j9 f access_log logs/xxx456.tk_access.log;
|. e% K1 ?2 B6 B+ e1 }}) i) _- j! y7 S+ ~0 W! s+ i% V
! b0 E3 {) C X$ }然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。3 [. Z1 P- F0 Y: A( |. M
: E( ~* w- p0 h$ y( w8 O0 {# b
upstream monitor_server { u3 c9 U* N: S6 Y e
server 192.168.0.131:80;
, H0 S& H9 V, R% x) h3 k; \ server 192.168.0.132:80;
( q9 a, B, l! V4 Z. q}
# [6 t' g7 k( R H; s; c4 { 7 u# c* d* {$ h# F! z. {8 Q
server
5 s; S6 X9 T/ x. o$ M0 L{. U; [3 v4 J3 |) w& Y3 r( I t& N6 F
listen 80;
& \, G" b( s& B x% m; A server_name nagios.xxx123.tk; x5 e; \) t3 [, f) N+ N7 Q
location / {# u4 F( O' b' |6 x
proxy_redirect off;
: d3 j( [/ Q1 H( c4 t5 y proxy_set_header Host $host;
`1 V, D; L. f+ S) W+ L) Y9 Q proxy_set_header X-Real-IP $remote_addr;
7 M3 o# a6 ~+ r3 O proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; * b9 Z, `# m5 J8 ?3 g' e8 V4 t' r
proxy_pass http://monitor_server;: l2 o; d8 M$ t3 ?; k ?
}. q2 S; }( C; {$ H2 h/ A' t
access_log logs/nagios.xxx123.tk_access.log;
/ c# Z3 N9 f+ o6 @}9 J: |* j8 f1 G/ @. m/ J/ W
5 ^- i: a y5 C. ~+ _4 R额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:" a7 {7 f: t# e. ]5 j: \, U
2 R3 `9 _9 V! K. G' f z% O
log_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '
9 d: w* ~% l, |* b1 H: v5 ['$status $body_bytes_sent "$http_referer" '$ O1 i5 ? @6 p" s
'"$http_user_agent" $HTTP_X_Forwarded_For';# M; x5 [: D, P' U& I; o a0 N
) }: L! V) [6 Q% e7 \access_log logs/access.log access;6 C1 l6 a3 Q$ Z5 G$ j; i
! K. F8 o9 X: z1 @再看看原来日志的格式长什么样:
{8 e' L7 ]2 w
. i2 k- B3 C8 e1
) P3 q5 {6 H, O2 V6 p ^9 M @2
% ]5 I- f/ w$ J1 g3 W* s34 L5 z7 R7 L: p7 k# A
4
; f4 z4 a0 \+ }! |9 y/ c5! F% G' U( p- N( N
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '+ T. i/ b2 m3 b$ T
# '$status $body_bytes_sent "$http_referer" '
. L# d/ A) p* c$ I( C+ H0 c# '"$http_user_agent" "$http_x_forwarded_for"';
( K- [" Q1 A6 D8 i( ~ 7 @. A1 v) n9 b% ]3 L
#access_log logs/access.log main;6 }& v$ J) i' {- G
看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查
( J5 R1 Q2 E9 i. J1 J
y D: l- y& V# {17 ]9 s+ }! t9 Q
2
. n) Z* m& J3 ]4 a6 _/ F3+ _( F8 q; I7 I
4) a1 k. ?: P2 Z8 w5 I
5
8 v9 j" e! y1 b$ L6. e5 v* v; \5 {% a0 ?# k* D( u
7
+ T* T$ c) Y2 ?$ d( O) i8; }) B0 M. a6 @- c# Q6 X
proxy_connect_timeout 300s;% d0 z9 `7 S8 N% J9 D* w
proxy_read_timeout 300s;
$ o" M" e2 q$ {$ `% K" Y7 ?8 y; W0 ^proxy_send_timeout 300s;! I1 n% `" O: k* H8 X
proxy_buffer_size 64k;! S/ H; b' d( D H7 n+ w/ O4 W2 M( x
proxy_buffers 4 32k;, _" s+ n6 A1 u b- j+ i
proxy_busy_buffers_size 64k;* e+ e: h' D+ s5 C: o
proxy_temp_file_write_size 64k;
/ i' G2 j1 r8 ?: A! Q$ `proxy_ignore_client_abort on;( F; e3 |' H& o) ^/ x0 q4 x
报错日志:
! N. W; t9 c6 g$ F2 B* b& F4 [' \& j) f- G+ {9 \# d
...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。
6 S$ T8 L1 L5 m4 E3 f2 Z# M" Z6 W* [' x/ [& c' }
PS:关于域名转发
6 E& J# K* \0 Q8 E/ V+ ]+ t/ I. D5 G6 j1 `7 L+ ^$ d
所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。7 E0 I4 c: r& ?1 C& j3 U F
|
|