管理员
   
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.04
0 F* m/ E9 k) W2 A3 H; a- G6 M) o3 G5 w( X) w5 e
- ###更新仓库
( s' \# F7 e3 `6 \6 I- n+ j3 i
5 a! I; D* a2 l- U- apt-get update -y1 h8 t' I0 N2 ~8 N) C! D3 G4 [
- apt-get install wget -y
/ G0 Q V. o0 [7 X( A4 y. R- u! K - #下载nginx和相关软件包
复制代码
$ n1 \: M9 u' `. T9 L. m) ~0 T" m. W
pcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。
5 D* `0 p/ N* h6 S+ m/ |; l$ g2 o+ k0 X- d/ T1 x
- cd /usr/local/src
' f0 Y8 U2 O1 H8 x - wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a> P- p! f9 g5 \- I" a7 _; ~' a
- wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>; P1 R0 {9 C# G" ~
- wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>4 o$ U/ `' Z2 q( `8 l. Q
- tar xf pcre-8.33.tar.gz" k- w! i& }( t- h, q
- tar xf zlib-1.2.8.tar.gz3 I' u) t4 ~$ `8 f7 `* r
- #安装编译环境
0 X3 h4 o4 ]9 D6 `) M! |8 O8 ^ J
复制代码
, W/ J! o. ^6 N+ V3 m ) T3 o; @# r) D& A; W. W% q8 `6 E; W
apt-get install build-essential libtool -y/ ?4 P7 _4 u% }
#创建nginx用户8 c* I' p- x" Q2 P j
5 _! Y( l- F* v( M
所谓的unprivileged user
( e* G: d! g) U
) i# ?) y0 J) W, w- ]- useradd -s /bin/false -r -M -d /nonexistent www
) x2 f, a0 v1 G$ l) p3 c - #开始编译安装. t& e/ \3 X. ^7 U% h1 p/ s
' e6 k2 V& ^/ [% a/ V3 C- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \) e0 Q3 e- _# u, {% _
- --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module
) K$ u4 P8 n: X! P( ?- ~ q% h# i- R - make
5 b7 C) \* W+ ]' u5 B5 W - make install
8 H0 j- ]/ ~0 T. r - #给文件夹授权
复制代码
7 c& w L0 g/ U& ~
' j! {; t3 g- |$ h; C) Bchown -R www:www /usr/local/nginx, l5 W1 c$ L+ O$ z$ l3 E" [ G1 S, O
#修改配置文件- ~- W( {& [% h/ Y2 K" a( A
vim nginx.conf
5 o$ @& I; q8 S3 l- ]% H; o9 h
L5 Q6 o3 Z( }/ muser www www;8 X; {( U1 Y& j
worker_processes 1;( p9 g1 S# h! p* |, G% c
error_log logs/error.log;4 P- b8 p* J4 R; `& M5 }3 b3 V
pid logs/nginx.pid;% a6 m/ M/ S$ i$ f
worker_rlimit_nofile 65535;
) g( z9 }5 _! U& K4 A8 z; h$ s3 wevents {
1 [( U( M; H) E# r5 A) H use epoll;
% D! z. X1 g6 `" T1 W) q5 ^ worker_connections 65535;
3 Y+ U, O1 m0 }9 K0 b4 V$ k( x}2 g9 @: d* }( }, I7 {; Y
http {! u; v# L# p! f! _
include mime.types;! _0 U T: n6 F, o
default_type application/octet-stream;
2 X- H2 \' ?' c1 | include /usr/local/nginx/conf/reverse-proxy.conf;0 Y; o5 b l8 g& D1 g
sendfile on;
$ O% m; x% ?0 k8 G* p* l" d keepalive_timeout 65;" _+ y3 k& S1 ` d7 X+ J6 H: C! p1 Y
gzip on;( E/ ?7 L8 i' ~4 ` |1 Y
client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户
4 c, U1 j5 W7 a$ n' Q client_body_buffer_size 256k;: J( U, c- [: _& Z: X, T
client_header_timeout 3m;) {8 k4 S4 M, f+ @9 W- T* E) Z& ]
client_body_timeout 3m;3 P8 E& F* c4 Q8 \
send_timeout 3m;
3 D# D- t$ C& k proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)
- K! B) M) C. c/ i* U proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)
7 w+ ^+ ]5 S$ Z1 a* @0 y( g2 }) O proxy_send_timeout 300s;( f4 I7 N/ \( ]. N
proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
8 u$ t9 T3 l1 F& Y2 j" l proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置5 e5 W* h6 H) \' b, ]0 X0 o
proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)9 K2 t( F" D2 @$ ?: q
proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘. g6 J5 c! U' T% l3 `
proxy_ignore_client_abort on; #不允许代理端主动关闭连接) |. _! u; m* V
server {% b/ e8 ?/ S, j% {
listen 80;
$ P5 e( A. |) [, b; w% m server_name localhost;
* F8 Q1 \, h" ~: z/ M( g, b/ g location / {
! p z) V/ Z3 p6 f root html;: C4 h6 B7 A, X' M! x) n- Q8 e* g
index index.html index.htm;0 G9 @. t4 O( I2 t
}6 n x" r- n1 `9 q! f9 N
error_page 500 502 503 504 /50x.html;( q7 M0 P6 I8 U& ]" \( K
location = /50x.html {
" w T |0 s, A# r7 c2 ^. p root html;
6 l& C; M+ t# R* O! Y4 C }" V1 I0 w2 w& N
}
5 v7 T% T3 L3 e7 A }/ c# s}
# {5 i. y* }" H7 g3 ?
* e* S$ k5 M) c" ^0 \# s8 n编辑反向代理服务器配置文件:4 G& ?0 a7 c2 h/ [, P/ J
$ d9 I; [; s5 L- h. ]
vim /usr/local/nginx/conf/reverse-proxy.conf9 {1 }1 N7 c1 N/ h% V& w* s
* Z H* X; X! B: Q! u% z
server
! k ?1 Y/ A8 D& ]# g% C{
* g0 I* Q I5 b/ S listen 80;) m8 S: O% i9 Q- q& y9 c
server_name xxx123.tk;: C8 \. l2 W4 l3 a2 ?
location / {
, g9 G s; X' f; a$ _& G# l5 m proxy_redirect off;
6 S& r. f( H- j! x: y. y# U proxy_set_header Host $host;
, q" B5 L6 y! _7 v+ _! G8 ^ T proxy_set_header X-Real-IP $remote_addr;% U2 [9 l& r$ y- W! r9 G/ z: x" q
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
9 z3 R$ n+ E: U8 E* F: V( M' u proxy_pass http://192.168.10.38:3000;
) S8 p0 [6 v$ a! n( X }
- g) q S4 W6 K access_log logs/xxx123.tk_access.log;
' f3 @7 \: _8 m/ A; O! S8 D}9 q9 H, j: H Y9 D4 |
8 D. a, {" P* S# N5 s* D7 b" j
server
/ h, K/ g4 @' _2 j$ N( y{+ R* P, A9 _- Q' S7 O+ Y. N
listen 80;4 w o( i, Q6 n9 G1 U
server_name xxx456.tk;
' R9 ?0 k( g$ X1 @9 z2 w: T( o' R location / {
3 \ {6 ]; B3 w. U/ ?' a proxy_redirect off;; R0 {; {$ r6 ^4 ~
proxy_set_header Host $host;
9 C9 V5 c- P7 p: f# G M* D proxy_set_header X-Real-IP $remote_addr;
% D; N2 c- d6 |0 c; b* V" \ proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;) V7 i, V7 y" J6 v# k
proxy_pass http://192.168.10.40:80;2 e( i/ U# v' b0 e! b' ?" d
}
% F& I( [9 L6 {& O: b2 ? access_log logs/xxx456.tk_access.log;
) B6 K& d) Q2 M! `}
! P+ l. z5 m7 ^' k# z
! K, c' [# l5 v' e然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。% x4 Q9 [" K3 B0 i3 Q5 X6 b
, |6 ^ w! t8 i5 vupstream monitor_server {
* L* p8 v7 x4 q6 w# B" `" k server 192.168.0.131:80;
1 j/ i" v3 z* s4 o, n% N; y# x server 192.168.0.132:80;" t& E* D" Q+ `6 ^; P# P$ _
}* Z0 z0 @8 Z5 l8 h
5 w; _, F$ F+ {3 B# ~: p& C I$ w
server+ V- Z4 Y+ E/ W+ r6 m' \
{. ^2 z9 K) L b$ y: r$ _: c, O. L
listen 80;& L2 @! r) F2 l3 h( d1 }8 a6 C
server_name nagios.xxx123.tk;
. A9 F* }' K) q0 C location / {6 ~' E: Q! Q( Q! M0 B
proxy_redirect off;
: K& t, h% K' O" {- e proxy_set_header Host $host;0 j9 I2 s' y1 S) v# K8 ]- v( D
proxy_set_header X-Real-IP $remote_addr;0 Z1 n+ g; @( \
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; & p* ~8 w8 q" o% `9 `: J* @
proxy_pass http://monitor_server;
6 E t5 x- a" s }
# C2 Y& C3 Y9 _# t access_log logs/nagios.xxx123.tk_access.log; I& K. \/ Q* t4 g8 J2 E
}: P; W" x0 J1 `6 M& U2 j. s
2 T2 M- w, D5 ^+ ^- G4 ^额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:
9 w3 w* H4 i- C7 v2 s; X
0 p* \: a) w# {$ vlog_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '0 a( h, K' y9 z
'$status $body_bytes_sent "$http_referer" '9 M) ^6 p* W; u! w/ Z+ X+ J
'"$http_user_agent" $HTTP_X_Forwarded_For';8 M% d3 W5 W4 \0 h$ C
1 Y h. w* Y5 [' \access_log logs/access.log access;
1 S. H- z" |3 T% c+ C9 P) \+ h5 g! O$ b) W
再看看原来日志的格式长什么样:
' @5 ~2 G8 P. o+ `2 p! X6 m
0 H) p" b. A; D0 t16 s: q# W9 T; \
2% Y2 ^; u* Y2 o* a8 _0 S% \
3
/ f: o0 T0 h9 H/ k9 b4
8 l/ @% {# o9 T/ o" D; `$ b0 H3 r5
$ p2 I8 I; r' N( B#log_format main '$remote_addr - $remote_user [$time_local] "$request" '7 x: r' @( ]# ]$ N& N
# '$status $body_bytes_sent "$http_referer" '
# S) t* v: \% _# '"$http_user_agent" "$http_x_forwarded_for"';
; @( t: P) A; g; i/ B7 k6 J
& E: B2 N9 @- B# g$ K" _5 w) q#access_log logs/access.log main;
& Y9 }( U3 U8 t5 W6 X }8 M看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查) L3 |3 m6 `+ p9 C7 k# s4 G. D; D$ |
* q& |$ i4 ?) b- s) y1; Y+ @. m+ c' l6 X& ?* [) g8 p; L z
2
3 C: Q+ o0 b2 O34 s9 V/ x Z L9 O* |) B
4
6 `! b1 ]" f* f8 Z9 w5
# g! Z" ?5 ?) a2 n' t3 p6
* _! F0 e0 E& T( \+ A* G9 }7
/ r; f; T: e% B+ `1 y) [8
" K( `5 c( c6 F4 m2 F9 ^7 [ N, ^proxy_connect_timeout 300s;% b* `8 W7 P; I8 g, C# M2 A
proxy_read_timeout 300s;& `+ Q' `2 _/ V( _# H# t
proxy_send_timeout 300s;
; {4 G) s, c' F O8 u4 {proxy_buffer_size 64k;0 S* a/ |* \6 S; C1 A' v
proxy_buffers 4 32k;
. x9 Y/ G, L; v- ?: |1 Yproxy_busy_buffers_size 64k;
1 v( q/ W! ?0 |: o b* Eproxy_temp_file_write_size 64k;
9 K9 A$ U% r7 b- S8 ]/ T( Lproxy_ignore_client_abort on;
: ]& y- T) g% d8 x- a报错日志:5 S0 W( L2 s @
) X6 E) U+ T4 r, }& v...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。6 X1 z, u5 z6 {5 ~
, f& O @+ L E7 m6 V, Y i
PS:关于域名转发
3 N7 F# c \6 u; Z/ {4 Z8 }& u& m6 E8 n
所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。( M4 r* E$ V d% w
|
|