管理员
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.04
3 g; k/ ?. ~) I: _) I' m; y. f8 n; v. [) O% ]
- ###更新仓库( M1 g- E, I# B* c: W
- 0 ], z( ~" G0 `; m
- apt-get update -y
6 Y- r8 I+ s; t7 N# V - apt-get install wget -y
1 M" |; J" Y6 A S3 c - #下载nginx和相关软件包
复制代码
8 o" I9 }2 q& j$ |* N3 n
( C3 t* r; q' J* _2 {$ Cpcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。# s- f' t! S5 A7 l
W, i6 P4 q* s) j- cd /usr/local/src. t! ^! w* h- m' x
- wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>
" r3 J/ o" R$ V6 ~+ o3 U: E4 z6 Q - wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>
' S% y: o, N4 K! S6 T5 J2 } - wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>* F& W( e! c$ N7 S
- tar xf pcre-8.33.tar.gz) v3 S3 U8 i" e5 m0 p' a) i- ]" I% E
- tar xf zlib-1.2.8.tar.gz" \$ r% b) Z7 s0 Z+ R: [& W& T
- #安装编译环境- O: o8 Q& L1 _' ?! K) \% |1 `
复制代码 7 W6 z) _6 V) |) h
9 d7 {' q' B; A. a5 u# d! _8 R
apt-get install build-essential libtool -y$ O+ d8 h5 [" [+ Y3 w5 T5 J* X* Y
#创建nginx用户' ~% W, ~# S E" u5 f
6 m" X- r9 B8 v; `
所谓的unprivileged user
/ h" K0 ~- H4 ~" _* j: j, ^1 f
1 i5 V% _8 W3 G/ w& P- useradd -s /bin/false -r -M -d /nonexistent www
2 {" Y& L$ e6 b% x - #开始编译安装# a9 ^# p2 b3 Z
& }1 T+ O( n3 ]7 l/ L+ L& b( K0 @- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \
$ V" o+ D4 x' |7 p - --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module7 t" H; [6 {4 S- s% A# d/ z/ y: C
- make' d' \$ m8 b0 l! r7 b0 |) e
- make install6 Y' x: h6 I8 s; D
- #给文件夹授权
复制代码 3 Z' W- R# R# s+ s4 d* h! }( j
5 k8 ^$ V+ u( ^chown -R www:www /usr/local/nginx" f$ a5 j. r2 M* |8 V
#修改配置文件$ V! B! j" y) `: E0 l Q
vim nginx.conf: _% e/ `& t* ?) F$ c
9 s) O+ k( ?, _5 N1 {* k' M# O
user www www;% N$ j4 P. ^( o6 @* a( N0 U7 Z
worker_processes 1;2 y; [6 `6 K+ Y F! L
error_log logs/error.log;
+ j; u5 B$ u# k: Z l \8 fpid logs/nginx.pid;
, j: s5 j x O# U; {, @ Uworker_rlimit_nofile 65535;, q. a' i& s3 d+ O/ g$ P
events {) {8 u0 \, j9 M6 `2 E- c2 ~
use epoll;% \+ C: ]4 y9 [: o2 N9 v7 }
worker_connections 65535;
: ]+ N7 z/ _0 f y}
6 h' W0 x* w$ [3 F9 H2 L( E2 Chttp { }) l6 v% x9 R% }5 \, n) D$ a/ x
include mime.types;
! Z; W1 ?( q% P! k1 X default_type application/octet-stream;% S# W$ F2 g1 w+ P/ G2 @2 D- H% G- G
include /usr/local/nginx/conf/reverse-proxy.conf;
1 f8 E+ X6 `, |* Y1 ~6 f sendfile on; _( _' x7 V: n3 G
keepalive_timeout 65;
7 ^3 m4 l/ ^7 u% M gzip on;) H! u9 \1 P8 }/ ^
client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户
& O: A5 |4 O- Z+ O) B }$ m6 _ client_body_buffer_size 256k;/ ]5 W- D3 I0 o0 }. x
client_header_timeout 3m;9 i( H" u! N" E3 R: P
client_body_timeout 3m;! M- w2 v* k1 B2 Q3 @8 o
send_timeout 3m;/ F6 n# X( \( ~1 P: N* }) B7 B; G2 H
proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)
* W# p7 N7 C" ]1 W; S2 K. \ proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)
: u& u( g' ~/ x9 A; \. h proxy_send_timeout 300s;
" r9 j1 h- p9 Z" E! N- J; J; g8 ~6 s6 p proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
2 X* p/ ^, a- i proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置( H6 N+ M: q3 ? L5 j& ^3 ]
proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)
/ a! b8 z& ]8 }2 a proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘4 L7 |+ \' u4 _
proxy_ignore_client_abort on; #不允许代理端主动关闭连接+ U3 K# i& F- H: o
server {2 ~% h6 K. g2 e4 ]' b0 j/ }" q
listen 80;
6 {% Q* b8 ^0 W- e1 I+ ?" E1 W) L. C- J server_name localhost;
3 l ~7 ^# a, d0 G- {- Y location / {3 N: U h9 N2 W1 `
root html;
1 l9 J+ c6 w. }: P: _# s index index.html index.htm;
$ R7 p1 G6 \+ ~, `! I# R" x. a }( S0 b, j$ J" ?
error_page 500 502 503 504 /50x.html;
0 z$ x' ?" w) w9 H location = /50x.html {
# S" G" j% G) r( s* q root html;$ X) ^2 J. m8 z+ l
}1 T0 Q! v1 t4 ]7 B7 h
}$ p' U- m# T) W* {) d" j
}
( h! P! L9 s8 S7 I4 P" g! m0 R% _8 G' {& C. ~. ]
编辑反向代理服务器配置文件:
, M1 o' H+ x/ P+ x1 w L
0 u( D* z4 k) O O; g6 K0 uvim /usr/local/nginx/conf/reverse-proxy.conf; E$ g, v! g6 V" ~; t w' R4 Q
4 m2 m% v1 T% d8 X( L: P" Wserver' S8 C8 b$ T$ Q3 s- S8 r" m
{
, e. K, T E6 L listen 80;# R: I/ S& y- w9 I0 N% S4 M
server_name xxx123.tk;- ^" I6 q) w# S0 B$ ~% S0 U3 d
location / {
0 G/ M! h- W1 u4 [3 V: o proxy_redirect off;9 a. i$ ?' j* Z0 i) R1 Z6 c
proxy_set_header Host $host;
$ h- E0 e7 d- h9 X4 u5 k% k proxy_set_header X-Real-IP $remote_addr;; E" S- n" z) p( a5 {' K
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
7 {* b# F e( s* y proxy_pass http://192.168.10.38:3000;
( U, M; A. Z# W! C3 |! t }
, f- X7 Q9 w9 \ O2 d8 x; k# E, I access_log logs/xxx123.tk_access.log;
+ Y6 L5 {* ?/ c! R}" g3 M8 `$ S) _' c
: A j- n q, t j8 Lserver2 K! ~: K( J5 c) Q, J8 n2 [! {, H( U
{* j2 f8 l# n% c' C( }! }# c
listen 80;) P H; e& g o# G
server_name xxx456.tk;+ ]& I9 L: Q3 Z p/ y9 U d
location / {
+ `( X9 Y+ p( W7 L) i; s proxy_redirect off;4 A& a7 V# l! G6 C9 \, Q q7 f
proxy_set_header Host $host;( X0 ~* P) K5 {
proxy_set_header X-Real-IP $remote_addr;" t0 {, n1 Y5 w# ?
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
5 D& x% v6 \; |0 Q, V7 D' I proxy_pass http://192.168.10.40:80;
$ E8 i: P3 G# t% c }
) q* R6 ~1 P( {) F" h access_log logs/xxx456.tk_access.log;4 u2 }4 {" s; I9 C$ q0 {' ]
}
6 ~2 N5 C h" v$ A: K; |, a$ }# x( u+ Y. O- H4 d9 X# a# O
然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。
2 _* p; t: H0 s: g @) f" ]3 p7 ~9 @7 Q0 C2 }
upstream monitor_server {( X. {0 A& Z, u! X3 T
server 192.168.0.131:80;3 g; u1 V2 I! Y* o3 y- B+ n" M
server 192.168.0.132:80;
! k; Y. K2 p& }5 M& J% x}
7 P- a, t! S" b; ~8 J- c 1 M/ ~8 O2 G1 n0 ^1 q1 a
server
& V0 i9 L9 A& `6 w{
/ a; q& Q* j% v8 m0 M) s; ` listen 80;
' c# V9 M& W) i! Z server_name nagios.xxx123.tk;# U0 {% l/ W. j* Q0 k
location / {
5 b* u6 |# S+ n proxy_redirect off;
1 Z8 y0 u5 c/ O3 W6 ]' v6 f9 ^ proxy_set_header Host $host;
- `4 v ?0 ]* j+ D- F& Z3 {+ Z proxy_set_header X-Real-IP $remote_addr;- k( C+ m# X( J! q2 K. j7 a
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
# g6 P- U5 R$ w0 x0 R proxy_pass http://monitor_server;
* X# Y4 l/ r8 z }
: l8 M j& s; @: C! L4 z; R' m# ?: H; R access_log logs/nagios.xxx123.tk_access.log;
: e. k: L9 y% w& L# G- `$ X& n}
8 O' k7 i; B; I+ p- w% r1 ` e U3 j8 Q1 G
额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:
4 |* V/ ^6 ^+ H& l+ y: P7 c+ A5 Q' G6 A/ m) r# R
log_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '
, [& b a1 Q# {5 R' Z'$status $body_bytes_sent "$http_referer" '' p# w' t3 Z2 Q! B( Y9 H' h
'"$http_user_agent" $HTTP_X_Forwarded_For';
- C9 L6 W2 Q6 u% m, E- m% ^, q 8 d: R6 a5 C: {. U. P N& B
access_log logs/access.log access;. C4 J# k# ]# _' [# t
9 T7 A m0 _: o6 W/ z
再看看原来日志的格式长什么样:
( s( p5 F) v: ?! W
0 T8 q! \3 [/ e$ F/ S$ n1: ^7 R' T+ K! d' _8 m% I
2& P- z) c9 A" N7 O; P" n
3
& g# Q( @& e: P) Q; \6 @/ u4
1 b9 |8 g" D) x8 a" M. M5
# H1 |/ _7 d; v( [) E6 K/ n#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
; m9 @: w6 l6 }* x% x9 J# '$status $body_bytes_sent "$http_referer" '
7 d/ P1 _# W* F# '"$http_user_agent" "$http_x_forwarded_for"';* P; X; G: [! N" J D+ G
- Q2 O d- R! q/ A/ T8 p+ o6 c
#access_log logs/access.log main;! D4 q9 |: g: t `4 R0 z
看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查
3 F8 K% s3 X! b: ~' ^
0 E* E/ t" j6 a, t: B3 N1) ?: s$ G' G" m6 H
2$ J1 K# q, f' z7 b
3
6 ]& s) q. L& u6 G/ U7 T4: Z/ ?0 O! G6 u. V* y) o1 `9 l
5
/ y( M! v' G& Z3 H+ }0 |63 \9 s- @! H& i" T4 o
77 T/ n Z+ X: N1 z. M" `7 N
8
2 V3 r, c2 P$ I: u! bproxy_connect_timeout 300s;
2 q; j7 i, Z8 O0 \* Eproxy_read_timeout 300s;$ T# i5 J3 f4 O
proxy_send_timeout 300s;( J! S. U! U. o* n' O& b0 \" @- ~/ j
proxy_buffer_size 64k;. H$ c4 q$ e3 C/ S6 n+ r- \
proxy_buffers 4 32k;
% R( w! R! K! A4 u- Uproxy_busy_buffers_size 64k;
4 D% L5 G/ x X% n$ E0 _% Jproxy_temp_file_write_size 64k;
' N- b, S. g6 ]& A" z+ B) rproxy_ignore_client_abort on;
( V. k/ C1 h2 V( U! y报错日志:' X E1 u) m, g q" J4 T- m+ D
& r, P6 L+ u ~0 A" Z B
...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。
0 L% j" M, r4 \9 m/ ^2 A2 @- t% P: N. B/ ?
PS:关于域名转发4 h7 w5 N/ _% b. O& C2 a! E, m. Z
; L+ t- u; H6 R5 I4 j2 V
所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。" u' P+ p$ u2 t7 P: {9 c! i
|
|