前段时间,登上公司网站测试用的服务器,无意中看到一个access.log.gz的文件包,好奇心驱使我将其从远程服务器下载到了本地,然后解压,打开看,是一份访问日志,之前总是听到他们运维的提到访问日志访问日志,脑子只对它有印象,但不知道具体是什么,现在知道了,然后,然后不懂就要问呀,了解到了一个叫nginx的服务器软件。利用业余时间简单的了解后,就想能不能在自己的电脑上安装一个nginx,平时开发调试时,也可以监控用的最多的几个端口,虽然感觉并没有什么意义,但也可看作是一种学习,毕竟自己动手操作一遍比仅仅只看书或者资料体会的会更加深刻。今天仅讲下配置,随着学习的深入还会接触到负载均衡、反向代理、优化等等,讲得不正确的地方欢迎指正,相互学习,共同进步!
Nginx相比Apaceh等,它的优点很多资料了上有,不在此过多强调,无非就是高并发连接、内存消耗少、成本低廉、配置文件简单等等。
(一)安装
在ubuntu系统上安装nginx,很简单,一条命令就可以搞定。
sudo apt-get install nginx
顺便提醒下:如果你在安装时报错,终端提示“无法解析或打开软件包的列表或是状态文件”,具体如下:
E: Encountered a section with no Package: header
E: Problem with MergeList /var/lib/apt/lists/cn.archive.ubuntu.com_ubuntu_dists_natty_main_i18n_Translation-en
E: 无法解析或打开软件包的列表或是状态文件。
解决方法:
sudo rm /var/lib/apt/lists/* -vf //如果不能删除则可以用强制删除,加个参数 -r
sudo apt-get update
还有一点就是如果你的电脑里安装有Apache,且已经运行了,把Apache停了,因为Apache和Nginx的默认端口都是80。
安装成功后,就会有一个可执行命令,打开终端输入命令nginx -h,会出现一些命令参数信息。
nginx -h 查看命令帮助
nginx -v 显示版本信息
nginx -V 显示版本信息和配置选项
nginx -t 测试配置文件
nginx -T 测试配置文件并转储
nginx -q 在配置测试期间抑制非错误信息
nginx -s signal 发送一个信号到主程序,其中信号有stop,停止nginx;quit,退出;reopen,重新打开; reload,重新加载。
nginx -p prefix 设置前缀路径,默认为/usr/share/nginx/
nginx -c filename 设置配置文件,默认为/etc/nginx/nginx.conf
ngnix -g directives 设置超出配置文件范围的全局指令
注:如果在使用这些指令时报错,有可能是权限问题,切换到root下执行就可以。
(二)配置文件
主配置文件为nginx.conf,默认路劲在/etc/nginx/下
与PHP相关的是fastcgi_params,与Python相关的是uwsgi_params
配置文件参数及含义如下:
user www www ;
Nginx用户及组。window下不指定
worker_processes 8;
工作进程数目。根据硬件调整,通常等于CPU总核数或总核数的两倍。
error_log /var/logs/error.log crit;
错误日志存放路径以及级别,级别可以为[debug|info|notice|warn|error|crdit]
关于各个错误日志级别,可参考博文http://blog.csdn.net/solmyr_biti/article/details/50634533
pid /run/nginx.pid;
pid进程标识符存放路径。pid文件为文本文件,内容只有一行, 记录了该进程的ID。pid文件的作用是防止进程启动多个副本。只有获得pid文件(固定路径固定文件名)写入权限(F_WRLCK)的进程才能正常启动并把自身的PID写入该文件中。其它同一个程序的多余进程则自动退出。
利用nginx的pid文件对nginx进行停止、重启、平滑重启。
命令格式如下:
kill -信号类型 ` cat /run/nginx.pid`
其中信号类型主要有:
TERM,INT 快速关闭;
QUIT 从容关闭
HUP 平滑关闭,重新加载配置文件
USER1 重新打开日志文件,在切割日志时用途大
USER2 平滑升级可执行文件
WINCH 从容关闭工作进程
worker_rlimit_nofile 51200;
指定进程可以打开的最大描述符数目。
这个指令是指当一个nginx进程打开的最多文件描述符数目,理论值应该是最多打开文件数(ulimit -n)与nginx进程数相除,但是nginx分配请求并不是那么均匀,所以最好与ulimit -n 的值保持一致。
现在在Linux 2.6内核下开启文件打开数为65535,worker_rlimit_nofile就相应应该填写65535。
这是因为nginx调度时分配请求到进程并不是那么的均衡,所以假如填写10240,总并发量达到3-4万时就有进程可能超过10240了,这时会返回502错误。
events
{
use epoll;
使用epoll的网络I/O 模型。linux建议epoll,FreeBSD建议采用kqueue,window下不指定。
关于什么时epoll、select、kqueue可以查相关资料。
worker_connections 204800;
每个工作进程的最大连接数量。根据硬件调整,和前面工作进程配合起来用,尽量大,但是别把cpu跑到100%就行。每个进程允许的最多连接数,理论上每台nginx服务器的最大连接数为worker_processes*worker_connections
keepalive_timeout 60;
keepalive超时时间。
client_header_buffer_size 4k;
客户端请求头部的缓冲区大小。这个可以根据你的系统分页大小来设置,一般一个请求头的大小不会超过1k,不过由于一般系统分页都要大于1k,所以这里设置为分页大小。
分页大小可以用命令getconf PAGESIZE 取得。
但也有client_header_buffer_size超过4k的情况,但是client_header_buffer_size该值必须设置为“系统分页大小”的整倍数。
open_file_cache max=65535 inactive=60s;
这个将为打开文件指定缓存,默认是没有启用的,max指定缓存数量,建议和打开文件数一致,inactive是指经过多长时间文件没被请求后删除缓存。
open_file_cache_valid 80s;
这个是指多长时间检查一次缓存的有效信息。
open_file_cache_min_uses 1;
open_file_cache指令中的inactive参数时间内文件的最少使用次数,如果超过这个数字,文件描述符一直是在缓存中打开的,如上例,如果有一个文件在inactive时间内一次没被使用,它将被移除。
}
##下面是设定http服务器,利用它的反向代理功能提供负载均衡支持
http
{
include mime.types;
设定mime类型,类型由mime.type文件定义
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
log_format log404 '$status [$time_local] $remote_addr $host$request_uri $sent_http_location';
日志格式设置。
$remote_addr与$http_x_forwarded_for用以记录客户端的ip地址;
$remote_user:用来记录客户端用户名称;
$time_local: 用来记录访问时间与时区;
$request: 用来记录请求的url与http协议;
$status: 用来记录请求状态;成功是200,
$body_bytes_sent :记录发送给客户端文件主体内容大小;
$http_referer:用来记录从那个页面链接访问过来的;
$http_user_agent:记录客户浏览器的相关信息;
通常web服务器放在反向代理的后面,这样就不能获取到客户的IP地址了,通过$remote_add拿到的IP地址是反向代理服务器的iP地址。反向代理服务器在转发请求的http头信息中,可以增加x_forwarded_for信息,用以记录原有客户端的IP地址和原来客户端的请求的服务器地址。
access_log logs/host.access.log main;
access_log logs/host.access.404.log log404;
用了log_format指令设置了日志格式之后,需要用access_log指令指定日志文件的存放路径;
gzip on :
开启gzip压缩输出,减少网络传输。
gzip_min_length 1k
设置允许压缩的页面最小字节数,页面字节数从header头得content-length中进行获取。默认值是20。建议设置成大于1k的字节数,小于1k可能会越压越大。
gzip_buffers 4 16k
设置系统获取几个单位的缓存用于存储gzip的压缩结果数据流。4 16k代表以16k为单位,安装原始数据大小以16k为单位的4倍申请内存。
gzip_http_version 1.0
用于识别 http 协议的版本,早期的浏览器不支持 Gzip 压缩,用户就会看到乱码,所以为了支持前期版本加上了这个选项,如果你用了 Nginx 的反向代理并期望也启用 Gzip 压缩的话,由于末端通信是 http/1.0,故请设置为 1.0。
gzip_comp_level 6
gzip压缩比,1压缩比最小处理速度最快,9压缩比最大但处理速度最慢(传输快但比较消耗cpu)
gzip_types
匹配mime类型进行压缩,无论是否指定,”text/html”类型总是会被压缩的。
gzip_proxied any
Nginx作为反向代理的时候启用,决定开启或者关闭后端服务器返回的结果是否压缩,匹配的前提是后端服务器必须要返回包含”Via”的 header头。
gzip_vary on
和http头有关系,会在响应头加个 Vary: Accept-Encoding ,可以让前端的缓存服务器缓存经过gzip压缩的页面,例如,用Squid缓存经过Nginx压缩的数据。。
server_names_hash_bucket_size 128;
保存服务器名字的hash表是由指令server_names_hash_max_size 和server_names_hash_bucket_size所控制的。参数hash bucket size总是等于hash表的大小,并且是一路处理器缓存大小的倍数。在减少了在内存中的存取次数后,使在处理器中加速查找hash表键值成为可能。如果hash bucket size等于一路处理器缓存的大小,那么在查找键的时候,最坏的情况下在内存中查找的次数为2。第一次是确定存储单元的地址,第二次是在存储单元中查找键 值。因此,如果Nginx给出需要增大hash max size 或 hash bucket size的提示,那么首要的是增大前一个参数的大小.
client_header_buffer_size 4k;
客户端请求头部的缓冲区大小。这个可以根据你的系统分页大小来设置,一般一个请求的头部大小不会超过1k,不过由于一般系统分页都要大于1k,所以这里设置为分页大小。分页大小可以用命令getconf PAGESIZE取得。
large_client_header_buffers 8 128k;
客户请求头缓冲大小。nginx默认会用client_header_buffer_size这个buffer来读取header值,如果
header过大,它会使用large_client_header_buffers来读取。
open_file_cache max=102400 inactive=20s;
这个指令指定缓存是否启用。同时也指定了缓存最大数目,以及缓存的时间。我们可以设置一个相对高的最大时间,这样我们可以在它们不活动超过20秒后清除掉
open_file_cache_errors on | off
默认值:open_file_cache_errors off 使用字段:http, server, location ,这个指令指定是否在搜索一个文件是记录cache错误.
open_file_cache_min_uses
语法:open_file_cache_min_uses number 默认值:open_file_cache_min_uses 1 使用字段:http, server, location 这个指令指定了在open_file_cache指令无效的参数中一定的时间范围内可以使用的最小文件数,如果使用更大的值,文件描述符在cache中总是打开状态.
open_file_cache_valid
语法:open_file_cache_valid time 默认值:open_file_cache_valid 60 使用字段:http, server, location 这个指令指定了何时需要检查open_file_cache中缓存项目的有效信息.
client_max_body_size 300m;
设定通过nginx上传文件的大小
sendfile on;
开启高效文件传输模式,sendfile指令指定nginx是否调用sendfile函数来输出文件,减少用户空间到内核空间的上下文切换。对于普通应用设为 on,如果用来进行下载等应用磁盘IO重负载应用,可设置为off,以平衡磁盘与网络I/O处理速度,降低系统的负载。
tcp_nopush on;
此选项允许或禁止使用socke的TCP_CORK的选项,此选项仅在使用sendfile的时候使用
proxy_connect_timeout 90;
后端服务器连接的超时时间,发起握手等候响应超时时间
proxy_read_timeout 180;
连接成功后等候后端服务器响应时间,其实已经进入后端的排队之中等候处理(也可以说是后端服务器处理请求的时间)
proxy_send_timeout 180;
后端服务器数据回传时间,就是在规定时间之内后端服务器必须传完所有的数据
proxy_buffer_size 4k;
设置从被代理服务器读取的第一部分应答的缓冲区大小,通常情况下这部分应答中包含一个小的应答头,默认情况下这个值的大小为指令proxy_buffers中指定的一个缓冲区的大小,不过可以将其设置为更小
proxy_buffers 4 32k;
设置用于读取应答(来自被代理服务器)的缓冲区数目和大小,默认情况也为分页大小,根据操作系统的不同可能是4k或者8k
proxy_busy_buffers_size 64k;
高负荷下缓冲大小(proxy_buffers*2)
proxy_temp_file_write_size 64k;
当缓存被代理的服务器响应到临时文件时,这个选项限制每次写临时文件的大小。proxy_temp_path(可以在编译的时候)指定写到哪那个目录。
proxy_temp_path /data0/proxy_temp_dir;
proxy_temp_path和proxy_cache_path指定的路径必须在同一分区
proxy_cache_path /data0/proxy_cache_dir levels=1:2 keys_zone=cache_one:200m inactive=1d max_size=30g;
#设置内存缓存空间大小为200MB,1天没有被访问的内容自动清除,硬盘缓存空间大小为30GB。
keepalive_timeout 120;
长连接超时时间,单位是秒,这个参数很敏感,涉及浏览器的种类、后端服务器的超时设置、操作系统的设置,可以另外起一片文章了。长连接请求大量小文件的时候,可以减少重建连接的开销,但假如有大文件上传,65s内没上传完成会导致失败。如果设置时间过长,用户又多,长时间保持连接会占用大量资源。
send_timeout 120;
用于指定响应客户端的超时时间。这个超时仅限于两个连接活动之间的时间,如果超过这个时间,客户端没有任何活动,Nginx将会关闭连接。
tcp_nodelay on;
告诉nginx不要缓存数据,而是一段一段的发送–当需要及时发送数据时,就应该给应用设置这个属性,这样发送一小块数据信息时就不能立即得到返回值。
client_body_buffer_size 512k;
如果把它设置为比较大的数值,例如256k,那么,无论使用firefox还是IE浏览器,来提交任意小于256k的图片,都很正常。如果注释该指令,使用默认的client_body_buffer_size设置,也就是操作系统页面大小的两倍,8k或者16k,问题就出现了。
无论使用firefox4.0还是IE8.0,提交一个比较大,200k左右的图片,都返回500 Internal Server Error错误
proxy_intercept_errors on;
表示使nginx阻止HTTP应答代码为400或者更高的应答。
upstream bakend {
server 127.0.0.1:8027;
server 127.0.0.1:8028;
server 127.0.0.1:8029;
hash $request_uri;
}
这个设计到负载均衡问题。
nginx的upstream目前支持以下种方式的分配
1、轮询(默认)
每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器down掉,能自动剔除。
2、weight
指定轮询几率,weight和访问比率成正比,用于后端服务器性能不均的情况。
例如:
upstream bakend {
server 192.168.0.14 weight=10;
server 192.168.0.15 weight=10;
}
3、ip_hash
每个请求按访问ip的hash结果分配,这样每个访客固定访问一个后端服务器,可以解决session的问题。
例如:
upstream bakend {
ip_hash;
server 192.168.0.14:88;
server 192.168.0.15:80;
}
4、fair(第三方)
按后端服务器的响应时间来分配请求,响应时间短的优先分配。
upstream backend {
server server1;
server server2;
fair;
}
5、url_hash(第三方)
按访问url的hash结果来分配请求,使每个url定向到同一个后端服务器,后端服务器为缓存时比较有效。
例:在upstream中加入hash语句,server语句中不能写入weight等其他的参数,hash_method是使用的hash算法
upstream backend {
server squid1:3128;
server squid2:3128;
hash $request_uri;
hash_method crc32;
}
#定义负载均衡设备的Ip及设备状态
upstream bakend{
ip_hash;
server 127.0.0.1:9090 down;
server 127.0.0.1:8080 weight=2;
server 127.0.0.1:6060;
server 127.0.0.1:7070 backup;
}
在需要使用负载均衡的server中增加
proxy_pass http://bakend/;
每个设备的状态设置为:
1.down表示单前的server暂时不参与负载
2.weight为weight越大,负载的权重就越大。
3.max_fails:允许请求失败的次数默认为1.当超过最大次数时,返回proxy_next_upstream模块定义的错误
4.fail_timeout:max_fails次失败后,暂停的时间。
5.backup: 其它所有的非backup机器down或者忙的时候,请求backup机器。所以这台机器压力会最轻。
nginx支持同时设置多组的负载均衡,用来给不用的server来使用。
client_body_in_file_only设置为On 可以讲client post过来的数据记录到文件中用来做debug
client_body_temp_path设置记录文件的目录 可以设置最多3层目录
location对URL进行匹配.可以进行重定向或者进行新的代理 负载均衡
##配置虚拟机
server
{
listen 80;
配置监听端口
server_name image.***.com;
配置访问域名
location ~* \.(mp3|exe)$ {
正则表达式,对以“mp3或exe”结尾的地址进行负载均衡
proxy_pass http://img_relay$request_uri;
设置被代理服务器的端口或套接字,以及URL
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
以上三行,目的是将代理服务器收到的用户的信息传到真实服务器上
}
location /face {
if ($http_user_agent ~* "xnp") {
rewrite ^(.*)$ http://211.151.188.190:8080/face.jpg redirect;
}
#这里涉及到Nginx的Rewrite规则问题,由于篇幅有限,下节再讲
proxy_pass http://img_relay$request_uri;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
error_page 404 502 = @fetch;
}
}
}
从上面也可以看出nginx.conf文件的主要格式是:
......
events
{
......
}
http
{
......
server
{
......
}
server
{
......
}
......
}
Nginx的配置是一大特色。可以类比css文件中样式的定义,子元素会继承父元素的样式定义并可以选择是否覆盖,nginx配置中同样存在类似的继承关系。
为理解nginx配置的继承模型,需要知道nginx配置有好几个块,一个块也被称为一个上下文(context),例如在server上下文中定义的指令存放在server{}块中,http上下文中定义的指令存放在http{}块中。
在nginx中存在6种可能的上下文,顺序从高到低依次是:
Global
Http
Server
If
Location
Nested Location
if in location
limit_except
默认的继承模型方向是低层继承高层,而不是横向或逆向。一个常见的场景是,重写请求从一个location内部跳转到另一个location,那么在第一个location块中定义的指令就会被忽略,而只有第二个location块中定义的指令在location context中有效,这里只是简单的提下。
其实Nginx配置不只是这些,还有其它的,毕竟Nginx有很多模块,每个模块可能又有些特殊的配置命令,这里讲得只是一些基本的配置信息,等学得,理解的更深刻后,再逐步补充吧,不正之处欢迎批评指正!