Nginx使用记录


阅读数:   

Nginx 从入门到实践，万字详解！

原文链接：https://mp.weixin.qq.com/s/JUOyAe1oEs-WwmEmsHRn8w

下面是我的一些经验总结

转发解决跨域问题

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
server {
    listen  2077;  # 开启端口
    server_name 172.20.0.166; # 本机局域网ip

    location / {
        if ($request_method = 'OPTIONS') {
            add_header Access-Control-Allow-Origin 'http://localhost:3000,https://192.168.200.1:3000' always;
            add_header Access-Control-Allow-Methods 'HEAD, GET, POST, OPTIONS, PUT, DELETE, TRACE, CONNECT' always;
            add_header Access-Control-Allow-Headers 'Token,Content-Type,Content-Encoding,Content-Language,Content-Length,Content-Range,Content-Location,Content-MD5,Accept,Accept-Charset,Accept-Encoding,Accept-Language,Accept-Ranges,Range,TE,Connection,Keep-Alive,Upgrade,Upgrade-Insecure-Requests,Expires,Cache-Control,Cookie,web-token,app-token,X-Mx-ReqToken,X-Auth-Token,Authorization,authorization,Proxy-Authorization,DNT,Date,From,Host,Origin,Referer,User-Agent,X-Data-Type,X-Custom-Header,X-Requested-With,menuname,menuurl,Via,Max-Forwards,Expect,Pragma,Warning,If-Match,If-Modified-Since,If-None-Match,If-Range,If-Unmodified-Since,Token' always;
            add_header Access-Control-Allow-Credentials true;
            return 204;
        }

        rewrite ^/api_v1/(.*)$ /$1 break;
        proxy_pass https://xxx.xxx.xxx;
    }
}

  • always 可加可不加

  • Access-Control-Allow-Headers 根据自己的情况添加允许的请求头，示例里面为了以防遗漏就列了很多。非生产环境可以直接如下写法

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    server {
        listen  2077;  # 开启端口
        server_name 0.0.0.0;

        location / {
            if ($request_method = 'OPTIONS') {
                add_header Access-Control-Allow-Origin '*';
                add_header Access-Control-Allow-Methods '*';
                add_header Access-Control-Allow-Headers '*';
                add_header Access-Control-Allow-Credentials true;
                return 204;
            }

            rewrite ^/api_v1/(.*)$ /$1 break;
            proxy_pass https://xxx.xxx.xxx;
        }
    }

设置web访问密码

采用 ngx_http_auth_basic_module 模块实现，详见：https://blog.csdn.net/weixin_44427181/article/details/123021721

docker安装nginx

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
# 获取nginx镜像列表
docker search nginx
# 拉取最新版本nginx镜像
docker pull nginx
# 查看本地的nginx镜像ID
docker images nginx
# 创建nginx镜像容器（返回容器ID）
# docker run -d【指定容器以守护进程方式在后台运行】 --name nginx-container【指定容器名称】 -p 80:80【指定主机与容器的端口隐射关系，前主机后容器】 231d【镜像ID或者镜像名称都可以】
docker run -d --name nginx-container -p 80:80 nginx
# 查看当前所有容器
docker ps -a

# 修改配置文件
# 创建配置文件挂载目录
mkdir -p /mnt/nginx/{conf,html,logs}
# 拷贝容器内的nginx.conf与default.conf文件到主机（nginx-container可以是容器id和容器名）
docker cp nginx-container:/etc/nginx/nginx.conf /mnt/nginx
docker cp nginx-container:/etc/nginx/conf.d/default.conf /mnt/nginx/conf/
# 停止并移除刚刚开启的nginx容器
docker stop nginx-container
docker rm nginx-container
# 重新创建nginx容器（-v 挂载目录 / --privileged=true 容器内部对挂载的目录拥有读写等特权）
docker run -d --name nginx-container -p 80:80 -v /mnt/nginx/nginx.conf:/etc/nginx/nginx.conf -v /mnt/nginx/logs:/var/log/nginx -v /mnt/nginx/html:/usr/share/nginx/html -v /mnt/nginx/conf:/etc/nginx/conf.d --privileged=true nginx
# 创建nginx的访问html(不懂就随便写点文字在里面)
vi /mnt/nginx/html/index.html
# 访问主机IP即可
# 后续修改配置文件后重载配置
vi /mnt/nginx/nginx.conf
docker exec -it nginx-container nginx -s reload # or docker exec -it nginx-container service nginx reload

nginx核心模块配置

http://nginx.org/en/docs/http/ngx_http_core_module.html#ignore_invalid_headers

nginx伪造ua头

1
2
3
4
5
6
7
8
9
10
location ~* /api/v1/ {
    set $ua $http_user_agent;
    if ($http_user_agent = "Go-http-client/1.1") {
        set  $ua  "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.2 Safari/605.1.15";
    }
    proxy_set_header    User-Agent $ua;
    proxy_pass          http://api-server;
    # proxy_http_version 1.1;
    # add_header User-Agent $ua; # 加上这个可以在响应头看ua修改成功没
}

nginx禁止其他应用访问

1
2
3
4
5
6
# CMFBK-24569
server {
    ...
    if ($http_user_agent !~* "wxwork") { return 404; }
    ...
}

nginx缓存策略

nginx默认是使用协商缓存，响应头带 Etag 和 Last-Modified、Date

可以通过 etag off; 配置关闭Etag

这里涉及一个坑点，根据 RFC7234 标准，没有设置强缓存的请求头但是有Last-Modified 和 Date，会采用启发式算法时间作为强制缓存。

1
缓存时间 = (Date - Last-Modified) / 10

所以如果希望请求都走协商缓存还需要设置 Cache-Control "no-cache"

作为单页面应用，通常我们的静态资源文件都是通过webpack的contenthash来避免缓存的，但是无法避免入口不缓存。通常有2种方法解决入口被缓存问题。

方法1：通过http协议控制缓存

1
2
3
4
5
6
7
8
9
10
11
etag: on;

location / {
	add_header Cache-Control "no-cache"; # 默认，关闭客户端强制缓存，走协商缓存
}
if ($request_uri ~* ^/($|\?|.*\.html|.*\.jsp)) { # 入口文件强制不缓存
	add_header Cache-Control "private, no-store, no-cache, must-revalidate, proxy-revalidate";
}
if ($request_uri ~* ^/static/) { # 静态资源强制缓存一年（如果发布了新的版本，通过webpack修改版本号即可绕过缓存）
	add_header Cache-Control "max-age=31536000";
}

方法2：设置中间页面

中间页面通过给目标页面添加动态参数的方式（如时间戳）来绕过缓存

值得注意的是中间页面也可能被缓存，因此中间页面应尽可能不更新

亦或者中间页面做成接口访问后302重定向到目标页面

nginx配置Cookie转发

第一种配置方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
server {
   listen 8080;
   server_name localhost;
   keepalive_timeout 300;

   location / {
     if ($http_cookie ~* "webname=aaa"){
        proxy_pass http://www.aaa.com;
     }
     if ($http_cookie ~* "webname=bbb"){
        proxy_pass http://www.bbb.com;
     }
     proxy_set_header X-Real-IP $remote_addr;
     proxy_pass http://www.default.com;
   }
 }

第二种配置方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
server {
    listen 192.168.159.138:808;
    server_name listener-131;
    keepalive_timeout 300;
    location / {
      proxy_pass http://$group$request_uri;
      proxy_set_header Host $host:$server_port;
      proxy_set_header X-Real-IP $remote_addr;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
   }
    upstream listener-131_pool_01 {
      server 192.168.159.131:8080;
    }
    upstream listener-131_pool_02 {
      server 192.168.159.138:8080;
    }
    upstream listener-131_pool_03 {
      server 192.168.159.138:80;
    }
    map $COOKIE_testtmy $group {
      aaaa listener-131_pool_01;
      bbbb listener-131_pool_02;
      default listener-131_pool_03;
  }

nginx的HTTP Code444和307设置

444

在nginx中添加一个default server，并在default server中设置return 444;。此时Nginx就不会响应请求，除非请求的Host是配置的。

1
2
3
4
5
server {
    listen      80 default_server;
    server_name _;
    return      444;
}

此时请求服务器，在Chrome中显示的页面如下:

444_no_response.png

和499类似，444不是标准的HTTP status code，而是Nginx自己设立的状态码，参见444 CONNECTION CLOSED WITHOUT RESPONSE
设置了444过后，nginx收到不匹配的Host请求的话，不会有任何响应。比起404之类，另外一个好处就是可以节省一点点的带宽。

307

随着网络安全越发重要，越来越多的网站都从http迁移到了https。但迁移到https之前分发出去的链接都是http，为了兼容以前的链接，就需要做一个redirect，将http的请求redirect到https中。
最常见的redirect方式就是301 Moved Permanently或者302 Found, 将http重定向到https中。

对于普通的GET请求，这种方式是完全可以的。但当请求是POST的时候，由于一些历史原因，一些浏览器和库收到301或302的时候，会将原本的POST请求转为GET请求发送。此时POST的body会丢失，导致请求出问题。
如果要redirect POST请求，则需要使用307 Temporary Redirect来进行redirect。RFC 7231中对于307的一个描述”Note: This status code is similar to 302 (Found), except that it does not allow changing the request method from POST to GET. “

一个GET是301， POST是307的nginx配置例子

1
2
3
4
5
6
7
8
server {
    listen 80;
    server_name www.fake.com;
    if ($request_method = POST) {
        return 307 https://$host$request_uri;
    }
    return 301 https://$host$request_uri;
}

400错误处理

首先，该问题会记录到nginx的error日志中(info级别)，首先排查根据nginx的错误日志确定具体原因，下面列举一些常见导致原因：

  1. 请求头过大

    通常是由于cookie中写入了较大的值所引起。在nginx.conf中，调整client_header_buffer_size和large_client_header_buffer参数大小可以解决问题

  2. 网络传输丢包

  3. 请求头格式错误

    Valid names are composed of English letters, digits, hyphens, and possibly underscores (as controlled by the underscores_in_headers directive).

    简单来说，请求头只能是字母，数字，连字符(-)和下划线(_, 需要配置underscores_in_headers on;)，其他请求头都是非法请求头，可以配置 ignore_invalid_headers on；丢弃错误的请求头

    补充：如果header的key里面带空格，ignore_invalid_headers无效

    参考：lists.w3.org rfc7230

413错误处理

Nginx服务器

打开nginx主配置文件nginx.conf，找到http{}段，添加client_max_body_size 20M；

client_max_body_size这个参数限制了上传文件的大小，默认是1M，我在上面的修改中给了20M的限制。

修改之后一定要重新载入 nginx （service nginx reload）。

php服务器

php默认上传文件大小限制为2M，如果超出2M你需要修改php配置文件php.ini里面的参数。

post_max_size = 8M（表单提交的最大限制，此项不是限制上传单个文件的大小，而是针对整个表单提交的数据进行限制。）

upload_max_filesize = 2M （上传的单个文件的最大限制）

需要保证 post_max_size >= upload_max_filesize ，也就是前者不小于后者。

修改之后一定要重启 php-fpm 。

tomcat服务器

修改tomcat的配置文件C:/MinyooCMS/tomcat/conf/server.xml(或者安装在D盘文件路径是D: /MinyooCMS/tomcat/conf/server.xml),找到里面的<Connector>标签,在该标签中添加”maxPostSize”属性,将该属性值设置成你想要的最大值,单位是字节,或者把这个值设置为 0(maxPostSize=”0”),tomcat将不再检查POST的大小。

IIS服务器（Windows Server 2003系统IIS6）
先停止IIS Admin Service服务，然后找到windows/system32/inesrv/下的metabase.xml，打开，找到ASPMaxRequestEntityAllowed 修改为需要的值，然后重启IIS Admin Service服务
1、在web服务扩展 允许active server pages和在服务器端的包含文档
2、修改各站点的属性 主目录－配置－选项－启用父路径
3、使之可以上传大文档(修改成您想要的大小就可以了，以字节为单位)
c:/WINDOWS/system32/inetsrv/MetaBase.xml
！企业版的windows2003在第592行
默认的预设置值 AspMaxRequestEntityAllowed=”204800” 即200K

将其加两个0，即改为，现在最大就可以上传20M了。
AspMaxRequestEntityAllowed=”20480000”

301重定向

场景：

我有一个(大)网站迁移中的URL列表，需要匹配整个URL +查询字符串并重定向到另一个URL.

据我所知，以下仅匹配/mens，而不匹配其余的查询字符串. 

1
rewrite "^/mens?brand%5B%5D=27&section%5B%5D=5&price-min=0&price-max=2000&sort=newest"  "/t/gender/men" permanent;

重要的原因是我有一堆类似的URL，但查询字符串略有不同，需要重定向，类似于下面的内容，但实际上可以工作….

1
2
rewrite "^/mens/shop?q=road+map+polo"       "/t/category/golf-knits"    permanent;
rewrite "^/mens/shop?q=six+pocket+pant"     "/t/category/golf-pants"    permanent;

解决方法：

$request_uri变量包含整个URL.您可以使用map将其转换为重定向.

1
2
3
4
5
6
7
8
9
10
map $request_uri $target {
    ~*^/mens/shop\?q=road\+map\+polo   /t/category/golf-knits;
    ~*^/mens/shop\?q=six\+pocket\+pant /t/category/golf-pants;
}

server {
    ...
    if ($target) { return 301 $target; }
    ...
}

转至：https://www.it1352.com/1681357.html

转发请求

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
server {
    listen 2088;
    server_name 0.0.0.0;
    
    location ~ ^/coremail222/ {
        proxy_http_version 1.1;
        proxy_set_header    X-FORWARDED-FOR $remote_addr;
        proxy_set_header    X-FORWARDED-PROTO $scheme;
        proxy_set_header    X-FORWARDED-PORT $server_port;
        proxy_set_header    Host   $http_host;
        proxy_set_header 	Upgrade $http_upgrade; # 不如此设置不能转发ws请求
        proxy_set_header 	Connection $http_connection; # 不如此设置不能转发ws请求
        
        rewrite             ^/coremail222/(.*)$ /coremail/$1 break;
        proxy_pass          http://127.0.0.1;
    }
    
    # 将 http://127.0.0.1/upchat-public-gateway/api/ 转发到 http://117.186.248.34:11000/upchat-public-gateway/api/
    location ^~ /upchat-public-gateway/api/ {
        add_header access-control-allow-origin  "$http_origin"  always;
        add_header Access-Control-Allow-Methods "GET, POST, OPTIONS" always;
        add_header access-control-allow-credentials "true"          always;
        
        rewrite ^/(.*)$ /$1 break;
        proxy_pass http://117.186.248.34:11000;
    }
    
    # 将 http://127.0.0.1/incoremail/hxphone/ 转发到 http://127.0.0.1/coremail/hxphone/
    location /incoremail/ {
        proxy_http_version 1.1;
        proxy_set_header    X-FORWARDED-FOR $remote_addr;
        proxy_set_header    X-FORWARDED-PROTO $scheme;
        proxy_set_header    X-FORWARDED-PORT $server_port;
        proxy_set_header    Host   $http_host;
        proxy_set_header 	Upgrade $http_upgrade; # 不如此设置不能转发ws请求
        proxy_set_header 	Connection $http_connection; # 不如此设置不能转发ws请求
        
        proxy_pass http://127.0.0.1/coremail/;
    }
}


# 网络访问服务器文件
server {
    listen 2077;
    server_name 0.0.0.0;

    location / {
        autoindex on;
        autoindex_exact_size off;
        autoindex_localtime on;
        charset utf-8,gbk;

        root /var/www/nas;
    }
}

问题记录

  1. invalid PID number “” in “xxx/nginx.pid”

    image-20220511204732873

    具体原因见：https://www.liuhaolin.com/linux/134.html

    解决办法：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    # 查看当前80端口被谁占用，已经占用者的PID
    lsof -i:80
    # 关闭所有占用者为nginx的进程
    kill -9 [PID1、PID2、PID3……]
    # 重启nginx
    /home/coremail/bin/coremail restart nginx
    # 校验配置是否正确（返回success）
    /home/coremail/sbin/nginx -t
    # 重载配置
    /home/coremail/sbin/nginx -s reload

  2. nginx的 $request_uri 无法记录#后面的内容

    #号不是HTTP协议中规定的元素，只能前端处理

  3. 访问路径多个斜杆也可以正常访问

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    # nginx配置
    server {
        listen  6001;
        server_name localhost;

        location / {
            root /var/www/nginx;
            index  index.html;
            autoindex	on;
        }
    }

    启动nginx后，浏览器访问 http://localhost:6001/////居然可以正常访问，如下图，暂未找到解决方案。

    image-20210331140737160

  4. window下无法彻底关闭nginx

    window中任务管理器和命令nginx -s stop发现都无法关闭nginx。目前通过taskkill命令关闭

    1
    taskkill /f /t /im nginx.exe

    image-20210331142550393

参考文献

解决Nginx 400 Bad Request问题的一些思路

如何让Nginx支持带点的header

本文作者： ionluo
本文链接： http://www.ionluo.cn/blog/posts/87c539aa.html
版权声明： 本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。转载请注明出处！
知识共享许可协议
置顶

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true