記憶力が急上昇！ nginx がクローラーをインターセプトしたことを思い出してください

この記事では、nginx に関するクローラの傍受を中心に、nginx に関する知識を紹介します。興味のある友達は一緒に見てください。皆様のお役に立てれば幸いです。

前書き:

最近、サーバーのメモリが一定期間異常に急増していることに気付き、当初は通常の業務によるものだと思っていました。サーバーのメモリをアップグレードしても、まだ機能しないことがわかりました。問題を解決します。(私はここで怠け者なので、最初は問題を見つけられませんでした。デフォルトでは、ビジネス量が増加していることになっています)

すぐにnginx ログを確認すると、いくつかの異常なリクエストが見つかりました:

これは何ですか? 興味本位で検索したところ、結果は次のとおりでした:

良かったですね、サーバーを自宅に送ることはほとんどありませんでした。;

すぐに解決してください:

nginx レベルのソリューション

クローラーですが、偽装されていないことがわかりました。すべてのリクエストにはユーザーエージェントが含まれており、すべて同じなので、解決は簡単です。コードを入力するだけです: (適用します) docker here)

1, docker-compose

version: '3'
services:
  d_nginx:
    container_name: c_nginx
    env_file:
      - ./env_files/nginx-web.env
    image: nginx:1.20.1-alpine
    ports:
      - '80:80'
      - '81:81'
      - '443:443'
    links:
      - d_php
    volumes:
      - ./nginx/conf:/etc/nginx/conf.d
      - ./nginx/nginx.conf:/etc/nginx/nginx.conf
      - ./nginx/deny-agent.conf:/etc/nginx/agent-deny.conf
      - ./nginx/certs:/etc/nginx/certs
      - ./nginx/logs:/var/log/nginx/
      - ./www:/var/www/html

2. ディレクトリ構造

nginx
-----nginx.conf
-----agent-deny.conf
-----conf
----------xxxx01_server.conf
----------xxxx02_server.conf

3.agent-deny.conf

if ($http_user_agent ~* (Scrapy|AhrefsBot)) {
    return 404;
}
if ($http_user_agent ~ "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)|^$" ) {
    return 403;
}

4. 次にインクルードします。各サービスのこのagent-deny.conf

server {
    include /etc/nginx/agent-deny.conf;
    listen 80;
    server_name localhost;
    client_max_body_size 100M;
    root /var/www/html/xxxxx/public;
    index index.php;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $remote_addr;
    proxy_set_header REMOTE-HOST $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

    #客户端允许上传文件大小
    client_max_body_size 300M;

    #客户端缓冲区大小，设置过小，nginx就不会在内存里边处理，将生成临时文件，增加IO
    #默认情况下，该指令,32位系统设置一个8k缓冲区，64位系统设置一个16k缓冲区
    #client_body_buffer_size 5M;
    #发现设置改参数后，服务器内存跳动的幅度比较大，因为你不能控制客户端上传，决定不设置改参数

    #此指令禁用NGINX缓冲区并将请求体存储在临时文件中。 文件包含纯文本数据。 该指令在NGINX配置的http，server和location区块使用
    #可选值有：
    #off:该值将禁用文件写入
    #clean：请求body将被写入文件。 该文件将在处理请求后删除
    #on: 请求正文将被写入文件。 处理请求后，将不会删除该文件
    client_body_in_file_only clean;


    #客户端请求超时时间
    client_body_timeout 600s;

    location /locales {
       break;
    }

    location / {
        #禁止get请求下载.htaccess文件
        if ($request_uri = '/.htaccess') {
            return 404;
        }
        #禁止get请求下载.gitignore文件
        if ($request_uri = '/storage/.gitignore') {
            return 404;
        }
        #禁止get下载web.config文件
        if ($request_uri = '/web.config') {
            return 404;
        }
        try_files $uri $uri/ /index.php?$query_string;
    }

    location /oauth/token {
        #禁止get请求访问 /oauth/token
        if ($request_method = 'GET') {
            return 404;
        }
        try_files $uri $uri/ /index.php?$query_string;
    }

    location /other/de {
        proxy_pass http://127.0.0.1/oauth/;
        rewrite ^/other/de(.*)$ https://www.baidu.com permanent;
    }

    location ~ \.php$ {
        try_files $uri /index.php =404;
        fastcgi_split_path_info ^(.+\.php)(/.+)$;
        fastcgi_pass d_php:9000;
        fastcgi_index index.php;
        fastcgi_param SCRIPT_FILENAME  $document_root$fastcgi_script_name;
        fastcgi_connect_timeout 300s;
        fastcgi_send_timeout 300s;
        fastcgi_read_timeout 300s;
        include fastcgi_params;
        #add_header 'Access-Control-Allow-Origin' '*';
        #add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS, PUT, DELETE';
        #add_header 'Access-Control-Allow-Headers' 'DNT,X-Mx-ReqToken,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Authorization,token';
    }
}

により、各This AhrefsBotがリクエスト内でインターセプトされます。

Alibaba Cloud Security Group Interception

ログを分析すると、実際には、要求された IP には少数のセグメントしかないことが判明したため、複数の保証を行うため (Alibabaクラウドが最も効果が速く、効果が最も高く、有料のものは異なります)

ip セグメント:

54.36.0.0
51.222.0.0
195.154.0.0

外部ネットワークへの直接アクセス方向:

推奨チュートリアル: nginx チュートリアル

以上が記憶力が急上昇！ nginx がクローラーをインターセプトしたことを思い出してくださいの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。