ホームページ 運用・保守 Nginx Nginx キャッシュの構成計画と、関連するメモリ使用量の問題を解決する方法

Nginx キャッシュの構成計画と、関連するメモリ使用量の問題を解決する方法

May 23, 2023 pm 02:01 PM
nginx cache

5 nginx キャッシュのオプション
1. 従来のキャッシュの 1 つ (404)
この方法では、nginx の 404 エラーをバックエンドに送信し、proxy_store を使用して返されたページは保存されます。
設定:

  location / {
  root /home/html/;#主目录
  expires 1d;#网页的过期时间
  error_page 404 =200 /fetch$request_uri;#404定向到/fetch目录下
  }
  location /fetch/ {#404定向到这里
  internal;#指明这个目录不能在外部直接访问到
  expires 1d;#网页的过期时间
 alias /html/;
 proxy_store会将文件保存到这目录下
  proxy_pass//www.jb51.net/;#后端upstream地址,/fetch同时是一个代理
  proxy_set_header accept-encoding '';#让后端不要返回压缩(gzip或deflate)的内容,保存压缩后的内容会引发乱子。
  proxy_store on;#指定nginx将代理返回的文件保存
  proxy_temp_path /home/tmp;#临时目录,这个目录要和/home/html在同一个硬盘分区内

  }
ログイン後にコピー

使用する場合、nginx には /home/tmp および /home/html へのファイルの書き込み権限が必要であることに注意してください。Linux では、nginx は通常、は、nobody ユーザーとして実行するため、これらの 2 つのディレクトリは、nobody として chown し、nobody ユーザー専用に設定する必要があります。もちろん、chmod 777 を使用することもできますが、経験豊富なシステム管理者は、気軽に 777 を使用しないことをお勧めします。
2. 従来のキャッシュ 2 (!-e)
原理は基本的に 404 ジャンプと同じですが、より簡潔です:

  location / {
  root /home/html/;
  proxy_store on;
  proxy_set_header accept-encoding '';
  proxy_temp_path /home/tmp;
  if ( !-f $request_filename )
  {
  proxy_pass//www.jb51.net/;
  }
  }
ログイン後にコピー

をご覧ください。この構成では 404 と比較して多くのコードが節約されます。!-f を使用して、要求されたファイルがファイル システムに存在するかどうかを確認します。存在しない場合は、バックエンドに proxy_pass し、戻り値も proxy_store を使用して保存されます。
どちらの従来のキャッシュにも、基本的に同じ長所と短所があります。
短所 1: nginx はファイル名のみを保存するため、read.php?id=1 などのパラメータを使用した動的リンクはサポートされていないため、このリンクのみが保存されます。ファイル システムに read.php として保存すると、ユーザーが read.php?id=2 にアクセスしたときに誤った結果が返されます。同時に、nginx は非常に正直であり、そのようなリクエストをリンクによるとファイルシステム、そしてこれは明らかにディレクトリであるため、保存は失敗します。このような場合、正しく保存するには書き直す必要があります。
欠点 2: nginx 内にはキャッシュの有効期限とクリーンアップのメカニズムがありません。これらのキャッシュされたファイルはマシンに永続的に保存されます。キャッシュするものがたくさんあると、ハードディスクの容量全体がいっぱいになってしまいます。この目的のために、シェル スクリプトを使用して定期的にクリーンアップしたり、php などの動的プログラムを作成してリアルタイム更新を行うことができます。
デメリット3: ステータスコードは200個までしかキャッシュできないため、バックエンドから返される301/302/404などのステータスコードはキャッシュされない アクセス数の多い擬似静的リンクがたまたま削除された場合、貫通すると後端にかなりの圧力がかかります。
欠点 4: nginx はストレージ メディアとしてメモリまたはハードディスクを自動的に選択しません。すべては構成によって決まります。もちろん、現在のオペレーティング システムにはオペレーティング システム レベルのファイル キャッシュ メカニズムが存在します。ハード ディスク上のファイル キャッシュについてあまり心配する必要はありません。同時読み取りによって引き起こされる IO パフォーマンスの問題。
nginx の従来のキャッシュの欠点は、squid などのキャッシュ ソフトウェアとは異なる特徴でもあるため、利点とも言えます。運用アプリケーションでは、Squid のパートナーとして使用されることが多く、Squid は ? によるリンクをブロックできないことがよくありますが、nginx は http://jb51.net/? や http://jb51 などのアクセスをブロックできます。 net / は Squid 上で 2 つのリンクとして扱われるため、2 回の侵入が発生します。リンクが http://jb51.net/?1 または http://jb51.net/? になっても、nginx はそれを 1 回だけ保存します。 123 は nginx でキャッシュできないため、バックエンド ホストを効果的に保護します。
nginx は、リンク フォームをファイル システムに非常に忠実に保存するため、リンクについては、キャッシュ マシン上のキャッシュ ステータスとコンテンツを簡単に確認でき、また、使用されているファイル マネージャーなどの他のファイル マネージャーと簡単に通信することもできます。 rsync などと組み合わせると、完全にファイル システム構造になります。
これら 2 つの従来のキャッシュはどちらも、Linux ではファイルを /dev/shm に保存できます。通常、これを行うのは、システム メモリをキャッシュに使用できるようにするためです。メモリが使用されている場合、有効期限のコンテンツはクリーンアップされます。より速く、さらに多くのことを実現します。 /dev/shm/ を使用する場合、tmp ディレクトリを /dev/shm パーティションに指定するだけでなく、小さなファイルやディレクトリが多数ある場合は、inode の数とこのメモリの最大容量も変更する必要があります。パーティション:

 mount -o size=2500m -o nr_inodes=480000 -o noatime,nodiratime -o remount /dev/shm
ログイン後にコピー

上記のコマンドは、3g のメモリを備えたマシンで使用されています。/dev/shm のデフォルトの最大メモリはシステム メモリの半分である 1500m であるため、このコマンドは増加します同時に、shm システム i ノードの数はデフォルトです。場合によっては十分ではないかもしれませんが、興味深いのは、自由に調整できることです。ここでの調整は 480000 です。保守的ですが、基本的には十分です。
3. memcached ベースのキャッシュ
nginx は memcached をある程度サポートしていますが、機能はそれほど強力ではなく、パフォーマンスは依然として非常に優れています。

 location /mem/ {
  if ( $uri ~ "^/mem/([0-9a-za-z_]*)$" )
  {
  set $memcached_key "$1";
  memcached_pass  192.168.1.2:11211;
  }
  expires 70;
  }
ログイン後にコピー

  这个配置会将http://jb51.net/mem/abc指明到memcached的abc这个key去取数据。
  nginx目前没有写入memcached的任何机制,所以要往memcached里写入数据得用后台的动态语言完成,可以利用404定向到后端去写入数据。
  4、基于第三方插件ncache
  ncache是新浪兄弟开发的一个不错的项目,它利用nginx和memcached实现了一部分类似squid缓存的功能,我并没有使用这个插件的经验,可以参考:
  http://code.google.com/p/ncache/
  5、nginx新开发的proxy_cache功能
  从nginx-0.7.44版开始,nginx支持了类似squid较为正规的cache功能,目前还处于开发阶段,支持相当有限,这个缓存是把链接用md5编码hash后保存,所以它可以支持任意链接,同时也支持404/301/302这样的非200状态。
  配置:
  首先配置一个cache空间:

复制代码 代码如下:


  proxy_cache_path /path/to/cache levels=1:2 keys_zone=name:10m inactive=5m max_size=2m clean_time=1m;


  注意这个配置是在server标签外,levels指定该缓存空间有两层hash目录,第一层目录是1个字母,第二层为2个字母,保存的文件名就会类似/path/to/cache/c/29/b7f54b2df7773722d382f4809d65029c;keys_zone为这个空间起个名字,10m指空间大小为10mb;inactive的5m指缓存默认时长5分钟;max_size的2m是指单个文件超过2m的就不缓存;clean_time指定一分钟清理一次缓存。

  location / {
  proxy_pass//www.jb51.net/;
  proxy_cache name;#使用name这个keys_zone
  proxy_cache_valid 200 302 1h;#200和302状态码保存1小时
  proxy_cache_valid 301 1d;#301状态码保存一天
  proxy_cache_valid any 1m;#其它的保存一分钟
  }
ログイン後にコピー

  ps:支持cache的0.7.44到0.7.51这几个版本的稳定性均有问题,访问有些链接会出现错误,所以这几个版本最好不要在生产环境中使用。nginx-0.7下目前所知较为稳定的版本是0.7.39。稳定版0.6.36版也是近期更新,如果在配置里没有使用到0.7的一些新标签新功能,也可以使用0.6.36版。

nginx缓存的内存占用问题的一般解决方法
1、前些日子某服务被刷,每分钟达到上几百万请求;当时采用了nginx cache来解决的;但是因为某服务不能缓存太久,当时设置了5s,那么带来的问题就是产生大量小文件,而且很快就删除了。

2、通过

free -m
ログイン後にコピー

Nginx キャッシュの構成計画と、関連するメモリ使用量の問題を解決する方法

会发现used是27g;但是通过top查看进程占的内存并没有那么多

Nginx キャッシュの構成計画と、関連するメモリ使用量の問題を解決する方法

那内存去哪了?

3、通过查阅资料会发现(cat /proc/meminfo)
slab: 22464312 kb
sreclaimable: 16474128 kb (这些是内核保持的但是可以释放的inode和dentry的缓存)
sunreclaim: 5990184 kb

4、这些内存为什么会不自动清理呢?
某机房机器系统版本:linux 2.6.32-431.el6.x86_64 #1 smp fri nov 22 03:15:09 utc 2013 x86_64 x86_64 x86_64 gnu/linux(正常,没出现内存快到100%的情况)
某机房机器系统版本:linux 2.6.32-279.el6.x86_64 #1 smp fri jun 22 12:19:21 utc 2012 x86_64 x86_64 x86_64 gnu/linux (不释放)

5、通过设置如下参数来设置内存阀值

sysctl -w vm.extra_free_kbytes=6436787
sysctl -w vm.vfs_cache_pressure=10000
ログイン後にコピー

以上がNginx キャッシュの構成計画と、関連するメモリ使用量の問題を解決する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

Tomcat サーバーへの外部ネットワーク アクセスを許可する方法 Tomcat サーバーへの外部ネットワーク アクセスを許可する方法 Apr 21, 2024 am 07:22 AM

Tomcat サーバーが外部ネットワークにアクセスできるようにするには、以下を行う必要があります。 外部接続を許可するように Tomcat 構成ファイルを変更します。 Tomcat サーバー ポートへのアクセスを許可するファイアウォール ルールを追加します。 Tomcat サーバーのパブリック IP を指すドメイン名を指す DNS レコードを作成します。オプション: リバース プロキシを使用して、セキュリティとパフォーマンスを向上させます。オプション: セキュリティを強化するために HTTPS を設定します。

nginxの起動コマンドと停止コマンドとは何ですか? nginxの起動コマンドと停止コマンドとは何ですか? Apr 02, 2024 pm 08:45 PM

Nginx の開始コマンドと停止コマンドは、それぞれ nginx と nginx -s quit です。 start コマンドはサーバーを直接起動し、stop コマンドはサーバーを正常にシャットダウンして、現在のすべてのリクエストを処理できるようにします。その他の使用可能な停止信号には、停止およびリロードがあります。

thinkphpの実行方法 thinkphpの実行方法 Apr 09, 2024 pm 05:39 PM

ThinkPHP フレームワークをローカルで実行する手順: ThinkPHP フレームワークをローカル ディレクトリにダウンロードして解凍します。 ThinkPHP ルート ディレクトリを指す仮想ホスト (オプション) を作成します。データベース接続パラメータを構成します。 Webサーバーを起動します。 ThinkPHP アプリケーションを初期化します。 ThinkPHP アプリケーションの URL にアクセスして実行します。

nginx へようこそ!それを解決するにはどうすればよいですか? nginx へようこそ!それを解決するにはどうすればよいですか? Apr 17, 2024 am 05:12 AM

「nginx へようこそ!」エラーを解決するには、仮想ホスト構成を確認し、仮想ホストを有効にし、Nginx をリロードする必要があります。仮想ホスト構成ファイルが見つからない場合は、デフォルト ページを作成して Nginx をリロードすると、エラー メッセージが表示されます。が消え、ウェブサイトは通常のショーになります。

Nodejsプロジェクトをサーバーにデプロイする方法 Nodejsプロジェクトをサーバーにデプロイする方法 Apr 21, 2024 am 04:40 AM

Node.js プロジェクトのサーバー デプロイメント手順: デプロイメント環境を準備します。サーバー アクセスの取得、Node.js のインストール、Git リポジトリのセットアップ。アプリケーションをビルドする: npm run build を使用して、デプロイ可能なコードと依存関係を生成します。コードをサーバーにアップロードします: Git またはファイル転送プロトコル経由。依存関係をインストールする: サーバーに SSH で接続し、npm install を使用してアプリケーションの依存関係をインストールします。アプリケーションを開始します。node Index.js などのコマンドを使用してアプリケーションを開始するか、pm2 などのプロセス マネージャーを使用します。リバース プロキシの構成 (オプション): Nginx や Apache などのリバース プロキシを使用して、トラフィックをアプリケーションにルーティングします。

phpmyadminの登録方法 phpmyadminの登録方法 Apr 07, 2024 pm 02:45 PM

phpMyAdmin に登録するには、まず MySQL ユーザーを作成して権限を付与し、次に phpMyAdmin をダウンロード、インストール、構成し、最後に phpMyAdmin にログインしてデータベースを管理する必要があります。

ウェブサイトにアクセスする際のnginxの問題を解決する方法 ウェブサイトにアクセスする際のnginxの問題を解決する方法 Apr 02, 2024 pm 08:39 PM

Web サイトにアクセスすると nginx が表示されます。その理由としては、サーバーのメンテナンス、サーバーのビジー状態、ブラウザーのキャッシュ、DNS の問題、ファイアウォールのブロック、Web サイトの構成ミス、ネットワーク接続の問題、Web サイトのダウンなどが考えられます。次の解決策を試してください: メンテナンスが終了するまで待つ、オフピーク時間にアクセスする、ブラウザのキャッシュをクリアする、DNS キャッシュをフラッシュする、ファイアウォールまたはウイルス対策ソフトウェアを無効にする、サイト管理者に連絡する、ネットワーク接続を確認する、または検索エンジンを使用するWeb アーカイブを使用して、サイトの別のコピーを見つけます。問題が解決しない場合は、サイト管理者にお問い合わせください。

Dockerコンテナ間で通信する方法 Dockerコンテナ間で通信する方法 Apr 07, 2024 pm 06:24 PM

Docker 環境でのコンテナ通信には、共有ネットワーク、Docker Compose、ネットワーク プロキシ、共有ボリューム、メッセージ キューの 5 つの方法があります。分離とセキュリティのニーズに応じて、Docker Compose を利用して接続を簡素化するか、ネットワーク プロキシを使用して分離を強化するなど、最も適切な通信方法を選択します。

See all articles