公開日:2008/7/2 元リンク:http://gihyo.jp/dev/feature/01/memcached/0001 このシリーズへのリンク記事はこちら:
ミクシィ開発部システム運用チームの永野です。株式会社。 プログラムの日常的な運営を担当します。本日から数回に分けて、Webアプリケーションのスケーラビリティの分野で最近話題のmemcachedを取り上げ、弊社開発部研究開発チームの前坂とともに、その内部構造や使い方について解説していきます。
memcached は、LiveJournal の子会社である Danga Interactive の Brad Fitzpatric によって開発されたソフトウェアです。現在では、mixi、はてな、Facebook、Vox、LiveJournal などの多くのサービスにおいて、Web アプリケーションのスケーラビリティを向上させる重要な要素となっています。
多くの Web アプリケーションはデータを RDBMS に保存し、アプリケーション サーバーはそこからデータを読み取ってブラウザに表示します。 しかし、データ量が増加しアクセスが集中すると、RDBMSへの負荷の増大、データベースのレスポンスの低下、Webサイトの表示遅延など大きな影響が生じます。
memcached がその才能を発揮するときが来ました。 memcached は、高性能の分散メモリ キャッシュ サーバーです。 一般的な使用目的は、データベース クエリ結果をキャッシュすることでデータベース アクセスの数を減らし、動的 Web アプリケーションの速度とスケーラビリティを向上させることです。
図1 memcachedの一般的な使い方
Memcachedは、高速に動作する分散キャッシュサーバーとして、以下のような特徴を持っています。
Memcachedのサーバークライアント通信は複雑なXMLやその他のフォーマットを使用しません、単純なテキスト行ベースのプロトコルを使用します。したがって、Telnet 経由で memcached 上にデータを保存および取得できます。以下に例を示します。
$ telnet localhost 11211 Trying 127.0.0.1... Connected to localhost.localdomain (127.0.0.1). Escape character is '^]'. set foo 0 0 3 (保存命令) bar (数据) STORED (结果) get foo (取得命令) VALUE foo 0 3 (数据) bar (数据)
プロトコルのドキュメントは memcached のソース コードにあります。次の URL からも参照できます。
libeventは、LinuxのepollとBSDのような操作を使用するプログラムライブラリですシステムの kqueue およびその他のイベント処理機能は、統合インターフェイスにカプセル化されています。サーバーへの接続数が増加した場合でも、O(1) のパフォーマンスを実現できます。 Memcached はこの libevent ライブラリを使用しているため、Linux、BSD、Solaris などのオペレーティング システム上で高いパフォーマンスを発揮できます。 イベント処理については、ここでは詳しく説明しません。Dan Kegel の The C10K 問題を参照してください。
パフォーマンス向上のため、memcachedに保存されたデータはmemcachedの内蔵メモリ保存領域に保存されます。 データはメモリ内にのみ存在するため、memcached を再起動してオペレーティング システムを再起動すると、すべてのデータが消えます。 また、コンテンツ容量が指定値に達すると、LRU(Least Recent Used)アルゴリズムに基づいて、未使用のキャッシュが自動的に削除されます。 Memcached 自体はキャッシュ用に設計されたサーバーなので、データの永続性はあまり考慮されていません。 メモリストレージの詳細については、このシリーズの第2回講義後に前坂が紹介しますので、その際に参照してください。
memcachedは「分散」キャッシュサーバーですが、サーバー側に分散機能はありません。 個々の memcached は、情報を共有するために相互に通信しません。では、どうやって配布するのでしょうか? それはすべてクライアントの実装に依存します。この連載ではmemcachedのディストリビューションについても紹介します。
图2 memcached的分布式
接下来简单介绍一下memcached的使用方法。
memcached的安装比较简单,这里稍加说明。
memcached支持许多平台。
另外也能安装在Windows上。这里使用Fedora Core 8进行说明。
运行memcached需要本文开头介绍的libevent库。Fedora 8中有现成的rpm包, 通过yum命令安装即可。
$ sudo yum install libevent libevent-devel
memcached的源代码可以从memcached网站上下载。本文执笔时的最新版本为1.2.5。 Fedora 8虽然也包含了memcached的rpm,但版本比较老。因为源代码安装并不困难, 这里就不使用rpm了。
memcached安装与一般应用程序相同,configure、make、make install就行了。
$ wget http://www.danga.com/memcached/dist/memcached-1.2.5.tar.gz $ tar zxf memcached-1.2.5.tar.gz $ cd memcached-1.2.5 $ ./configure $ make $ sudo make install
默认情况下memcached安装到/usr/local/bin下。
从终端输入以下命令,启动memcached。
$ /usr/local/bin/memcached -p 11211 -m 64m -vv slab class 1: chunk size 88 perslab 11915 slab class 2: chunk size 112 perslab 9362 slab class 3: chunk size 144 perslab 7281 中间省略 slab class 38: chunk size 391224 perslab 2 slab class 39: chunk size 489032 perslab 2 <23 server listening <24 send buffer was 110592, now 268435456 <24 server listening (udp) <24 server listening (udp) <24 server listening (udp) <24 server listening (udp)
这里显示了调试信息。这样就在前台启动了memcached,监听TCP端口11211 最大内存使用量为64M。调试信息的内容大部分是关于存储的信息, 下次连载时具体说明。
作为daemon后台启动时,只需
$ /usr/local/bin/memcached -p 11211 -m 64m -d
这里使用的memcached启动选项的内容如下。
选项说明-p使用的TCP端口。默认为11211-m最大内存大小。默认为64M-vv用very vrebose模式启动,调试信息和错误输出到控制台-d作为daemon在后台启动上面四个是常用的启动选项,其他还有很多,通过
$ /usr/local/bin/memcached -h
命令可以显示。许多选项可以改变memcached的各种行为, 推荐读一读。
许多语言都实现了连接memcached的客户端,其中以Perl、PHP为主。 仅仅memcached网站上列出的语言就有
等等。
这里介绍通过mixi正在使用的Perl库链接memcached的方法。
Perl的memcached客户端有
等几个CPAN模块。这里介绍的Cache::Memcached是memcached的作者Brad Fitzpatric的作品, 应该算是memcached的客户端中应用最为广泛的模块了。
下面的源代码为通过Cache::Memcached连接刚才启动的memcached的例子。
#!/usr/bin/perl use strict; use warnings; use Cache::Memcached; my $key = "foo"; my $value = "bar"; my $expires = 3600; # 1 hour my $memcached = Cache::Memcached->new({ servers => ["127.0.0.1:11211"], compress_threshold => 10_000 }); $memcached->add($key, $value, $expires); my $ret = $memcached->get($key); print "$ret\n";
在这里,为Cache::Memcached指定了memcached服务器的IP地址和一个选项,以生成实例。 Cache::Memcached常用的选项如下所示。
选项说明servers用数组指定memcached服务器和端口compress_threshold数据压缩时使用的值namespace指定添加到键的前缀另外,Cache::Memcached通过Storable模块可以将Perl的复杂数据序列化之后再保存, 因此散列、数组、对象等都可以直接保存到memcached中。
向memcached保存数据的方法有
它们的使用方法都相同:
my $add = $memcached->add( '键', '值', '期限' ); my $replace = $memcached->replace( '键', '值', '期限' ); my $set = $memcached->set( '键', '值', '期限' );
向memcached保存数据时可以指定期限(秒)。不指定期限时,memcached按照LRU算法保存数据。 这三个方法的区别如下:
选项说明add仅当存储空间中不存在键相同的数据时才保存replace仅当存储空间中存在键相同的数据时才保存set与add和replace不同,无论何时都保存获取数据可以使用get和get_multi方法。
my $val = $memcached->get('键'); my $val = $memcached->get_multi('键1', '键2', '键3', '键4', '键5');
一次取得多条数据时使用get_multi。get_multi可以非同步地同时取得多个键值, 其速度要比循环调用get快数十倍。
删除数据使用delete方法,不过它有个独特的功能。
$memcached->delete('键', '阻塞时间(秒)');
删除第一个参数指定的键的数据。第二个参数指定一个时间值,可以禁止使用同样的键保存新数据。 此功能可以用于防止缓存数据的不完整。但是要注意,set函数忽视该阻塞,照常保存数据
可以将memcached上特定的键值作为计数器使用。
my $ret = $memcached->incr('键'); $memcached->add('键', 0) unless defined $ret;
增一和减一是原子操作,但未设置初始值时,不会自动赋成0。因此, 应当进行错误检查,必要时加入初始化操作。而且,服务器端也不会对 超过2 32时的行为进行检查。
这次简单介绍了memcached,以及它的安装方法、Perl客户端Cache::Memcached的用法。 只要知道,memcached的使用方法十分简单就足够了。
下次由前坂来说明memcached的内部结构。了解memcached的内部构造, 就能知道如何使用memcached才能使Web应用的速度更上一层楼。 欢迎继续阅读下一章。
版权声明:可以任意转载,但转载时必须标明原作者charlee、原始链接以及本声明。