如何让你的内存中的 NoSQL 数据存储适合企业级应用

对于关注用户体验的每一个Web或移动应用而言，基于内存的NoSQL数据存储系统（例如开源的 Redis和Memcached）正在成为事实标准。由

对于关注用户体验的每一个Web或移动应用而言，基于内存的NoSQL数据存储系统（例如开源的 Redis和Memcached）正在成为事实标准。由于性能、可扩展性和可用性面临的诸多挑战，很多大企业已经在试图采用这些数据库系统。

非常幸运的是，现代编程语言（例如Ruby、Node.js、Python等）和开发平台（例如Rails、Sinatra、Django等）已经内置了很多工具和开发库（libraries)。这些工具和开发库能够有效利用内存数据库的高性能和各种操作命令，能够实现当前流行的多种应用项目。

这些开源的示例项目包括作业管理、论坛、实时分析、Twitter克隆、地理位置搜索以及高级缓存等等。

数据库系统的可用性（availability）、可扩展性（scalability）和性能（performance）对于这些项目的成功至关重要。

本文粗略的介绍如何构建企业真正可用的基于内存的NoSQL数据库，包括一些技巧和建议；这些技巧和建议能够解决云端NoSQL数据库管理面临的七大挑战。

1. 可用性

无论你做什么，对于你的应用来说数据必须是时刻可用的。这对于内存数据库尤为重要；因为，如果没有得当的措施，当下面的情形发生时你的数据将会部分或全部丢失：

对于情形1和情形2有两种方式来解决；情形3将在稍后讨论。

复制:你要确保将你的数据保存一份到集群的另一节点，如果是另一数据中心则更为可靠，以便应付数据中心发生故障（亚马逊AWS在2012年至少发生了4次故障）。不幸的是事情并非如此简单。随便就能举一个复制非常困难的例子：
一旦程序写的频率增加，你会发现应用服务器写入速度远大于复制的速度，尤其是在主节点和复制节 点存在网络拥堵的情形下。一旦这种情况发生，如果数据集大到一定程度，复制节点很有可能永不再 与主节点同步。

自动切换:为什么需要这个？内存数据库每秒处理的请求比一般数据库通常多100倍，这就意味着每增加一秒宕机时间就会延迟更多的请求处理并给用户带来不好的用户体验。在实现自动切换时一定要遵循下面的原则：
1.确保主存储节点一旦失败就立马切换到备用复制节点。这一般基于成熟健壮的看门狗技术 （watchdog），看门狗持续的监控节点，一旦失败就切换到健康的复制节点。
2.对于你的应用程序而言切换过程要尽量透明；最理想的情况是不需要更改任何配置。更高级的解决方案是仅仅修改DNS中存储节点的IP地址，确保修复过程在几秒钟之内完成。
3.自动切换应当基于Quorum并且是完全一致(fully consistent)或最终一致（eventually consistent）的。讨论下面继续：

2. 网络分裂过程中和完成后的一致性

网络分裂（network splits)在云中频繁发生，对地球上的分布式存储系统而言也是最复杂的问题。一旦发生分裂，应用程序可能只会发现内存数据库的部分节点；同时，每个内存NoSQL数据库节点也很有可能只能发现一部分的其他节点。

为什么说这是一个非常严重的问题呢？如果你的数据库包含一些隐蔽的设计缺陷，当网络分裂发生时，应用程序很可能会写入错误的节点。这意味着，当情况恢复时，应用程序发起的写入就会丢失。这对基于内存的NoSQL数据库来说这是一个非常有意义的话题，因为基于内存的NoSQL数据库每秒的写操作远大于其他的NoSQL数据库系统。

一个设计得当的基于内存的NoSQL是什么样子的呢？很不幸，你只能从下面两个非常糟糕的候选中选择一个：

如果基于内存的NoSQL数据库是完全一致（fully consistent）的，在某些情况下你是不允许写入任何内容的，除非网络分裂恢复。

如果基于内存的NoSQL数据库是最终一致（eventually consistent)的，应用程序可以对“读”请求采用quorum方法——返回一个值或者阻塞。

注意——在今天的市场上并不存在最终一致（eventually consistent）的基于内存的NoSQL数据库，所以只有选项1是可以实际应用的方案。

3. 数据持久化

尽管基于内存的NoSQL解决方案提供多种复制选择，你仍需要着重考虑数据持久化和备份，原因如下：

现在你已经确信数据持久化是必要的，在大多数云环境中你应当使用附属在云主机上的存储设备（像AWS的EBS、Azure的Cloud Derive等）。如果你将数据保存在本地硬盘，，当遇到节点故障时你就会丢失数据。

一旦数据得到持久化保存，你最大的挑战将变成：在将改变实时写入到持久化存储的同时保证内存NoSQL数据库的速度。

4. 稳定的性能

基于内存的NoSQL数据库（例如Redis和Memcached）的设计目标是：在毫秒延迟内，每秒钟能够处理超过10万个请求。但是，这个数字在云环境下是很难达到的，除非你遵循以下的原则：

5. 网速

大多数云主机都配置了一块1Gbps网卡。在基于内存的NoSQL数据库中，该网卡需要完成以下操作：

这很容易成为运行的瓶颈，因此，这里提供一些解决该问题的建议：

6. 可扩展性

对于简单的KV（key/value)缓存（例如Memcached或者Redis的简单应用），扩展很少被认为是一个很严重的问题；因为在大多数情况下，这只需要在在服务器列表中增加或删除节点并修改哈希方法。但是，实际经历过该问题的人就会意识到这是一个非常令人痛苦的问题。对于该话题我们有一些建议：

采用一致性哈希（hashing）。如果采用简单的哈希函数（例如求模），在扩展的时候就意味着丢失所有的数据。另一方面，很多人不知道的是：即使采用一致性哈希函数，在扩展的时候你仍然会丢失部分数据。例如，在扩展的时候你会丢失1/N的数据，N是你扩展后节点的数目。所以，如果N比较小，这仍然是一个非常痛苦的过程（如果对于2个节点的集群采用一致性哈希就意味着丢失1/3的数据）。

构建一种方法将扩展操作通知到每一个NoSQL的客户端，以便阻止在扩展过程中不同的应用服务器写入不同节点。

当进行某些复杂操作时，例如 Redis的 UNION 和 INTERSECT 操作，扩展就成为一个真正的问题。这些操作与SQL中的JOIN命令完全一样。在multi-shard架构下，如果不增加一定的的延迟和复杂性这些操作就完全不能实现。应用级别的分片（Sharding)能够解决一定的问题，因为它允许在分片（shard)模式下运行一些复杂的命令。但这需要非常复杂的设计，并且与内存NoSQL数据库的配置密切相关（例如分片的应用必须明确知道每一个主键保存的节点）；当遇到扩展时（例如re-sharding)还需要巨大的代码修改和额外开销。