MongoDB 的那些坑(开发者角度)
点评 : 本文从普通开发者角度来描述遇到的坑,多数问题是可以避免的,但对于大多数刚接触的开发者还是有一定的借鉴意义。 MongoDB 是目前炙手可热的 NoSQL 文档型数据库,它提供的一些特性很棒:如自动 failover 机制,自动 sharding,无模式 schemaless,
点评:
本文从普通开发者角度来描述遇到的坑,多数问题是可以避免的,但对于大多数刚接触的开发者还是有一定的借鉴意义。
MongoDB 是目前炙手可热的 NoSQL 文档型数据库,它提供的一些特性很棒:如自动 failover 机制,自动 sharding,无模式 schemaless,大部分情况下性能也很棒。但是薄荷在深入使用 MongoDB 过程中,遇到了不少问题,下面总结几个我们遇到的坑。特别申明:我们目前用的 MongoDB 版本是 2.4.10,曾经升级到 MongoDB 2.6.0 版本,问题依然存在,又回退到 2.4.10 版本。
MongoDB 数据库级锁
坑爹指数:5星(最高5星)
MongoDB的锁机制和一般关系数据库如 MySQL(InnoDB), Oracle 有很大的差异,InnoDB 和 Oracle 能提供行级粒度锁,而 MongoDB 只能提供 库级粒度锁,这意味着当 MongoDB 一个写锁处于占用状态时,其它的读写操作都得干等。
初看起来库级锁在大并发环境下有严重的问题,但是 MongoDB 依然能够保持大并发量和高性能,这是因为 MongoDB 的锁粒度虽然很粗放,但是在锁处理机制和关系数据库锁有很大差异,主要表现在:
MongoDB 没有完整事务支持,操作原子性只到单个 document 级别,所以通常操作粒度比较小;
MongoDB 锁实际占用时间是内存数据计算和变更时间,通常很快;
MongoDB 锁有一种临时放弃机制,当出现需要等待慢速 IO 读写数据时,可以先临时放弃,等 IO 完成之后再重新获取锁。
通常不出问题不等于没有问题,如果数据操作不当,依然会导致长时间占用写锁,比如下面提到的前台建索引操作,当出现这种情况的时候,整个数据库就处于完全阻塞状态,无法进行任何读写操作,情况十分严重。
解决问题的方法,尽量避免长时间占用写锁操作,如果有一些集合操作实在难以避免,可以考虑把这个集合放到一个单独的 MongoDB 库里,因为 MongoDB 不同库锁是相互隔离的,分离集合可以避免某一个集合操作引发全局阻塞问题。
建索引导致数据库阻塞
坑爹指数:3星
上面提到了 MongoDB 库级锁的问题,建索引就是一个容易引起长时间写锁的问题,MongoDB 在前台建索引时需要占用一个写锁(而且不会临时放弃),如果集合的数据量很大,建索引通常要花比较长时间,特别容易引起问题。
解决的方法很简单,MongoDB 提供了两种建索引的访问,一种是 background 方式,不需要长时间占用写锁,另一种是非 background 方式,需要长时间占用锁。使用 background 方式就可以解决问题。
例如,为超大表 posts 建立索引,
千万不用使用
<code>db.posts.ensureIndex({user_id: 1})</code>
而应该使用
<code>db.posts.ensureIndex({user_id: 1}, {background: 1})</code>
不合理使用嵌入 embed document
坑爹指数:5星
embed document 是 MongoDB 相比关系数据库差异明显的一个地方,可以在某一个 document 中嵌入其它子 document,这样可以在父子 document 保持在单一 collection 中,检索修改比较方便。
比如薄荷的应用情景中有一个 Group document,用户申请加入 Group 建模为 GroupRequest document,我们最初的时候使用 embed 方式把 GroupRequest 放置到 Group 中。
Ruby 代码如下所示(使用了 Mongoid ORM):
<code>class Group include Mongoid::Document ... embeds_many :group_requests ... end class GroupRequest include Mongoid::Document ... embedded_in :group ... end</code>
这个使用方式让我们掉到坑里了,差点就爬不出来,它导致有接近两周的时间系统问题,高峰时段常有几分钟的系统卡顿,最严重一次甚至引起 MongoDB 宕机。
仔细分析后,发现某些活跃的 Group 的 group_requests 增加(当有新申请时)和更改(当通过或拒绝用户申请时)异常频繁,而这些操作经常长时间占用写锁,导致整个数据库阻塞。原因是当有增加 group_request 操作时,Group 预分配的空间不够,需要重新分配空间(内存和硬盘都需要),耗时较长,另外 Group 上建的索引很多,移动 Group 位置导致大量索引更新操作也很耗时,综合起来引起了长时间占用锁问题。
解决问题的方法,说起来也简单,就是把 embed 关联更改成的普通外键关联,就是类似关系数据库的做法,这样 group_request 增加或修改都只发生在 GroupRequest 上,简单快速,避免长时间占用写锁问题。当关联对象的数据不固定或者经常发生变化时,一定要避免使用 embed 关联,不然会死的很惨。
不合理使用 Array 字段
坑爹指数:4星
MongoDB 的 Array 字段是比较独特的一个特性,它可以在单个 document 里存储一些简单的一对多关系。
薄荷有一个应用情景使用遇到严重的性能问题,直接上代码如下所示:
<code>class User include Mongoid::Document ... field :follower_user_ids, type: Array, default: [] ... end</code>
User 中通过一个 Array 类型字段 follower_user_ids 保存用户关注的人的 id,用户关注的人从 10个到 3000 个不等,变化是比较频繁的,和上面 embed 引发的问题类似,频繁的 follower_user_ids 增加修改操作导致大量长时间数据库写锁,从而引发 MongoDB 数据库性能急剧下降。
解决问题的方法:我们把 follower_user_ids 转移到了内存数据库 redis 中,避免了频繁更改 MongoDB 中的 User, 从而彻底解决问题。如果不使用 redis,也可以建立一个 UserFollower 集合,使用外键形式关联。
先列举上面几个坑吧,都是害人不浅的陷阱,使用 MongoDB 过程一定要多加注意,避免掉到坑里。
参考资料:
1.MongoDB 锁机制详解
2.MongoDB 建立索引操作文档
来源: http://xiewenwei.github.io/blog/2014/06/22/trap-in-mongodb/
原文地址:MongoDB 的那些坑(开发者角度), 感谢原作者分享。

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











최신 기능과 개선 사항을 제공하는 최신 버전의 MongoDB(현재 5.0) 사용을 권장합니다. 버전을 선택할 때 기능 요구 사항, 호환성, 안정성 및 커뮤니티 지원을 고려해야 합니다. 예를 들어 최신 버전에는 트랜잭션 및 집계 파이프라인 최적화와 같은 기능이 있습니다. 버전이 애플리케이션과 호환되는지 확인하세요. 프로덕션 환경의 경우 장기 지원 버전을 선택하세요. 최신 버전에는 더욱 활발한 커뮤니티 지원이 포함되어 있습니다.

Node.js는 서버측 JavaScript 런타임인 반면, Vue.js는 대화형 사용자 인터페이스를 생성하기 위한 클라이언트측 JavaScript 프레임워크입니다. Node.js는 백엔드 서비스 API 개발, 데이터 처리 등 서버 측 개발에 사용되고, Vue.js는 단일 페이지 애플리케이션, 반응형 사용자 인터페이스 등 클라이언트 측 개발에 사용됩니다.

MongoDB 데이터베이스의 데이터는 로컬 파일 시스템, 네트워크 파일 시스템 또는 클라우드 스토리지에 있는 지정된 데이터 디렉터리에 저장됩니다. 구체적인 위치는 다음과 같습니다. 로컬 파일 시스템: 기본 경로는 Linux/macOS입니다. /데이터/db, Windows: C:\data\db. 네트워크 파일 시스템: 경로는 파일 시스템에 따라 다릅니다. 클라우드 스토리지: 경로는 클라우드 스토리지 제공업체에 의해 결정됩니다.

MongoDB 데이터베이스는 유연성, 확장성 및 고성능으로 잘 알려져 있습니다. 그 장점은 다음과 같습니다: 데이터를 유연하고 구조화되지 않은 방식으로 저장할 수 있는 문서 데이터 모델입니다. 샤딩을 통해 여러 서버로 수평 확장이 가능합니다. 쿼리 유연성, 복잡한 쿼리 및 집계 작업을 지원합니다. 데이터 복제 및 내결함성은 데이터 중복성과 고가용성을 보장합니다. 프런트엔드 애플리케이션과의 손쉬운 통합을 위한 JSON 지원. 많은 양의 데이터를 처리하는 경우에도 빠른 응답을 위한 고성능입니다. 오픈 소스이며 사용자 정의가 가능하고 무료로 사용할 수 있습니다.

MongoDB는 대량의 정형 및 비정형 데이터를 저장하고 관리하는 데 사용되는 문서 중심의 분산 데이터베이스 시스템입니다. 핵심 개념은 문서 저장 및 배포이며 주요 기능으로는 동적 스키마, 인덱싱, 집계, 맵 축소 및 복제가 있습니다. 콘텐츠 관리 시스템, 전자상거래 플랫폼, 소셜 미디어 웹사이트, IoT 애플리케이션, 모바일 애플리케이션 개발에 널리 사용됩니다.

MongoDB 데이터베이스 파일은 MongoDB 데이터 디렉터리에 위치하며 기본적으로 /data/db이며, 여기에는 .bson(문서 데이터), ns(수집 정보), Journal(쓰기 작업 기록), wiredTiger(WiredTiger 사용 시 데이터)가 포함됩니다. 스토리지 엔진) 및 config(데이터베이스 구성 정보) 및 기타 파일입니다.

Linux/macOS: 데이터 디렉터리를 생성하고 "mongod" 서비스를 시작합니다. Windows의 경우: 데이터 디렉터리를 만들고 Service Manager에서 MongoDB 서비스를 시작합니다. Docker에서: "docker run" 명령을 실행하십시오. 다른 플랫폼: MongoDB 설명서를 참조하세요. 확인 방법: "mongo" 명령을 실행하여 연결하고 서버 버전을 확인하세요.

9일 이 사이트의 소식에 따르면 티몰 엘프는 최근 윈윈 접속 서비스 업그레이드를 발표했다. 업그레이드된 윈윈 접속 서비스가 1월 1일부터 무료 모드에서 유료 모드로 변경된다. 이 사이트에는 새로운 기능과 최적화가 포함되어 있습니다. 클라우드 프로토콜을 최적화하여 장치 연결의 안정성을 향상합니다. 주요 카테고리에 대한 음성 제어를 최적화합니다. 계정 인증 업그레이드: 사용자가 더 빠르게 업데이트할 수 있도록 Tmall Genie에 개발자 타사 앱의 표시 기능을 추가합니다. 계정 바인딩에 편리합니다. 동시에 Tmall Elf 계정의 원클릭 바인딩을 지원하는 타사 앱 계정 인증이 추가되었습니다. , 사용자는 앱과 화면 스피커를 통해 장치를 제어하고 정보를 얻을 수 있습니다. 장비 상태, 새로운 제품 속성 및 이벤트는 Tmall을 정의하는 상태 또는 이벤트로 보고될 수 있습니다.
