Rumah pangkalan data tutorial mysql MongoDB 的那些坑(开发者角度)

MongoDB 的那些坑(开发者角度)

Jun 07, 2016 pm 04:37 PM
mongodb pemaju selalunya Semakan sudut

点评 : 本文从普通开发者角度来描述遇到的坑,多数问题是可以避免的,但对于大多数刚接触的开发者还是有一定的借鉴意义。 MongoDB 是目前炙手可热的 NoSQL 文档型数据库,它提供的一些特性很棒:如自动 failover 机制,自动 sharding,无模式 schemaless,

点评
本文从普通开发者角度来描述遇到的坑,多数问题是可以避免的,但对于大多数刚接触的开发者还是有一定的借鉴意义。

MongoDB 是目前炙手可热的 NoSQL 文档型数据库,它提供的一些特性很棒:如自动 failover 机制,自动 sharding,无模式 schemaless,大部分情况下性能也很棒。但是薄荷在深入使用 MongoDB 过程中,遇到了不少问题,下面总结几个我们遇到的坑。特别申明:我们目前用的 MongoDB 版本是 2.4.10,曾经升级到 MongoDB 2.6.0 版本,问题依然存在,又回退到 2.4.10 版本。

MongoDB 数据库级锁

坑爹指数:5星(最高5星)

MongoDB的锁机制和一般关系数据库如 MySQL(InnoDB), Oracle 有很大的差异,InnoDB 和 Oracle 能提供行级粒度锁,而 MongoDB 只能提供 库级粒度锁,这意味着当 MongoDB 一个写锁处于占用状态时,其它的读写操作都得干等。

初看起来库级锁在大并发环境下有严重的问题,但是 MongoDB 依然能够保持大并发量和高性能,这是因为 MongoDB 的锁粒度虽然很粗放,但是在锁处理机制和关系数据库锁有很大差异,主要表现在:

MongoDB 没有完整事务支持,操作原子性只到单个 document 级别,所以通常操作粒度比较小;
MongoDB 锁实际占用时间是内存数据计算和变更时间,通常很快;
MongoDB 锁有一种临时放弃机制,当出现需要等待慢速 IO 读写数据时,可以先临时放弃,等 IO 完成之后再重新获取锁。
通常不出问题不等于没有问题,如果数据操作不当,依然会导致长时间占用写锁,比如下面提到的前台建索引操作,当出现这种情况的时候,整个数据库就处于完全阻塞状态,无法进行任何读写操作,情况十分严重。

解决问题的方法,尽量避免长时间占用写锁操作,如果有一些集合操作实在难以避免,可以考虑把这个集合放到一个单独的 MongoDB 库里,因为 MongoDB 不同库锁是相互隔离的,分离集合可以避免某一个集合操作引发全局阻塞问题。

建索引导致数据库阻塞

坑爹指数:3星

上面提到了 MongoDB 库级锁的问题,建索引就是一个容易引起长时间写锁的问题,MongoDB 在前台建索引时需要占用一个写锁(而且不会临时放弃),如果集合的数据量很大,建索引通常要花比较长时间,特别容易引起问题。

解决的方法很简单,MongoDB 提供了两种建索引的访问,一种是 background 方式,不需要长时间占用写锁,另一种是非 background 方式,需要长时间占用锁。使用 background 方式就可以解决问题。
例如,为超大表 posts 建立索引,
千万不用使用

<code>db.posts.ensureIndex({user_id: 1})</code>
Salin selepas log masuk

而应该使用

<code>db.posts.ensureIndex({user_id: 1}, {background: 1})</code>
Salin selepas log masuk

不合理使用嵌入 embed document

坑爹指数:5星

embed document 是 MongoDB 相比关系数据库差异明显的一个地方,可以在某一个 document 中嵌入其它子 document,这样可以在父子 document 保持在单一 collection 中,检索修改比较方便。

比如薄荷的应用情景中有一个 Group document,用户申请加入 Group 建模为 GroupRequest document,我们最初的时候使用 embed 方式把 GroupRequest 放置到 Group 中。
Ruby 代码如下所示(使用了 Mongoid ORM):

<code>class Group
  include Mongoid::Document
  ...
  embeds_many :group_requests
  ...
end
class GroupRequest
  include Mongoid::Document
  ...
  embedded_in :group
  ...
end</code>
Salin selepas log masuk

这个使用方式让我们掉到坑里了,差点就爬不出来,它导致有接近两周的时间系统问题,高峰时段常有几分钟的系统卡顿,最严重一次甚至引起 MongoDB 宕机。

仔细分析后,发现某些活跃的 Group 的 group_requests 增加(当有新申请时)和更改(当通过或拒绝用户申请时)异常频繁,而这些操作经常长时间占用写锁,导致整个数据库阻塞。原因是当有增加 group_request 操作时,Group 预分配的空间不够,需要重新分配空间(内存和硬盘都需要),耗时较长,另外 Group 上建的索引很多,移动 Group 位置导致大量索引更新操作也很耗时,综合起来引起了长时间占用锁问题。

解决问题的方法,说起来也简单,就是把 embed 关联更改成的普通外键关联,就是类似关系数据库的做法,这样 group_request 增加或修改都只发生在 GroupRequest 上,简单快速,避免长时间占用写锁问题。当关联对象的数据不固定或者经常发生变化时,一定要避免使用 embed 关联,不然会死的很惨。

不合理使用 Array 字段

坑爹指数:4星

MongoDB 的 Array 字段是比较独特的一个特性,它可以在单个 document 里存储一些简单的一对多关系。

薄荷有一个应用情景使用遇到严重的性能问题,直接上代码如下所示:

<code>class User
  include Mongoid::Document
  ...
  field :follower_user_ids, type: Array, default: []
  ...
end</code>
Salin selepas log masuk

User 中通过一个 Array 类型字段 follower_user_ids 保存用户关注的人的 id,用户关注的人从 10个到 3000 个不等,变化是比较频繁的,和上面 embed 引发的问题类似,频繁的 follower_user_ids 增加修改操作导致大量长时间数据库写锁,从而引发 MongoDB 数据库性能急剧下降。

解决问题的方法:我们把 follower_user_ids 转移到了内存数据库 redis 中,避免了频繁更改 MongoDB 中的 User, 从而彻底解决问题。如果不使用 redis,也可以建立一个 UserFollower 集合,使用外键形式关联。

先列举上面几个坑吧,都是害人不浅的陷阱,使用 MongoDB 过程一定要多加注意,避免掉到坑里。

参考资料:
1.MongoDB 锁机制详解
2.MongoDB 建立索引操作文档

来源: http://xiewenwei.github.io/blog/2014/06/22/trap-in-mongodb/

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

Video Face Swap

Video Face Swap

Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

<🎜>: Bubble Gum Simulator Infinity - Cara Mendapatkan dan Menggunakan Kekunci Diraja
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Nordhold: Sistem Fusion, dijelaskan
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Mandragora: Whispers of the Witch Tree - Cara Membuka Kunci Cangkuk Bergelut
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

Tutorial Java
1670
14
Tutorial PHP
1276
29
Tutorial C#
1256
24
Gunakan komposer untuk menyelesaikan dilema sistem cadangan: Andres-Montanez/Cadangan-Bundle Gunakan komposer untuk menyelesaikan dilema sistem cadangan: Andres-Montanez/Cadangan-Bundle Apr 18, 2025 am 11:48 AM

Apabila membangunkan laman web e-dagang, saya menghadapi masalah yang sukar: bagaimana menyediakan pengguna dengan cadangan produk yang diperibadikan. Pada mulanya, saya mencuba beberapa algoritma cadangan mudah, tetapi hasilnya tidak sesuai, dan kepuasan pengguna juga terjejas. Untuk meningkatkan ketepatan dan kecekapan sistem cadangan, saya memutuskan untuk menggunakan penyelesaian yang lebih profesional. Akhirnya, saya memasang Andres-Montanez/Cadangan-Bundle melalui komposer, yang bukan sahaja menyelesaikan masalah saya, tetapi juga meningkatkan prestasi sistem cadangan. Anda boleh belajar komposer melalui alamat berikut:

Kaedah Navicat untuk melihat kata laluan pangkalan data MongoDB Kaedah Navicat untuk melihat kata laluan pangkalan data MongoDB Apr 08, 2025 pm 09:39 PM

Tidak mustahil untuk melihat kata laluan MongoDB secara langsung melalui Navicat kerana ia disimpan sebagai nilai hash. Cara mendapatkan kata laluan yang hilang: 1. Tetapkan semula kata laluan; 2. Periksa fail konfigurasi (mungkin mengandungi nilai hash); 3. Semak Kod (boleh kata laluan Hardcode).

Cara Memilih Pangkalan Data untuk Gitlab di CentOs Cara Memilih Pangkalan Data untuk Gitlab di CentOs Apr 14, 2025 pm 04:48 PM

Panduan Penyebaran Pangkalan Data Gitlab pada sistem CentOS Memilih pangkalan data yang betul adalah langkah utama dalam berjaya menggunakan GitLab. Gitlab serasi dengan pelbagai pangkalan data, termasuk MySQL, PostgreSQL, dan MongoDB. Artikel ini akan menerangkan secara terperinci bagaimana untuk memilih dan mengkonfigurasi pangkalan data ini. Cadangan Pemilihan Pangkalan Data MySQL: Sistem Pengurusan Pangkalan Data Relasi yang digunakan secara meluas (RDBMS), dengan prestasi yang stabil dan sesuai untuk kebanyakan senario penempatan GitLab. PostgreSQL: RDBMS sumber terbuka yang kuat, menyokong pertanyaan kompleks dan ciri -ciri canggih, sesuai untuk mengendalikan set data yang besar. MongoDB: Pangkalan Data NoSQL Popular, Bagus Mengendalikan Laut

Apakah strategi sandaran CentOS MongoDB? Apakah strategi sandaran CentOS MongoDB? Apr 14, 2025 pm 04:51 PM

Penjelasan terperinci mengenai strategi sandaran yang cekap MongoDB di bawah sistem CentOS Artikel ini akan memperkenalkan secara terperinci pelbagai strategi untuk melaksanakan sandaran MongoDB pada sistem CentOS untuk memastikan kesinambungan data dan kesinambungan perniagaan. Kami akan merangkumi sandaran manual, sandaran masa, sandaran skrip automatik, dan kaedah sandaran dalam persekitaran kontena Docker, dan menyediakan amalan terbaik untuk pengurusan fail sandaran. Sandaran Manual: Gunakan perintah Mongodump untuk melakukan sandaran penuh manual, contohnya: Mongodump-Hlocalhost: 27017-U Pengguna-P Password-D Database Data-O/Backup Direktori Perintah ini akan mengeksport data dan metadata pangkalan data yang ditentukan ke direktori sandaran yang ditentukan.

Pangkalan Data MongoDB dan Relasi: Perbandingan Komprehensif Pangkalan Data MongoDB dan Relasi: Perbandingan Komprehensif Apr 08, 2025 pm 06:30 PM

MONGODB dan Pangkalan Data Relasi: Perbandingan mendalam Artikel ini akan meneroka dengan mendalam perbezaan antara pangkalan data NoSQL MongoDB dan pangkalan data hubungan tradisional (seperti MySQL dan SQLServer). Pangkalan data relasi menggunakan struktur jadual baris dan lajur untuk menganjurkan data, manakala MongoDB menggunakan model berorientasikan dokumen yang fleksibel untuk memenuhi keperluan aplikasi moden. Terutamanya membezakan struktur data: pangkalan data relasi menggunakan jadual skema yang telah ditetapkan untuk menyimpan data, dan hubungan antara jadual ditubuhkan melalui kunci utama dan kunci asing; MongoDB menggunakan dokumen BSON seperti JSON untuk menyimpannya dalam koleksi, dan setiap struktur dokumen boleh diubah secara bebas untuk mencapai reka bentuk bebas corak. Reka bentuk seni bina: pangkalan data relasi perlu skema tetap yang telah ditetapkan; MongoDB menyokong

Cara Menyiapkan Pengguna di MongoDB Cara Menyiapkan Pengguna di MongoDB Apr 12, 2025 am 08:51 AM

Untuk menyediakan pengguna MongoDB, ikuti langkah -langkah ini: 1. Sambungkan ke pelayan dan buat pengguna pentadbir. 2. Buat pangkalan data untuk memberikan akses pengguna. 3. Gunakan arahan CreateUser untuk membuat pengguna dan menentukan hak dan hak akses pangkalan data mereka. 4. Gunakan perintah getusers untuk memeriksa pengguna yang dibuat. 5. Secara pilihan menetapkan keizinan lain atau memberi kebenaran kepada pengguna ke koleksi tertentu.

Cara Menyulitkan Data dalam Debian Mongodb Cara Menyulitkan Data dalam Debian Mongodb Apr 12, 2025 pm 08:03 PM

Menyulitkan pangkalan data MongoDB pada sistem Debian memerlukan langkah berikut: Langkah 1: Pasang MongoDB terlebih dahulu, pastikan sistem Debian anda dipasang MongoDB. Jika tidak, sila rujuk kepada dokumen MongoDB rasmi untuk pemasangan: https://docs.mongodb.com/manual/tutorial/install-mongodb-on-debian/step 2: menghasilkan fail kunci penyulitan Buat fail yang mengandungi kunci penyulitan dan tetapkan kebenaran yang betul:

Apakah alat untuk disambungkan ke mongoDB Apakah alat untuk disambungkan ke mongoDB Apr 12, 2025 am 06:51 AM

Alat utama untuk menyambung ke MongoDB adalah: 1. MongoDB shell, sesuai untuk melihat data dengan cepat dan melakukan operasi mudah; 2. Pemandu bahasa pengaturcaraan (seperti Pymongo, MongoDB Java Driver, MongoDB Node.js Driver), sesuai untuk pembangunan aplikasi, tetapi anda perlu menguasai kaedah penggunaan; 3. Alat GUI (seperti Robo 3T, Kompas) menyediakan antara muka grafik untuk pemula dan tontonan data cepat. Apabila memilih alat, anda perlu mempertimbangkan senario aplikasi dan susunan teknologi, dan memberi perhatian kepada konfigurasi rentetan sambungan, pengurusan kebenaran dan pengoptimuman prestasi, seperti menggunakan kolam dan indeks sambungan.

See all articles