释放 MongoDB：为什么基于游标的分页每次都优于基于偏移量的分页！

分页是处理大型数据集时任何数据库操作的关键部分。它允许您将数据分割成可管理的块，从而更容易浏览、处理和显示。 MongoDB 提供了两种常见的分页方法：基于偏移量和基于游标。虽然这两种方法具有相同的目的，但它们在性能和可用性方面显着不同，尤其是随着数据集的增长。

让我们深入研究这两种方法，看看为什么基于光标的分页通常优于基于偏移量的分页。

1. 基于偏移量的分页

基于偏移量的分页非常简单。它检索从给定偏移量开始的特定数量的记录。例如，第一页可能检索记录 0-9，第二页检索记录 10-19，依此类推。

但是，这种方法有一个显着的缺点：当您移动到更高的页面时，查询会变得更慢。这是因为数据库需要跳过前几页的记录，这涉及到扫描它们。

这是基于偏移量的分页代码：

async function offset_based_pagination(params) {
  const { page = 5, limit = 100 } = params;
  const skip = (page - 1) * limit;
  const results = await collection.find({}).skip(skip).limit(limit).toArray();
  console.log(`Offset-based pagination (Page ${page}):`, results.length, "page", page, "skip", skip, "limit", limit);
}

2. 基于光标的分页

基于游标的分页，也称为键集分页，依赖于唯一标识符（例如 ID 或时间戳）来对记录进行分页。它不会跳过一定数量的记录，而是使用最后检索到的记录作为获取下一组记录的参考点。

这种方法更加高效，因为它避免了扫描当前页面之前的记录。因此，无论您深入数据集多深，查询时间都保持一致。

这是基于光标的分页代码：

async function cursor_based_pagination(params) {
  const { lastDocumentId, limit = 100 } = params;
  const query = lastDocumentId ? { documentId: { $gt: lastDocumentId } } : {};
  const results = await collection
    .find(query)
    .sort({ documentId: 1 })
    .limit(limit)
    .toArray();
  console.log("Cursor-based pagination:", results.length);
}

在此示例中，lastDocumentId 是上一页中最后一个文档的 ID。当查询下一页时，数据库会获取ID大于该值的文档，确保无缝过渡到下一组记录。

3. 性能比较

让我们看看这两种方法如何在大型数据集上执行。

async function testMongoDB() {
    console.time("MongoDB Insert Time:");
    await insertMongoDBRecords();
    console.timeEnd("MongoDB Insert Time:");

  // Create an index on the documentId field
  await collection.createIndex({ documentId: 1 });
  console.log("Index created on documentId field");

  console.time("Offset-based pagination Time:");
  await offset_based_pagination({ page: 2, limit: 250000 });
  console.timeEnd("Offset-based pagination Time:");

  console.time("Cursor-based pagination Time:");
  await cursor_based_pagination({ lastDocumentId: 170000, limit: 250000 });
  console.timeEnd("Cursor-based pagination Time:");

  await client.close();
}

在性能测试中，您会注意到基于偏移分页需要更长，因为页码增加，而光标基于的分页保持一致，使其成为大型数据集的更好选择。此示例还展示了索引的强大功能。尝试删除索引然后查看结果！

为什么索引很重要

如果没有索引，MongoDB 将需要执行集合扫描，这意味着它必须查看集合中的每个文档以查找相关数据。这是低效的，尤其是当数据集增长时。索引可以让 MongoDB 高效地找到符合您查询条件的文档，显着提升查询性能。

在基于游标的分页上下文中，索引可确保快速获取下一组文档（基于 documentId），并且不会随着更多文档添加到集合中而降低性能。

结论

虽然基于偏移的分页很容易实现，但由于需要扫描记录，因此对于大型数据集来说它可能会变得低效。另一方面，基于游标的分页提供了更具可扩展性的解决方案，无论数据集大小如何，都可以保持性能一致。如果您在 MongoDB 中处理大型集合，值得考虑基于游标的分页以获得更流畅、更快的体验。

这是供您在本地运行的完整index.js：

const { MongoClient } = require("mongodb");
const uri = "mongodb://localhost:27017";
const client = new MongoClient(uri);
client.connect();
const db = client.db("testdb");
const collection = db.collection("testCollection");

async function insertMongoDBRecords() {
  try {
    let bulkOps = [];

    for (let i = 0; i < 2000000; i++) {
      bulkOps.push({
        insertOne: {
          documentId: i,
          name: `Record-${i}`,
          value: Math.random() * 1000,
        },
      });

      // Execute every 10000 operations and reinitialize
      if (bulkOps.length === 10000) {
        await collection.bulkWrite(bulkOps);
        bulkOps = [];
      }
    }

    if (bulkOps.length > 0) {
      await collection.bulkWrite(bulkOps);
      console.log("? Inserted records till now -> ", bulkOps.length);
    }

    console.log("MongoDB Insertion Completed");
  } catch (err) {
    console.error("Error in inserting records", err);
  }
}

async function offset_based_pagination(params) {
  const { page = 5, limit = 100 } = params;
  const skip = (page - 1) * limit;
  const results = await collection.find({}).skip(skip).limit(limit).toArray();
  console.log(`Offset-based pagination (Page ${page}):`, results.length, "page", page, "skip", skip, "limit", limit);
}

async function cursor_based_pagination(params) {
  const { lastDocumentId, limit = 100 } = params;
  const query = lastDocumentId ? { documentId: { $gt: lastDocumentId } } : {};
  const results = await collection
    .find(query)
    .sort({ documentId: 1 })
    .limit(limit)
    .toArray();
  console.log("Cursor-based pagination:", results.length);
}

async function testMongoDB() {
  console.time("MongoDB Insert Time:");
  await insertMongoDBRecords();
  console.timeEnd("MongoDB Insert Time:");

  // Create an index on the documentId field
  await collection.createIndex({ documentId: 1 });
  console.log("Index created on documentId field");

  console.time("Offset-based pagination Time:");
  await offset_based_pagination({ page: 2, limit: 250000 });
  console.timeEnd("Offset-based pagination Time:");

  console.time("Cursor-based pagination Time:");
  await cursor_based_pagination({ lastDocumentId: 170000, limit: 250000 });
  console.timeEnd("Cursor-based pagination Time:");

  await client.close();
}

testMongoDB();

以上是释放 MongoDB：为什么基于游标的分页每次都优于基于偏移量的分页！的详细内容。更多信息请关注PHP中文网其他相关文章！