python - 180万的MongoDB数据,如何分割?
PHPz
PHPz 2017-04-17 17:43:06
0
2
335

写了个采集爬虫,采集了大概180万条URL,现在要给它平均分割成多份,然后保存文件。
请问要怎么做比较好。

PHPz
PHPz

学习是最好的投资!

全員に返信(2)
黄舟

mongo 独自のツールを使用する

mongo に付属のツールを使用して、json または cvs または txt 形式にエクスポートします。

形式は

です リーリー

栗をください

データベースは testcollectionscol です。中のデータは以下の通りです

リーリー

今度は 3 つのファイルに均等にエクスポートします。

リーリー

スクリプトを書いて試してみることができます。

説明: -d はデータベースを指定し、-c はコレクションを指定し、-q はクエリを指定します。次のファイル形式は json、cvs、txt

をサポートします。
いいねを押す +0
左手右手慢动作

通常、180wのデータを分割する必要はありません。
シャードキーを選択するための原則は、実際には公式ドキュメントで詳しく説明されています。詳しく知りたい場合は、それを参照するとよいでしょう。

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート