写了个采集爬虫,采集了大概180万条URL,现在要给它平均分割成多份,然后保存文件。请问要怎么做比较好。
学习是最好的投资!
mongo に付属のツールを使用して、json または cvs または txt 形式にエクスポートします。
json
cvs
txt
形式は
データベースは test、collections は col です。中のデータは以下の通りです
test
collections
col
今度は 3 つのファイルに均等にエクスポートします。
スクリプトを書いて試してみることができます。
説明: -d はデータベースを指定し、-c はコレクションを指定し、-q はクエリを指定します。次のファイル形式は json、cvs、txt
json、cvs、txt
通常、180wのデータを分割する必要はありません。 シャードキーを選択するための原則は、実際には公式ドキュメントで詳しく説明されています。詳しく知りたい場合は、それを参照するとよいでしょう。
mongo 独自のツールを使用する
mongo に付属のツールを使用して、
json
またはcvs
またはtxt
形式にエクスポートします。形式は
です リーリー栗をください
データベースは
リーリーtest
、collections
はcol
です。中のデータは以下の通りです今度は 3 つのファイルに均等にエクスポートします。
リーリースクリプトを書いて試してみることができます。
説明: -d はデータベースを指定し、-c はコレクションを指定し、-q はクエリを指定します。次のファイル形式は
をサポートします。json、cvs、txt
通常、180wのデータを分割する必要はありません。
シャードキーを選択するための原則は、実際には公式ドキュメントで詳しく説明されています。詳しく知りたい場合は、それを参照するとよいでしょう。