MongoDB를 사용하여 Python에 크롤러 데이터 저장

현재 Toutiao 뉴스 데이터를 데이터 소스로 사용하여 간단한 검색 엔진을 구축하고 있습니다. 이러한 데이터는 구조화되지 않았으며 MongoDB에 저장하는 데 더 적합합니다.

다음은 간단한 사용예입니다.

#!/usr/bin/python
# -*- coding:utf-8 -*-
 
import pymongo
 
class documentManager(object):
    def __init__(self):
        pass
 
    def connect_mongo(self):
        client = pymongo.Connection("127.0.0.1",27017)
        db = client.data_db
        collection = db.data_collection
        mydict = {"name":"Lucy", "sex":"female","job":"nurse"}
        collection.insert(mydict)
 
        for i in collection.find({"name":"Lucy"}):
            print i
 
if __name__ == '__main__':
    manager = documentManager()
    manager.connect_mongo()