我想用celery+redis+requests写爬虫,自己测试了一下速度。采集url的状态码放入文件中。
from celery import Celery
import requests
app = Celery('tasks',
broker = 'redis://localhost:6379/0',
backend= 'redis://localhost:6379/1')
app.conf.CELERY_TASK_SERIALIZER = 'json'
@app.task
def page(url):
p = requests.get(url).status_code
file = open('result','a')
file.write(str(p)+'\n')
file.close()
return p
结果很快很满意
/usr/bin/python2.7 /home/comboo/PycharmProjects/run.py
0.919842004776
Process finished with exit code 0
和单线程比较
34.3654260635
但是假如我输出task的结果,就会变成单线程一个个取出结果
#coding:utf-8
import time
from tasks import page
url = 'http://www.baidu.com'
# print page.delay(url).get()
cent = time.time()
for line in range(100):
code = page.delay(url)
print code.get()
print time.time() - cent
就是任务之外只要有语句速度就会变慢。
现在造成的结果就是,我必须写一个完整的任务,从请求到解析到下载,再到存入数据库,通过celery来调度。
但是有时候我可能不想这样做,比如写入文件,我想一次性全部写入在关闭连接,而不是写入一行关闭一次连接
有点长,谢谢大家了。