有个几十万行的文本文件,里面逐行有一些信息有没有什么工具可以给某个url批量按照文本文件一行行发post请求呢?求具体说明
光阴似箭催人老,日月如移越少年。
一个写的比一个短你们这是逼我啊 ... 要比拼 Hello World 么 ..?
awk '{ system( "curl -d \"data=" $0 "\" http://url" ) }' file.txt
这种事情太适合用PYTHON来实现了。简单的代码如下:
text = open("__init__.py") import urllibwhile True: line = text.readline() if not line: break params = urllib.urlencode({'arg': line}) f = urllib.urlopen("http://UrUrl", params) print f.read() text.close()
如果需要的话还可以加入连接超时然后重新发起请求,还可以使用多线程来减少整个的时间。
不太清楚你说的是一次 HTTP 请求还是多次请求。如果需要一次请求发送几十万行的文本数据,中间非常容易断掉。如果是多次请求,每次请求发送一行文本数据,可以试试看 curl 。不同的编程语言都有不同的实现方法,具体请查阅对应语言的官方文档。
一个写的比一个短你们这是逼我啊 ... 要比拼 Hello World 么 ..?
这种事情太适合用PYTHON来实现了。简单的代码如下:
如果需要的话还可以加入连接超时然后重新发起请求,还可以使用多线程来减少整个的时间。
不太清楚你说的是一次 HTTP 请求还是多次请求。如果需要一次请求发送几十万行的文本数据,中间非常容易断掉。如果是多次请求,每次请求发送一行文本数据,可以试试看 curl 。不同的编程语言都有不同的实现方法,具体请查阅对应语言的官方文档。