本文將介紹使用Python編寫多執行緒HTTP下載器,並產生.exe執行檔。
環境:windows/Linux + Python2.7.x
單執行緒
在介紹多執行緒之前先介紹單執行緒。編寫單一線程的思路為:
1.解析url;
2.連接web伺服器;
3.建構http請求包;
4.下載檔案。
接下來透過程式碼進行說明。
解析url
透過使用者輸入url進行解析。如果解析的路徑為空,則賦值為'/';如果連接埠號碼為空,則賦值為"80”;下載檔案的檔案名稱可根據使用者的意願進行更改(輸入'y'表示更改,輸入其它表示不需要更改)。
下面列出幾個解析函數:
#解析host和path def analyHostAndPath(totalUrl): protocol,s1 = urllib.splittype(totalUrl) host, path = urllib.splithost(s1) if path == '': path = '/' return host, path #解析port def analysisPort(host): host, port = urllib.splitport(host) if port is None: return 80 return port #解析filename def analysisFilename(path): filename = path.split('/')[-1] if '.' not in filename: return None return filename
連接web伺服器
使用socket模組,根據解析連接url
構造http請求包根據解析url得到的path, host, port建構一個HTTP請求包。
import socket
from analysisUrl import port,host
ip = socket.gethostbyname(host)
s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.connect((ip, port))
print "success connected webServer!!"
根據構造的http請求包,向伺服器發送文件,抓取回應封包頭部的"Content-Length"。
from analysisUrl import path, host, port
packet = 'GET ' + path + ' HTTP/1.1\r\nHost: ' + host + '\r\n\r\n'
下載檔案並計算下載所花費的時間。
def getLength(self): s.send(packet) print "send success!" buf = s.recv(1024) print buf p = re.compile(r'Content-Length: (\d*)') length = int(p.findall(buf)[0]) return length, buf
抓取響應報文頭部的"Content-Length"字段,結合線程個數,加鎖分段下載。與單線程的不同,這裡將所有程式碼整合為一個文件,程式碼中使用更多的Python自帶模組。
得到"Content-Length":
def download(self): file = open(self.filename,'wb') length,buf = self.getLength() packetIndex = buf.index('\r\n\r\n') buf = buf[packetIndex+4:] file.write(buf) sum = len(buf) while 1: buf = s.recv(1024) file.write(buf) sum = sum + len(buf) if sum >= length: break print "Success!!" if __name__ == "__main__": start = time.time() down = downloader() down.download() end = time.time() print "The time spent on this program is %f s"%(end - start)
根據得到的Length,結合線程個數劃分範圍:
def getLength(self): opener = urllib2.build_opener() req = opener.open(self.url) meta = req.info() length = int(meta.getheaders("Content-Length")[0]) return length
加鎖,並使用with lock代替lock.acquire( )...lock.release( );使用file.seek( )設定檔案偏移位址,確保寫入檔案的準確性。
def get_range(self): ranges = [] length = self.getLength() offset = int(int(length) / self.threadNum) for i in range(self.threadNum): if i == (self.threadNum - 1): ranges.append((i*offset,'')) else: ranges.append((i*offset,(i+1)*offset)) return ranges
運作結果:
將(*.py)檔轉換為(*.exe)可執行檔
當寫好了人使用這個工具呢?這就需要將.py檔轉換為.exe檔。
這裡用到Python的py2exe模組,初次使用,所以對其進行介紹:py2exe是一個將Python腳本轉換成windows上可獨立執行的可執行檔(*.exe)的工具,這樣,就可以不用裝Python在windows上執行這個可執行程式。
接下來,在multiThreadDownload.py的同目錄下,建立mysetup.py文件,編寫:
def downloadThread(self,start,end): req = urllib2.Request(self.url) req.headers['Range'] = 'bytes=%s-%s' % (start, end) f = urllib2.urlopen(req) offset = start buffer = 1024 while 1: block = f.read(buffer) if not block: break with lock: self.file.seek(offset) self.file.write(block) offset = offset + len(block) def download(self): filename = self.getFilename() self.file = open(filename, 'wb') thread_list = [] n = 1 for ran in self.get_range(): start, end = ran print 'starting:%d thread '% n n += 1 thread = threading.Thread(target=self.downloadThread,args=(start,end)) thread.start() thread_list.append(thread) for i in thread_list: i.join() print 'Download %s Success!'%(self.file) self.file.close()
接著執行指令:Python mysetup.py py2exe
接著執行指令:Python mysetup.py py2exe
其中,點擊運行即可:demo下載地址:HttpFileDownload_jb51.rar
以上就是本文的全部內容,希望對大家的網學習有所幫助,也希望大家多多支持PHPH,也希望大家多。
更多Python實作多執行緒HTTP下載器範例相關文章請關注PHP中文網!