python - pyspider的分散式運行成功，2台slave跑，但是時間並沒有縮短問題？

1 台master,2 台slave，虛擬機器ubuntu 下，設定如下： master 的config.json： {程式碼...} 在主機上執行/usr/local/bin/pyspider -c /home/pu/...

來自於 [Python討論組] 2017-06-28 09:22:42 0  1  1039

python - 使用pyhive 能夠執行source 語句嗎

cursor.execute("source '/home/hadoop/create_table.sql'")執行結果 {程式碼...} 以上報錯

來自於 [Python討論組] 2017-06-28 09:22:35 0  1  1682

python - 請問如何可以優化提升pandas的read_sql的速度呢？

小弟的需求需要在多個資料庫之間查詢資料並關聯，所以小弟選擇了使用pandas，透過read_sql讀取資料至dataframe加工後直接產生目標資料。但是目前遭遇了一個問題：read_sql的速度非常慢，例如，在orac...

來自於 [Python討論組] 2017-06-28 09:22:30 0  1  2288

Python從URL提取域名

Python如何從URL中提取網域名稱？ url有各種格式的如下： 輸入： {代碼...} 輸出： {代碼...}

來自於 [Python討論組] 2017-06-28 09:22:24 0  2  883

selenium - 請教 Python 爬蟲工具

1)我要抓的是Instagram 某明星的粉絲2)Instagram pc 站使用了大量的js 渲染3)沒寫過爬蟲,老闆明天就要數據我目前使用的是BeautifulSoup, selenium 和phantomjs 代碼...

來自於 [Python討論組] 2017-06-28 09:22:20 0  1  1057

python - sklearn如何訓練大規模資料集

問題一： 現在我有40萬多條的數據，需要對該數據使用某種機器學習分類演算法建立模型，遇到的問題是因為數據過於龐大不能一次性的進行數據的讀取，所以想問一下該如何處理資料？問題二： 關於sklearn交叉驗證有個...

來自於 [Python討論組] 2017-06-28 09:22:17 0  3  1168

python - 爬取微信公眾號文章需要輸入驗證碼問題

一開始請求是正常的，請求多了就回這個網頁，提示要驗證。現在加了代理，加了header也都是回這個。不知道有沒有辦法可以繞過這個驗證，或是後台可以模擬驗證？有沒有大神遇到類似的問題？簡單貼下請求的代...

來自於 [Python討論組] 2017-06-28 09:22:11 0  3  9684

aiohttp在python3裝好了，但是進入python3還是會導入失敗

虛擬機器環境為Ubuntu－64位元pip 安裝在python3下，使用pip安裝aiohttp時，顯示已經安裝在python3中，但是然後進入python中導入aiohttp模組，還是會失敗，怎麼辦？

來自於 [Python討論組] 2017-06-28 09:22:08 0  2  1075

python - 合併多個列表組成一個字典

我把原始問題簡化一下，希望各位大大幫忙有2個等長list：idlist = [id1,id2,id3,id4,id5]userlist = [name1,name2,name3,name4,name5] 希望合併成以下形...

來自於 [Python討論組] 2017-06-28 09:22:02 0  4  1168

python redis 列表插入 速度太慢

{程式碼...} 這種執行效率低的可怕。需要等幾十秒，才能插入完成。請問有沒更高效率的處理手法？ args 只是以一個元組內容隨意(1,2,"3")之類

來自於 [Python討論組] 2017-06-28 09:21:58 0  1  1372

python小白 問關於參數無法找到的問題

程式碼如下： {程式碼...} 執行結果： 我的問題：程式提示說，new_name無法找到 課時我明明寫上去了 不知道為什麼系統提示找不到呢？

來自於 [Python討論組] 2017-06-22 11:53:02 0  3  783

python小白 關於類別裡面的方法取得變數失敗的問題

程式碼如下： {代碼...} 執行結果： 我的問題： 我已經傳入了2個值，一個哈哈，一個20為什麼印出來的還是0？

來自於 [Python討論組] 2017-06-22 11:53:00 0  4  881

python - lxml.etree為什麼會自動加上</i>？

正在學習lxml，程式碼如下： {程式碼...} 輸出如下： {程式碼...} 主要不理解為什麼&lt;i&gt;標籤那裡會出錯呢？請問怎麼解決這個問題？謝謝~

來自於 [Python討論組] 2017-06-22 11:52:40 0  1  809

python3.x - Python not 運算子的問題

{代碼...} {代碼...} 如上，將 False 直接進行運算時會作為 0 來計算。使用邏輯運算子 not 時，not(1) 的值為 False 或 0。但為什麼直接將 not(1) 放進算術運算後再計算的結果為 F...

來自於 [Python討論組] 2017-06-22 11:52:39 0  3  1350

python小白 自學看書遇到看不懂的地方

如圖，小弟最近在自學python，看書的時候常常看到有這種--snip--書上也沒有說明，百度了也沒有找到特別清楚的，搞不清楚這到底是什麼一般來說，如果程式碼暫時沒寫，不是應該寫個pass麼那這個snip到底是個什麼鬼呢...

來自於 [Python討論組] 2017-06-22 11:52:38 0  3  1022