分散式爬蟲 - scrapy-redis 分散式系統？

現在可以從網路下載這些程式碼，怎麼進行部署和運行程式碼從github下載了關於分散式的程式碼，不知道怎麼用，求各位大神指點下。 。 。下面是網址https://github.com/rolando/scrapy-redis環境已經按照上面的配置好了，...

迷茫 2017-04-24 09:11:57 0  2  548

java - 分散式事務的處理方案

在多台web伺服器 部署hibernate 作業資料庫 需要分散式事務嗎 就用傳統單機的方式 存取資料庫 會有問題嗎 業界是怎麼處理這種問題的

女神的闺蜜爱上我 2017-06-23 09:14:37 0  1  1226

PHP爬蟲是如何連接到動態爬蟲代理的？

php爬蟲是如何接入爬蟲代理的呢，之前用的是python  和php一樣的 嗎 接入方式？

Laical 2020-03-13 17:10:19 0  0  1099

mongodb分散式儲存的原理是什麼？

這兩天剛開始學mongodb，試著建了分散式儲存。 不明白他的基本原理是什麼？ 我的測試資料庫： weibo文件裡有0.156G資料 建立了四個shard節點，發現每個節點的資料是平均分數的，這是怎麼實現分配的？ 然後我把整個w...

怪我咯 2017-04-24 09:13:36 0  1  660

mongodb可以匯出資料到excel嗎？

用scrapy+redis+mongodb寫的爬蟲，爬到的資料可以儲存在mongodb中，可以匯出為excel格式嗎？

伊谢尔伦 2017-04-27 09:02:42 0  2  788

docker怎麼綁定公網靜態ip?

目前我正在做一個分散式微博爬蟲。微博對帳號和ip的請求都限制得比較嚴格。我手上有七、八個公網ip,但是伺服器只有四台，所以其他四個ip不用起來就浪費了。因此我想到使用虛擬機器或docker來綁定公網ip，由於虛擬機器太...

天蓬老师 2017-05-16 13:17:39 0  2  1136

angular.js - Angular directive遇到的一個問題，急救

用NodeJS做了一個爬蟲，從網頁上爬數據然後以json的形式返回， 在用$http拿到之後，我現在想轉義問標準的頁面顯示，我頁面上是這樣寫的然後js部分這個地方我輸出scope之後的內容是本來透過scope.newsContents....

世界只因有你 2017-05-15 16:52:07 0  1  525

redis - 行python爬蟲時，MySQL版本是5.7，總是報錯

執行python爬蟲時，MySQL版本是5.7，總是報錯 {程式碼...} 問題出在什麼地方？怎麼解決呢？

扔个三星炸死你 2017-06-12 09:19:42 0  2  914

javascript - node爬取微博

剛接觸node,想寫個爬蟲，爬取新浪微博評論，但是發現頁面是由JS動態生成的，用http模組爬取不到，然後用phantomjs爬取，（聽說會比較慢，運行了近15分鐘，這也太慢了，不知是否寫錯），還是不行，問一下有什麼辦...

仅有的幸福 2017-06-30 10:00:08 0  1  977

網頁爬蟲 - Python requests.get 爬蟲 設定代理 IP位址未改變

工作需要爬取亞馬遜上面的訊息，但是亞馬遜反爬蟲太厲害，同一個IP位址會被封。 Python版本：3.6， IDE：Pycharm 2017.1上網查了很多資料，requests函式庫的手冊也讀過，但是都是同一個方法，程式碼如下： {程式碼...} ...

typecho 2017-06-12 09:24:11 0  1  1200

python - 爬蟲模擬登入後，爬取csdn後台文章清單遇到的問題

爬蟲確實已經登入進去了，因為我爬取個人資料是可以抓出來的，但是下圖的這個網址抓不出來： 網址是：http://write.blog.csdn.net/postlist，就是你的csdn後台。我貼下程式碼吧，py2.7的 {程式碼...} 上面的程式碼輸出...

ringa_lee 2017-05-18 10:51:59 0  2  1068

python - Scrapy如何得到原始的start_url

Scrapy爬蟲時，由於重定向或是其他原因，會導致原始的start_url改變，怎樣才能得到原始的start_url? {程式碼...}

代言 2017-06-28 09:23:41 0  1  1030

python - pyspider 定時爬取問題

在寫爬蟲的時候，發現 在程式碼中設定了 every 之後，21號爬取了一次之後，今天看 result 沒有更新，那個 lastcrawltime 依舊是 21號的。請問是不是我的參數設定的不正確？

我想大声告诉你 2017-05-18 10:53:29 0  2  967

html - 正規表示式 python爬蟲

import urllib.request req = urllib.request.urlopen('http://search.jd.com/Search?k...') reqOut[3]: <http.client.HTTPResponse at 0x52bf6d8>; buf = req.read() buf = buf.decode('utf-8') urlli

怪我咯 2017-06-22 11:51:19 0  2  707

python - 網頁title中包含換行，如何用正規表示式擷取出來？

在用python做CSDN的網頁爬蟲，在爬取網頁title時，我一直用的正規表示式(?&lt;=\&lt;title\&gt;).+?(?=\&lt;)在CSDN中用不了，去CSDN源碼一看，title換行顯示了所以導致原來的正則表達式無法使用，那麼，問題...

女神的闺蜜爱上我 2017-06-22 11:51:43 0  2  993

python中的一個用法不清楚

在python寫爬蟲的過程中（爬取wiki百科的詞條），使用迭代器輸出過程中出現了url["href"]想著應該屬於迭代器裡面一個用法，但卻沒有找到，求助這個用法的意思，謝謝{程式碼...} 最後一行的url["href"]，對爬取得...

阿神 2017-05-18 10:59:46 0  1  784

新手求教python3如何把dict循環寫入csv檔（進行爬蟲時遇到的問題）？

爬蟲生成dict後，想寫入csv文件，卻出錯使用jupyter notebook,window環境。具體程式碼如下 {程式碼...} 執行上面程式碼，提示錯誤為 ValueError: too many values to unpack (expected 2)透過查詢原因是要將dict遍...

我想大声告诉你 2017-05-18 10:49:20 0  3  1429

Python爬取網頁requests亂碼

**之前有在裁判文書上爬取數據，這段時間重新運行爬蟲後發現無法獲取網頁數據，找了一下發現requests網頁源碼返回的是亂碼** （如下截取一部分返回的數據：&lt;meta http -equiv="Content-Type" content="text/htm...

phpcn_u1582 2017-06-22 11:51:56 0  4  1240

pyspider +mongodb 多個爬蟲 result 如何指定 collection 名稱

如題，我現在需要爬取多個網站的內容，但是結果結構是一樣的。現在的配置resultdb 是一個db，每個爬蟲的結果分別是不同的集合。而我想把這些結果存到指定db下的指定集合，這個如何設定。請大俠幫我解答。

过去多啦不再A梦 2017-04-28 09:05:44 0  1  955

centos - 爬蟲執行了一次就不執行了，是什麼原因？

在centos中crontab了一個時間點，作為爬蟲啟動時間。第一天成功爬取了數據，第二天就不行了。我查看cron日誌，發現定時器成功啟動了。但我發現程式的地方出現： 不知道是不是交換記憶體的原因？無法啟動wiley_spi...

仅有的幸福 2017-04-26 09:00:55 0  1  600