python - Scrapy抓取的資料不能顯示在piplines中

透過scrapy抓取資料,也抓取到了,可以返回到pipelines中沒有效果?印不出結果請問該怎麼解決？

我想大声告诉你 2017-05-18 10:57:53 0  2  878

javascript - 為什麼我用phantomjs抓取頁面，如果頁面資料多就抓取不到？

我想抓取一個愛淘寶的搜尋頁面，它是有js渲染產生的頁面，所以我選擇用phantomjs抓取。但是在抓取過程中出現一個問題。當搜尋結果超過兩個的時候，就取得不到數據。但是截圖顯示資料載入正常。不知道是淘寶做了限...

習慣沉默 2017-07-05 10:50:52 0  1  969

一個網頁怎麼連結到資料庫抓取資訊呢

一個網頁上一個按鈕一個輸入框，點選按鈕連接資料庫抓取資訊後 返回資訊到網頁上的輸入框。小白一個 有沒有源頭可以參考下

神秘人 2020-12-21 19:45:07 0  1  1208

python - Fiddler+Android模擬器抓取app，json資料被加密了，如何解析？

問題： 在嘗試抓取山西之窗APP的時候，發現JSON資料並不是直接的JSON結構，似乎是經過加密的，是否有辦法可以將原始內容解析出來？ 請求 回應 查了一些資料，似乎有些公司會對APP兩端傳遞的資料進行各種加密，我...

PHPz 2017-05-16 13:31:23 0  2  1473

javascript - 關於ajax，前台jq抓取資料安全處理

關於ajax，data資料來源那裡，我一般用的在jq便籤那裡把需要post的值直接丟到某個元素裡，然後抓取。這樣用瀏覽器控制台改變一下頁面屬性，ajax的post的值也被改變了。雖然我後端有用php判斷一下使用者是否本人，但也...

漂亮男人 2017-05-16 13:16:33 0  1  487

如何安全地轉移mongodb集合的collection和index文件以騰出空間

單機環境下使用mongodb快取爬蟲抓取的網頁的來源碼，沒有複製集、分片等，使用mongodb純粹為了取用方便並提升儲存效率。現在一個collection佔用了50多G的空間，已將資料提取完畢，短期內不會用到它了，但抓取下來十...

大家讲道理 2017-05-02 09:24:50 0  2  784

javascript - 前端呼叫後台接口，除了ajax，還能用什麼？

公司要做一個行動端的官網，不能用ajax呼叫介面(為了給別人抓資料)，那還能用什麼？ ？ ？百度是用什麼抓取資料的？

仅有的幸福 2017-06-30 09:57:52 0  4  1229

javascript - 在商城開發中，商品詳情頁裡面的屬性規格，大家傾向於用哪種json資料格式?如下

{程式碼...} 上面當我選取: {程式碼...} 第二種: {程式碼...} 預設 {程式碼...} 這兩種json資料格式那種更為簡潔，效率更有效率?

大家讲道理 2017-07-05 10:47:55 0  1  783

僅當'當前表”中不存在記錄時，才將 Scrapy INSERT 插入'new_table”

我嘗試了一些網站抓取。我成功地抓取了目前資料庫表中的資料。但我想只有在「當前表」中不存在記錄時才插入「new_table」我的程式碼是（管道）table='products'table2='new_products'`defsave(self,row):cursor=self.cnx. cursor()cursor.execute("SELECTDISTINCTproduct_idFROMpr

P粉122932466 2024-03-29 19:36:16 0  1  443

python - 網頁更新資料之後無法再抓取

我抓取的網頁今天更新了一條信息，然後爬蟲運行了卻沒有抓取到. {代碼...} 希望大佬們能講的具體點然後多交流交流

给我你的怀抱 2017-05-18 10:58:50 0  2  651

各位python爬蟲大牛看過來,這個網站的反爬蟲怎麼處理

https://www.everysaving.co.uk透過python爬取這個網站的資料,然而回不了資料,！我加入了header和代理IP去抓取,也不行,望各位大牛們不妨試試看。 。 。

曾经蜡笔没有小新 2017-05-18 11:01:00 0  4  829

nosql - 求大神詳細闡述下mongodb的索引的工作是如何節省時間的？

MongoDB 索引索引通常能夠極大的提高查詢的效率，如果沒有索引，MongoDB在讀取資料時必須掃描集合中的每個檔案並選取那些符合查詢條件的記錄。這種掃描全集合的查詢效率是非常低的，特別在處理大量的資料時，查詢...

黄舟 2017-05-02 09:25:14 0  2  665

PHP儲存資料庫效率的問題

程序一：for($i=0;$<100;$++){連接資料庫；執行select提前一個值；斷開資料庫連接；連接資料庫；執行一次updata 儲存資料；斷開資料庫連接；}程式執行耗時1.5－2秒左右程式二：連接資料庫；for($i=0;$i<100;$i++){執行一次select；執行一次updata; }斷開資料庫連線；執行耗時0.05－0.09秒關鍵是我的儲存資料庫程式是一

八哥 2023-09-22 22:46:18 0  0  935

python - 如何解決ConnectionError？

Python中用requests模組抓取資料，可以出現我想要的資料，但是資料並不完整，後面會出現ConnectionError，可以怎麼解決？我已經設定了Timeout。我的程式碼如下： {程式碼...}

女神的闺蜜爱上我 2017-06-12 09:19:47 0  1  978

php - 請問這多表聯查的SQL怎麼寫?

我的問題如下圖所述,資料庫結構及資料在下面程式碼區塊,求大牛幫忙看看.. 我希望得到的結果是: 表結構及資料如下{程式碼...} 這麼可以滿足我的需求,但是執行效率太低了... {程式碼...} 有沒有大牛能提供一個更效率的寫法呢?

阿神 2017-05-16 13:07:35 0  5  879

將HTML DOM結果儲存至MySQL資料庫

我試圖將抓取的資料儲存到我的資料庫中。只是將結果輸出，所以抓取是正常的。但是在定義變數並將其傳遞給mysql-insert時肯定有錯誤。我收到訊息“成功建立新記錄”。變數的結果為空，日期是存在的。 <?php$html=file_get_contents('https://www.marketwatch.com/market-data/us?mod=market-data-center');$

P粉549986089 2023-09-15 23:41:06 0  1  640

javascript - axios上傳資料到php返回為空

1.vue 2.0使用axios上傳資料回傳為空，後台為php 2.vue程式碼{程式碼...} 3.php程式碼{程式碼...} 4.console回傳資料{程式碼...} 5.備註get取得資料是有效的，post提交資料不知為何在php頁資料取得不到，回傳為空，htm...

过去多啦不再A梦 2017-06-20 10:05:38 0  2  1046

redis 如何做高效率的資料型別轉換

需求：我的redis裡面有一個哈希表（300萬左右的資料量），現在我要用這個哈希表的key做遍歷，想要把所有的key都導入一個list中。但是，每次倒的時候，都會發生庫的擁擠（幾分鐘）。 想問有沒有什麼好的方法。 不...

淡淡烟草味 2017-04-25 09:02:34 0  1  706

php - 大家幫忙看一個爬蟲抓取需要資料的正規則

A. 待抓取的頁面的html： {代碼...} B. 我寫的抓取正規： {代碼...} $reg_list = "/&lt;div\s*topClassName\='top1'\s *topSwitch\='on'\s*productId\='(\d+)'\s*productName\='[\x7f-\xff]+'\s*class\='productP...

过去多啦不再A梦 2017-05-16 13:16:30 0  2  662

php - ci3.0怎麼實現快取？

ci3.0中想實現資料庫資料的數據，本人依照ci手冊做了快取之後，頁面效果還是一般，請問還有什麼比較好用的快取方式嗎？

曾经蜡笔没有小新 2017-07-05 10:46:03 0  1  911