python - 如何爬取跳轉網站的數據

目前在學習一些爬蟲的知識，對於一些複雜的網站使用selenium進行爬取。碰到一個問題，我需要爬取的工單網站（不知道密碼）需要先透過登入一個鑑權系統，然後鑑權系統頁面點擊其中的工單系統連接，就會自動免登入...

怪我咯 2017-05-19 10:07:30 0  2  1026

python - 鬥魚追蹤人數爬下來是張加載圖片，如何爬取追蹤人數

爬取鬥魚追蹤人數顯示 {程式碼...} 等網站載入完畢顯示 {程式碼...} 應該如何爬取這種資料？

巴扎黑 2017-07-05 10:34:08 0  1  984

java如何爬取js處理後的程式碼

頁面位址: http://acm.hdu.edu.cn/showpro... 爬取的目標: 想要爬取這些個公式的程式碼，Chrome按F12看到的程式碼: 但是爬取到的程式碼如下:這個程式碼並不能顯示正確的公式，似乎這些程式碼都是js產生的，該如何爬取到這...

为情所困 2017-05-17 10:04:18 0  2  630

php - 大家幫忙看一個爬蟲抓取需要資料的正規則

A. 待抓取的頁面的html： {代碼...} B. 我寫的抓取正規： {代碼...} $reg_list = "/<div\s*topClassName\='top1'\s *topSwitch\='on'\s*productId\='(\d+)'\s*productName\='[\x7f-\xff]+'\s*class\='productP...

过去多啦不再A梦 2017-05-16 13:16:30 0  2  610

網頁爬蟲 - 部落格園部落格中的圖片怎麼用python爬取下來？

寫了一小段程式碼，爬取部落格園部落格中的圖片，這段程式碼對部分連結有效，還有一部分連結一爬就報錯，這是什麼原因呢？ {代碼...} 如圖，可以正確爬取圖片 若把url換成 {代碼...} 則立刻報錯 求解決，謝謝！

某草草 2017-05-18 10:45:39 0  1  902

python - 請教如何爬取簡書某一時段發文。

我想爬取簡書在某一時間段的帖子，例如2013 年4 月13 — 2013 年5 月13 想嘗試的思路如下： 百度利用百度的site 語法限定日期觀察大約有70 個帖子Google google 的site語法限定日期觀察大約有120 ...

黄舟 2017-05-18 10:55:49 0  1  699

javascript - 為什麼我用phantomjs抓取頁面，如果頁面資料多就抓取不到？

我想抓取一個愛淘寶的搜尋頁面，它是有js渲染產生的頁面，所以我選擇用phantomjs抓取。但是在抓取過程中出現一個問題。當搜尋結果超過兩個的時候，就取得不到數據。但是截圖顯示資料載入正常。不知道是淘寶做了限...

習慣沉默 2017-07-05 10:50:52 0  1  896

scrapy 如果要爬取整個站的內容，是要把所有頁面的URL都取得到佇列後才開始提取內容嗎

scrapy 如果要爬取整個站的內容，是要把所有頁面的URL都取得到佇列後才開始提取內容嗎？

Laical 2020-04-30 16:05:00 0  0  1034

python - 使用requests爬取[大街網]職位信息，嘗試多次失敗，幫忙看看我的程式碼有什麼問題？該怎麼改呢？

之前爬取過幾個靜態的網站數據，都還比較順利，這次遇到ajax，看了幾個文檔，感覺不是很難，就直接上手了，但還是卡住了。 。 。目標：爬取大街網的職位資訊。流程：1，使用瀏覽器審查元素功能查看資料動態載入的...

大家讲道理 2017-05-18 11:01:06 0  1  2139

PC端存取卻變成行動位址問題#python#scrapy

用scrapy 爬取喜馬拉雅，爬取PC端位址，入口連結的response沒問題，但後面response看到的是行動位址。 。 。 。 spider 程式碼如下： {程式碼...} 控制台輸出： 已經寫了一個 middlewares.RotateUserAgentMiddleware，...

淡淡烟草味 2017-06-30 09:55:13 0  2  1073

Python的os.listdir在取得檔案清單時的順序問題

這是在windows資源管理器中顯示的檔案順序而用os.listdir獲得的list順序是這樣子的：['03.jpg', '1.jpg', '2.jpg', '3.jpg' , '5.jpg', '6.png', 'test.url'] 請問要怎麼樣才能取得和windows資源管理器順序一樣的文...

PHP中文网 2017-06-28 09:26:11 0  1  1788

python + selenium + chromedriver 如何實作無介面爬取

在使用selenium爬取12306的過程中，發現使用phantomjs無法爬取，使用chromedriver就可以，應該是phantomjs被網站偵測出來後封禁了，使用chromedriver又會顯示介面，爬取效率低。現在有兩點疑問，google了好久都沒...

迷茫 2017-05-18 10:53:13 0  2  882

內聯塊：探索其空間特性

內聯區塊之間有一個奇怪的間隔。我可以接受它，直到我用AJAX呼叫載入更多內容時，這個小間隔就消失了。我知道我在這裡漏了什麼。 div{width:100px;height:auto;border:1pxsolidred;outline:1pxsolidblue;margin:0;padding:0;display:inline-block;}http://jsfiddle.net/AWMMT/如何讓內

P粉360266095 2023-08-22 19:42:53 0  2  575

為什麼下載Git-Extension的時候會與exploer.exe進程有衝突

如圖顯示，我想問windows explorer的流程為什麼會跟git extension有衝突....

某草草 2017-05-02 09:23:05 0  0  623

其它項目

老師還有類似的靜態網站專案嗎.我想模仿一下,現在不會爬蟲.所以很難採集到素材,謝謝

叶大大* 2019-04-14 00:01:11 0  3  1390

curl爬取網頁是數據

如果url連結給的是https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_4480296238548479181%22%7D&n_type=0&p_from=1 的連結怎麼取網頁資訊

phpcn_u68041 2017-12-07 10:08:47 0  5  1204

python - 在寫一個爬蟲，原始碼裡面沒有csrf token，要如何取得到？

在寫一個爬取速賣通的爬蟲，在NTEWROK的POST裡面有看到csrf token，但是在查看頁面原始碼裡面csrf這個值，我要如何取得到？謝謝。

漂亮男人 2017-05-24 11:35:05 0  2  796

在Puppeteer瀏覽器中，點選Cookie接受按鈕後的意外關閉行為

我正在嘗試使用node.js和puppeteer爬取一個網站以獲取實時足球信息，但是在console.log("tryingtoselectteamelement")之後，我的瀏覽器立即關閉。 constpuppeteer=require("puppeteer");asyncfunctionopenPage(){constbrowser=awaitpuppet

P粉883278265 2023-08-16 21:40:51 0  1  456