网址:http://quote.eastmoney.com/ce...
我想爬所有页的名称数据,(这里只有两页),判断有没有下一页的条件该怎么写呢?
代码:
from selenium import webdriver
driver=webdriver.PhantomJS()
url='http://quote.eastmoney.com/center/list.html#28003684_0_2'
driver.get(url)
usoup = BeautifulSoup(driver.page_source, 'xml')
n=[]
while True:
t=usoup.find('table',{'id':'fixed'})
utable=t.find_all('a',{'target':'_blank'})
for i in range(len(utable)):
if i % 6 ==1:
n.append(utable[i].text)
if #停止条件怎么写:
break
driver.find_element_by_xpath(r'//*@id="pagenav"]/a[2]').click()
usoup = BeautifulSoup(driver.page_source, 'xml')
后面这里就不会写了。。。
可以判斷每一頁的條目,每一頁共20條,如果當前頁不足20條的時候,說明此頁是最後一頁了,爬完當前頁就該停止了
話說 這個表格不是都有個jsonp的回傳介面嗎?為什麼還要爬?
走的就是jsonp接口,直接拿就好了。
非要抓取的話,只能用selenium + phantomjs 之類的模擬頁面去取得了。
http://nufm.dfcfw.com/EM_Fina...{排名:[(x)],頁數:(pc)}&token=7bc05d0d4c3c22ef9fca8c2a912d779c&jsName=quote_123&_g=538575857