Perangkak web - python merangkak tapak web dan menghuraikan kandungan bukan json

Question

Saya baru belajar mendapatkan kandungan json, tetapi tapak web yang saya crawl hari ini tidak mengembalikan kandungan json, dan nombor rawak dijana selepas setiap pautan permintaan

Saya tidak tahu sama ada ia akan menjejaskan kandungan yang saya ingin merangkak

Kandungan yang perlu anda perolehi ialah kandungan di tengah-tengah gambar di bawah

Pautan laman web http://www.szse.cn/main/discl...

Kod yang saya cuba sendiri:

import requests

dir = '/Users/S1Lence/Desktop/new_html/szse/许可类重组问询函'

headers = {'Host': 'www.szse.cn',
       'Referer': 'http://www.szse.cn/main/disclosure/jgxxgk/wxhj/',
       'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36'
       }
payload= {'ACTIONID': '7',          
       'AJAX': 'AJAX-TRUE',
      'CATALOGID': 'main_wxhj',
      'TABKEY': 'tab1',
      'selecthjlb': '许可类重组问询函',
      'tab1PAGENO': '1',
      'tab1PAGECOUNT': '7',
      'tab1RECORDCOUNT': '63',
      'REPORT_ACTION': 'navigate'}
res = requests.post('http://www.szse.cn/szseWeb/FrontControllere', data=payload)
print(res.text)

Kandungan keluaran tidak seperti yang saya mahukan?

Answer 1

Salin maklumat pengepalanya dan gunakannya. .

Answer 2

Alamat url siaran anda salah, sepatutnya

http://www.szse.cn/szseWeb/FrontController.szse