python - 如何不刷新网页而监控网页变化？

Question

我在用python监控一个网页 这个网页不定时的会更新 我要寻找需要匹配的关键词比如‘ABC’ 大概的程序框架如下
基本方法就是 用 selenium 获取源码 然后beautifulsoup解析 然后再去结果里面match 每2秒循环一次

while true:
    html = browser.page_source
    soup = BeautifulSoup(html)
    abc=soup.find_all(text=re.compile("(ABC)"))    
    if not abc:
         .....
    else:
         .....   
    browser.refresh()
    time.sleep(2.0 - ((time.time() - starttime) % 2.0))

现在问题就是这个程序很依赖网速，browser.refresh() 刷新一次有可能就会用1秒钟
有没有什么办法 不需要刷新网页 就能知道网页有变化
或者有没有其他办法能让我这个程序 不被网速拖累

Answer 1

HTTP 最終更新日Last-Modified

---

　　1) 什么是”Last-Modified”?
　　在浏览器第一次请求某一个URL时，服务器端的返回状态会是200，内容是你请求的资源，同时有一个Last-Modified的属性标记此文件在服务期端最后被修改的时间，格式类似这样：
　　Last-Modified: Fri, 12 May 2006 18:53:33 GMT 　　客户端第二次请求此URL时，根据 HTTP
协议的规定，浏览器会向服务器传送 If-Modified-Since 报头，询问该时间之后文件是否有被修改过：
　　If-Modified-Since: Fri, 12 May 2006 18:53:33 GMT
　　如果服务器端的资源没有变化，则自动返回 HTTP 304 （Not
Changed.）状态码，内容为空，这样就节省了传输数据量。当服务器端代码发生改变或者重启服务器时，则重新发出资源，返回和第一次请求时类似。从而保证不向客户端重复发出资源，也保证当服务器有变化时，客户端能够得到最新的资源。

---

headers 'If-Modified-Since'

Status Code:304 Not Modified

状态码 304 表示页面未改动

>>> import requests as req
>>> url='http://www.guancha.cn/'
>>> rsp=req.head(url,headers={'If-Modified-Since':'Sun, 05 Feb 2017 05:39:11 GMT'})
>>> rsp
<Response [304]>
>>> rsp.headers
{'Server': 'NWS_TCloud_S1', 'Content-Type': 'text/html', 'Date': 'Sun, 05 Feb 2017 05:45:20 GMT', 'Cache-Control': 'max-age=60', 'Expires': 'Sun, 05 Feb 2017 05:46:20 GMT', 'Content-Length': '0', 'Connection': 'keep-alive'}

---

时间改为 昨天（4号）

服务器返回状态码200

并且有 'Last-Modified': 'Sun, 05 Feb 2017 06:00:03 GMT'

1)「Last-Modified」とは
ブラウザが初めて URL をリクエストしたとき、サーバーからの戻りステータスは 200 になり、コンテンツはリクエストしたリソースであり、 Last-Modified 属性は、このファイルがサーバー側で最後に変更された時刻を示します。形式は次のようになります。
Last-Modified: Fri, 12 May 2006 18:53:33 GMT クライアントがこの URL を要求したとき。 2 回目は、HTTP に従って契約の規定に従って、ブラウザは If-Modified-Since ヘッダーをサーバーに送信し、この時間以降にファイルが変更されたかどうかを尋ねます。
If-変更日: Fri, 12 May 2006 18:53:33 GMT
サーバー側のリソースが変更されていない場合、HTTP 304 (変更されていません。) ステータス コードが空の内容とともに自動的に返されます。したがって、送信されるデータ量が節約されます。サーバー側のコードが変更されるか、サーバーが再起動されると、リソースが再発行され、最初のリクエストと同様のものが返されます。これにより、リソースがクライアントに繰り返し送信されなくなり、サーバーが変更されたときにクライアントが最新のリソースを取得できるようになります。

ヘッダー 'If-Modified-Since'🎜 🎜ステータスコード:304 未変更🎜 🎜ステータス コード 304 は、ページが変更されていないことを意味します🎜 リーリー 🎜時間は昨日(4日)に変わります🎜 🎜サーバーはステータスコード 200 を返します🎜 🎜そして、'Last-Modified': 'Sun, 05 Feb 2017 06:00:03 GMT' があります🎜 🎜 は最終変更時刻を示します。 🎜 リーリー

Answer 2

データを取得するにはソース サイトにアクセスする必要があります。データをキャプチャしないと、変更があるかどうかをどうやって知ることができるのでしょうか?

Answer 3

この種の更新は、ajax を使用して更新される可能性があります。可能であれば、Web サイトの js コードを見て、リクエストの URL とパラメーターを見つけることができると思います。