我是一個網路爬蟲的新手,所以我對http請求的了解很淺。當我檢查我發送到某個網站的某些請求時,例如添加到購物車,開發工具中顯示請求的「Cookie」頭中有更多的值,這些值是由「set -cookie」響應頭設定的。
這是如何運作的呢?
更具體地說,回應的「set-cookie」頭中的一個cookie將包含購物車的id,但是當查看請求頭中的所有cookie值時,「Cookie」頭中也會有購物車id ,但還有其他cookie,如“checkout session lookup”和“checkout session token”。
然而,這些cookie並沒有在回應的「set-cookie」頭中設置,那麼它們是怎麼到那裡的呢?
假設我想抓取請求頭中包含所有cookie的完整「Cookie」值,而不僅僅是回應頭中的那些cookie,有辦法可以做到嗎?
非常感謝您的幫忙!
我認為這可能與此頁面上的JavaScript有關。例如,下面的程式碼可以設定一個新的cookie:
document.cookie="username=John Doe";
#因此,cookie不僅可以透過請求頭發送。
要取得完整的cookie,我認為您可能需要一個無頭瀏覽器。