为什么'Cookie”请求头中的cookie数量超过'set-cookie”响应头中设置的cookie数量？

Question

我是一个网络爬虫的新手，所以我对http请求的了解很浅。当我检查我发送到某个网站的某些请求时，比如添加到购物车，开发工具中显示请求的“Cookie”头中有更多的值，这些值是由“set-cookie”响应头设置的。

这是如何工作的呢？

更具体地说，响应的“set-cookie”头中的一个cookie将包含购物车的id，但是当查看请求头中的所有cookie值时，“Cookie”头中也会有购物车id，但还有其他cookie，如“checkout session lookup”和“checkout session token”。

然而，这些cookie并没有在响应的“set-cookie”头中设置，那么它们是怎么到那里的呢？

假设我想抓取请求头中包含所有cookie的完整“Cookie”值，而不仅仅是响应头中的那些cookie，有办法可以做到吗？

非常感谢您的帮助！

Answer 1

我认为这可能与此页面上的JavaScript有关。例如，下面的代码可以设置一个新的cookie： document.cookie="username=John Doe";

因此，cookie不仅可以通过请求头发送。

要获取完整的cookie，我认为您可能需要一个无头浏览器。