python - Scrapy抓取的数据不能显示在piplines中

通过scrapy抓取数据,也抓取到了,可以返回到pipelines中没有效果?打印不出结果请问该怎么解决？

我想大声告诉你 2017-05-18 10:57:53 0  2  845

javascript - 为什么我用phantomjs抓取页面，如果页面数据多就抓取不到？

我想抓取一个爱淘宝的搜索页面，它是有js渲染生成的页面，所以我选择用phantomjs抓取。但是在抓取过程中出现一个问题。当搜索结果超过两个的时候，就获取不到数据。但是截图显示数据加载正常。不知道是淘宝做了限...

習慣沉默 2017-07-05 10:50:52 0  1  927

一个网页怎么连接到数据库抓取信息呢

一个网页上一个按钮一个输入框，点击按钮连接数据库抓取信息后 返回信息到网页上的输入框。小白一个 有没有源可以参考下

神秘人 2020-12-21 19:45:07 0  1  1180

javascript - 关于ajax，前台jq抓取数据安全处理

关于ajax，data数据源那里，我一般用的在jq便签那里把需要post的值直接丢到某个元素里，然后抓取。这样用浏览器控制台改变一下页面属性，ajax的post的值也被改变了。虽然我后端有用php判断一下用户是否本人，但也...

漂亮男人 2017-05-16 13:16:33 0  1  468

python - Fiddler+Android模拟器抓取app，json数据被加密了，如何解析？

问题： 在尝试抓取山西之窗APP的时候，发现JSON数据并不是直接的JSON结构，似乎是经过加密的，是否有办法可以将原始内容解析出来？ 请求 响应 查了一些资料，似乎有些公司会对APP两端传递的数据进行各种加密，我...

PHPz 2017-05-16 13:31:23 0  2  1417

php抓取网页数据

我有这样的一些需求，抓取百度外卖商户端的网页https://wmpass.baidu.com/ucen...，但是这个网页是使用模块化前端框架写的，查看源代码就只能看到一些渲染之前的源代码，我用的querylist获取到的不是页面渲染之后...

PHP中文网 2017-05-24 11:34:27 0  1  899

javascript - 前端调用后台接口，除了ajax，还能用什么？

公司要做一个移动端的官网，不能用ajax调用接口(为了给别人抓数据)，那还能用什么？？？百度是用什么抓取数据的？

仅有的幸福 2017-06-30 09:57:52 0  4  1193

仅当'当前表”中不存在记录时，才将 Scrapy INSERT 插入'new_table”

我尝试了一些网站抓取。我成功地抓取了当前数据库表中的数据。但我想仅当“当前表”中不存在记录时才插入“new_table”我的代码是（管道）table='products'table2='new_products'`defsave(self,row):cursor=self.cnx.cursor()cursor.execute("SELECTDISTINCTproduct_idFROMpr

P粉122932466 2024-03-29 19:36:16 0  1  410

Heroku限制Puppeteer仅运行三次

我正在开发一个使用puppeteer从另一个网站抓取数据的网站。当我在本地计算机上运行npm服务器时，它可以很好地抓取数据，但是当我将其部署到Heroku时，它只运行我要查找的前三个文件，然后停止。我本质上是想从我的学校网站上抓取有关课程的数据，因此我在for循环中运行此行，letdata=等待crawler.scrapeData(classesTaken[i].code)这会在下面运行这个函数。

P粉986860950 2024-04-02 19:49:08 0  1  735

各位python爬虫大牛看过来,这个网站的反爬虫怎么处理

https://www.everysaving.co.uk通过python爬取这个网站的数据,然而返回不了数据,！我加入了header和代理IP去抓取,也不行,望各位大牛们不妨试试看。。。

曾经蜡笔没有小新 2017-05-18 11:01:00 0  4  784

将HTML DOM结果存储至MySQL数据库

我试图将抓取的数据存储到我的数据库中。只是将结果输出，所以抓取是正常的。但是在定义变量并将其传递给mysql-insert时肯定有错误。我收到消息“成功创建新记录”。变量的结果为空，日期是存在的。<?php$html=file_get_contents('https://www.marketwatch.com/market-data/us?mod=market-data-center');$

P粉549986089 2023-09-15 23:41:06 0  1  598

如何安全转移mongodb集合的collection和index文件以腾出空间

单机环境下使用mongodb缓存爬虫抓取的网页的源码，没有复制集、分片等，使用mongodb纯粹为了取用方便并提升存储效率。现在一个collection占用了50多G的空间，已将数据提取完毕，短期内不会用到它了，但抓取下来十...

大家讲道理 2017-05-02 09:24:50 0  2  754

Scrapy：使用自定义列设置保存为 CSV 的指南

所以基本上我正在从网络上抓取数据，并且我有一个项目文件导入到我的主蜘蛛文件中。现在，当我抓取数据并将其存储在容器中并将其另存为csv时，链接列最终总是成为csv中的第一列。如何设置自定义列的位置？pName=response.css('#search.a-size-medium').css('::text').extract()pPrice=response.css('#search.a-pric

P粉576184933 2024-04-04 14:01:17 0  1  467

python把第x列数据写入第x个文件

Python爬虫一共需要爬取65页数据，每页数据的列数不确定。现在我能把每一列的数据抓下来，但是因为列数不确定，写入的文件名就不能确定。问题在于怎么才能把第x列数据写入第x个文件。也就是如何才能动态选择file=...

漂亮男人 2017-06-12 09:23:40 0  1  788

微信$data =file_get_contents('php://input')取不到数据，抓包

$timestamp = $_GET['timestamp'];       $nonce = $_GET["nonce"];     $msg_signature = $_GET['msg_signature'];    &nbsp

手机用户1576494449 2020-01-02 15:56:29 0  2  941

javascript - 移动端选择插件 但是数据是自己定义的

类似右边这种效果，但是里面的数据是自定义的首先是移动端的效果，其次列表很多，要按照图片显示效果数据可以是后台获取的数据

PHP中文网 2017-06-14 10:54:06 0  2  670

python - Scrapy ItemLoader数据清洗疑问

在使用scrapy抓取数据时，利用itemloader这个类，使用selector取出的值为空时，进入scrapy.Field()里调用filter()，selector取值不为空的确返回"有值"，如果selector取出[]或"",那么value进入filter()之后，并不...

PHPz 2017-05-27 17:39:47 0  1  1177

PHP存储数据库效率的问题

程序一：for($i=0;$<100;$++){连接数据库；执行select提前一个值；断开数据库连接；连接数据库；执行一次updata 存储数据；断开数据库连接；}程序执行耗时1.5－2秒左右程序二：连接数据库；for($i=0;$i<100;$i++){执行一次select；执行一次updata; }断开数据库连接；执行耗时0.05－0.09秒关键是我的存储数据库程序是一

八哥 2023-09-22 22:46:18 0  0  908

javascript - axios上传数据到php返回为空

1.vue 2.0使用axios上传数据返回为空，后台为php 2.vue代码 {代码...} 3.php代码 {代码...} 4.console返回数据 {代码...} 5.备注get获取数据是有效的，post提交数据不知为何在php页面数据获取不到，返回为空，htm...

过去多啦不再A梦 2017-06-20 10:05:38 0  2  1020

当 div 不存在时使用 Beautiful soup 提取数据

我正在尝试从几千个html文件或站点数据中提取表数据，但是这些表没有div来使这变得简单，而且我对beautifulsoup还很陌生。现在，我正在手动编辑所有转换后的html到csv并将它们放入我的数据库中以创建表格，但我宁愿只抓取我已经拥有的内容。<<bodystyle="margin-top:140px;"><divid="containe

P粉818306280 2024-02-26 16:22:47 0  1  477