python - Scrapy抓取的数据不能显示在piplines中

通过scrapy抓取数据,也抓取到了,可以返回到pipelines中没有效果?打印不出结果请问该怎么解决？

我想大声告诉你 2017-05-18 10:57:53 0  2  823

javascript - 为什么我用phantomjs抓取页面，如果页面数据多就抓取不到？

我想抓取一个爱淘宝的搜索页面，它是有js渲染生成的页面，所以我选择用phantomjs抓取。但是在抓取过程中出现一个问题。当搜索结果超过两个的时候，就获取不到数据。但是截图显示数据加载正常。不知道是淘宝做了限...

習慣沉默 2017-07-05 10:50:52 0  1  900

一个网页怎么连接到数据库抓取信息呢

一个网页上一个按钮一个输入框，点击按钮连接数据库抓取信息后 返回信息到网页上的输入框。小白一个 有没有源可以参考下

神秘人 2020-12-21 19:45:07 0  1  1150

python - Fiddler+Android模拟器抓取app，json数据被加密了，如何解析？

问题： 在尝试抓取山西之窗APP的时候，发现JSON数据并不是直接的JSON结构，似乎是经过加密的，是否有办法可以将原始内容解析出来？ 请求 响应 查了一些资料，似乎有些公司会对APP两端传递的数据进行各种加密，我...

PHPz 2017-05-16 13:31:23 0  2  1379

javascript - 关于ajax，前台jq抓取数据安全处理

关于ajax，data数据源那里，我一般用的在jq便签那里把需要post的值直接丢到某个元素里，然后抓取。这样用浏览器控制台改变一下页面属性，ajax的post的值也被改变了。虽然我后端有用php判断一下用户是否本人，但也...

漂亮男人 2017-05-16 13:16:33 0  1  461

如何安全转移mongodb集合的collection和index文件以腾出空间

单机环境下使用mongodb缓存爬虫抓取的网页的源码，没有复制集、分片等，使用mongodb纯粹为了取用方便并提升存储效率。现在一个collection占用了50多G的空间，已将数据提取完毕，短期内不会用到它了，但抓取下来十...

大家讲道理 2017-05-02 09:24:50 0  2  720

javascript - 前端调用后台接口，除了ajax，还能用什么？

公司要做一个移动端的官网，不能用ajax调用接口(为了给别人抓数据)，那还能用什么？？？百度是用什么抓取数据的？

仅有的幸福 2017-06-30 09:57:52 0  4  1156

仅当'当前表”中不存在记录时，才将 Scrapy INSERT 插入'new_table”

我尝试了一些网站抓取。我成功地抓取了当前数据库表中的数据。但我想仅当“当前表”中不存在记录时才插入“new_table”我的代码是（管道）table='products'table2='new_products'`defsave(self,row):cursor=self.cnx.cursor()cursor.execute("SELECTDISTINCTproduct_idFROMpr

P粉122932466 2024-03-29 19:36:16 0  1  388

javascript - 在商城开发中，商品详情页里面的属性规格，大家倾向于用哪种json数据格式?如下

{代码...} 上面当我选中: {代码...} 第二种: {代码...} 默认 {代码...} 这两种json数据格式那种更为简洁，效率更高效?

大家讲道理 2017-07-05 10:47:55 0  1  733

各位python爬虫大牛看过来,这个网站的反爬虫怎么处理

https://www.everysaving.co.uk通过python爬取这个网站的数据,然而返回不了数据,！我加入了header和代理IP去抓取,也不行,望各位大牛们不妨试试看。。。

曾经蜡笔没有小新 2017-05-18 11:01:00 0  4  770

nosql - 求大神详细阐述下mongodb的索引的工作是如何节省时间的？

MongoDB 索引索引通常能够极大的提高查询的效率，如果没有索引，MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录。这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询...

黄舟 2017-05-02 09:25:14 0  2  620

python - 如何解决ConnectionError？

Python中用requests模块抓取资料，可以出现我想要的资料，但是资料并不完整，后面会出现ConnectionError，可以怎么解决？我已经设置了Timeout。 我的代码如下： {代码...}

女神的闺蜜爱上我 2017-06-12 09:19:47 0  1  953

将HTML DOM结果存储至MySQL数据库

我试图将抓取的数据存储到我的数据库中。只是将结果输出，所以抓取是正常的。但是在定义变量并将其传递给mysql-insert时肯定有错误。我收到消息“成功创建新记录”。变量的结果为空，日期是存在的。<?php$html=file_get_contents('https://www.marketwatch.com/market-data/us?mod=market-data-center');$

P粉549986089 2023-09-15 23:41:06 0  1  565

python - Scrapy ItemLoader数据清洗疑问

在使用scrapy抓取数据时，利用itemloader这个类，使用selector取出的值为空时，进入scrapy.Field()里调用filter()，selector取值不为空的确返回"有值"，如果selector取出[]或"",那么value进入filter()之后，并不...

PHPz 2017-05-27 17:39:47 0  1  1148

nosql - mongodb运行了一会儿就自动闪退是什么情况？

RT，我写了一个爬虫抓取一些json数据然后写入mongodb存储，前面写了三万多条数据都正常（我检查过数据库里面，写入成功了），但是突然那个服务端的cmd窗口就闪退了。我线程设置的是10，电脑配置i5 4210，内存8G，...

習慣沉默 2017-05-02 09:23:35 0  1  778

php - 请问这条多表联查的SQL怎么写?

我的问题如下图所述,数据库结构及数据在下面代码块,求大牛帮忙看看.. 我希望得到的结果是: 表结构及数据如下 {代码...} 这么可以满足我的需求,但是执行效率太低了... {代码...} 有没有大牛能提供一个更效率的写法呢?

阿神 2017-05-16 13:07:35 0  5  824

python - 爬虫模拟登录后，爬取csdn后台文章列表遇到的问题

爬虫确实已经登录进去了，因为我爬取个人信息是可以抓出来的，但是下图的这个网址抓不出来： 网址是：http://write.blog.csdn.net/postlist，就是你的csdn后台。 我贴下代码吧，py2.7的 {代码...} 上面的代码输出...

ringa_lee 2017-05-18 10:51:59 0  2  1069

PHP存储数据库效率的问题

程序一：for($i=0;$<100;$++){连接数据库；执行select提前一个值；断开数据库连接；连接数据库；执行一次updata 存储数据；断开数据库连接；}程序执行耗时1.5－2秒左右程序二：连接数据库；for($i=0;$i<100;$i++){执行一次select；执行一次updata; }断开数据库连接；执行耗时0.05－0.09秒关键是我的存储数据库程序是一

八哥 2023-09-22 22:46:18 0  0  875

angular.js - angularJS 是否适合这样的技术解决方案？一个页面20个ajax请求

angular是否是适合如下情况的场景解决方案？页面需要统计出整个数据库对应表里按时间（比如天、月、周）的注册总数、发帖总数、登陆总数、百度蜘蛛抓取总数，总共涉及十来个数据原表（信息表、文章表、用户表、PV...

曾经蜡笔没有小新 2017-05-15 17:02:23 0  1  507

python3.x - mongodb 显示不出中文，都是方块，该如何解决？

使用pycharm IDE,搭配mongodb Explorer，抓取数据存放至mongodb中，但是中文全部显示不出来，都是方块。。。google了一下没有类似问题。。请大牛帮帮忙，不胜感激！

黄舟 2017-05-02 09:23:56 0  2  689