目前在学习Python的数据抓取(爬虫),突发奇想,如果在豆瓣抓取到电影名称后,如何通过获取的电影名称抓取对应的视频URL呢?
本人的流程如下:1、去豆瓣抓取部分电影名称2、保存到数据库3、通过数据库保存的名称去优酷等网站搜索相关电影4、获取相关电影的视频链接地址5、把链接地址保存到对应的数据表中。
不知大神有何建议?为感。
光阴似箭催人老,日月如移越少年。
需要考虑,爬取下来的URL是否是你想要的视频啊
每个视频网站的视频地址获取方式都不一样,都需要对应的写一套抓取方法。而且像优酷的话大点的视频一般都是分段的,就是可能有几个url,这种也需要考虑。
可以直接在各大视频站获取啊,为啥要在豆瓣获取名称?评分?一般情况下是可以的,但是要控制获取的个数,比如你搜一个电影,可能出来的结果有很多个。
如果爬取的是豆瓣电影,一般都有播放源的, 可以直接抓取URL的
需要考虑,爬取下来的URL是否是你想要的视频啊
每个视频网站的视频地址获取方式都不一样,都需要对应的写一套抓取方法。而且像优酷的话大点的视频一般都是分段的,就是可能有几个url,这种也需要考虑。
可以直接在各大视频站获取啊,为啥要在豆瓣获取名称?评分?
一般情况下是可以的,但是要控制获取的个数,比如你搜一个电影,可能出来的结果有很多个。
如果爬取的是豆瓣电影,一般都有播放源的, 可以直接抓取URL的