目前在学习Python的数据抓取(爬虫),突发奇想,如果在豆瓣抓取到电影名称后,如何通过获取的电影名称抓取对应的视频URL呢?
本人的流程如下:1、去豆瓣抓取部分电影名称2、保存到数据库3、通过数据库保存的名称去优酷等网站搜索相关电影4、获取相关电影的视频链接地址5、把链接地址保存到对应的数据表中。
不知大神有何建议?为感。
光阴似箭催人老,日月如移越少年。
크롤링된 URL이 원하는 영상인지 고려해야 합니다
각 동영상 웹사이트는 서로 다른 방식으로 동영상 주소를 획득하며, 각각 해당하는 크롤링 방법 세트를 작성해야 합니다. 그리고 Youku와 마찬가지로 더 큰 비디오는 일반적으로 분할되어 있습니다. URL이 여러 개인 경우에도 이 점을 고려해야 합니다.
주요 영상 사이트에서 직접 구할 수 있는데 왜 도우반에서 이름을 얻어야 하나요? 점수? 일반적인 상황에서는 가능하지만, 얻는 결과 수를 제어해야 합니다. 예를 들어 영화를 검색하면 많은 결과가 나올 수 있습니다.
Douban 영화를 크롤링하는 경우 일반적으로 재생 소스가 있으며 URL을 직접 크롤링할 수 있습니다.
크롤링된 URL이 원하는 영상인지 고려해야 합니다
각 동영상 웹사이트는 서로 다른 방식으로 동영상 주소를 획득하며, 각각 해당하는 크롤링 방법 세트를 작성해야 합니다. 그리고 Youku와 마찬가지로 더 큰 비디오는 일반적으로 분할되어 있습니다. URL이 여러 개인 경우에도 이 점을 고려해야 합니다.
주요 영상 사이트에서 직접 구할 수 있는데 왜 도우반에서 이름을 얻어야 하나요? 점수?
일반적인 상황에서는 가능하지만, 얻는 결과 수를 제어해야 합니다. 예를 들어 영화를 검색하면 많은 결과가 나올 수 있습니다.
Douban 영화를 크롤링하는 경우 일반적으로 재생 소스가 있으며 URL을 직접 크롤링할 수 있습니다.