Python を使用して w3shcool をクロールし、それをローカルコードサンプルに保存する方法を教えるコース-Python チュートリアル-php.cn

Python を使用して w3shcool をクロールし、それをローカルコードサンプルに保存する方法を教えるコース

Y2J

リリース： 2017-04-27 11:42:03

オリジナル

2115 人が閲覧しました

この記事では、w3shcoolのJQueryコースをPythonでクローリングしてローカルに保存するメソッド解析を中心に紹介します。非常に良い基準値を持っています。以下のエディターで見てみましょう

最近、仕事を探すのに忙しいので、暇なときに、スキルを練習したり、コードを書いたりするためのクローラープロジェクトも見つけました。もっと練習する必要があります。本の山への道があります。自動化、機能、インターフェース全て対応できるテストピットがあれば紹介してもらえますか？

まず第一に、多くの学生は、何もすることがないときにいくつかのテクノロジーを見たいと思っていますが、今はインターネットにアクセスできません。私は携帯電話に電子書籍を持っていないので、とても混乱します。心配しないでください。まず、あなたのニーズを満たすためにここにいます。次に、この Web サイトを分析してみましょう。 www.w3school.com.cn/jquery/jquery_syntax.asp これは構文 URL です。 http://www.w3school.com.cn/jquery/jquery_intro.asp これは導入 URL です。その後、多くの URL を取得しました。分析すると、www.w3school.com.cn/jquery は同じなので、インターフェイスでこれらを取得する方法を分析してみましょう。右側に対応するターゲットバーがあることがわかりますので、分析してみましょう

。これらのリンクを見てみましょう。これらのリンクを http://www.w3school.com.cn と結合できます。次に、新しい URL を作成し、

コード

import urllib.request
from bs4 import BeautifulSoup 
import time
def head():
 headers={
 &#39;User-Agent&#39;:&#39;Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0&#39;
 }
 return headers
def parse_url(url):
 hea=head()
 resposne=urllib.request.Request(url,headers=hea)
 html=urllib.request.urlopen(resposne).read().decode(&#39;gb2312&#39;)
 return html
def url_s():
 url=&#39;http://www.w3school.com.cn/jquery/index.asp&#39;
 html=parse_url(url)
 soup=BeautifulSoup(html)
 me=soup.find_all(id=&#39;course&#39;)
 m_url_text=[]
 m_url=[]
 for link in me:
  m_url_text.append(link.text)
  m=link.find_all(&#39;a&#39;)
  for i in m:
   m_url.append(i.get(&#39;href&#39;))
 for i in m_url_text:
  h=i.encode(&#39;utf-8&#39;).decode(&#39;utf-8&#39;)
  m_url_text=h.split(&#39;\n&#39;)
 return m_url,m_url_text

ログイン後にコピー

をアップロードして、url_s 関数を使用してすべてのリンクを取得できるようにします。

[&#39;/jquery/index.asp&#39;, &#39;/jquery/jquery_intro.asp&#39;, &#39;/jquery/jquery_install.asp&#39;, &#39;/jquery/jquery_syntax.asp&#39;, &#39;/jquery/jquery_selectors.asp&#39;, &#39;/jquery/jquery_events.asp&#39;, &#39;/jquery/jquery_hide_show.asp&#39;, &#39;/jquery/jquery_fade.asp&#39;, &#39;/jquery/jquery_slide.asp&#39;, &#39;/jquery/jquery_animate.asp&#39;, &#39;/jquery/jquery_stop.asp&#39;, &#39;/jquery/jquery_callback.asp&#39;, &#39;/jquery/jquery_chaining.asp&#39;, &#39;/jquery/jquery_dom_get.asp&#39;, &#39;/jquery/jquery_dom_set.asp&#39;, &#39;/jquery/jquery_dom_add.asp&#39;, &#39;/jquery/jquery_dom_remove.asp&#39;, &#39;/jquery/jquery_css_classes.asp&#39;, &#39;/jquery/jquery_css.asp&#39;, &#39;/jquery/jquery_dimensions.asp&#39;, &#39;/jquery/jquery_traversing.asp&#39;, &#39;/jquery/jquery_traversing_ancestors.asp&#39;, &#39;/jquery/jquery_traversing_descendants.asp&#39;, &#39;/jquery/jquery_traversing_siblings.asp&#39;, &#39;/jquery/jquery_traversing_filtering.asp&#39;, &#39;/jquery/jquery_ajax_intro.asp&#39;, &#39;/jquery/jquery_ajax_load.asp&#39;, &#39;/jquery/jquery_ajax_get_post.asp&#39;, &#39;/jquery/jquery_noconflict.asp&#39;, &#39;/jquery/jquery_examples.asp&#39;, &#39;/jquery/jquery_quiz.asp&#39;, &#39;/jquery/jquery_reference.asp&#39;, &#39;/jquery/jquery_ref_selectors.asp&#39;, &#39;/jquery/jquery_ref_events.asp&#39;, &#39;/jquery/jquery_ref_effects.asp&#39;, &#39;/jquery/jquery_ref_manipulation.asp&#39;, &#39;/jquery/jquery_ref_attributes.asp&#39;, &#39;/jquery/jquery_ref_css.asp&#39;, &#39;/jquery/jquery_ref_ajax.asp&#39;, &#39;/jquery/jquery_ref_traversing.asp&#39;, &#39;/jquery/jquery_ref_data.asp&#39;, &#39;/jquery/jquery_ref_dom_element_methods.asp&#39;, &#39;/jquery/jquery_ref_core.asp&#39;, &#39;/jquery/jquery_ref_prop.asp&#39;], [&#39;jQuery 教程&#39;, &#39;&#39;, &#39;jQuery 教程&#39;, &#39;jQuery 简介&#39;, &#39;jQuery 安装&#39;, &#39;jQuery 语法&#39;, &#39;jQuery 选择器&#39;, &#39;jQuery 事件&#39;, &#39;&#39;, &#39;jQuery 效果&#39;, &#39;&#39;, &#39;jQuery 隐藏/显示&#39;, &#39;jQuery 淡入淡出&#39;, &#39;jQuery 滑动&#39;, &#39;jQuery 动画&#39;, &#39;jQuery stop()&#39;, &#39;jQuery Callback&#39;, &#39;jQuery Chaining&#39;, &#39;&#39;, &#39;jQuery HTML&#39;, &#39;&#39;, &#39;jQuery 获取&#39;, &#39;jQuery 设置&#39;, &#39;jQuery 添加&#39;, &#39;jQuery 删除&#39;, &#39;jQuery CSS 类&#39;, &#39;jQuery css()&#39;, &#39;jQuery 尺寸&#39;, &#39;&#39;, &#39;jQuery 遍历&#39;, &#39;&#39;, &#39;jQuery 遍历&#39;, &#39;jQuery 祖先&#39;, &#39;jQuery 后代&#39;, &#39;jQuery 同胞&#39;, &#39;jQuery 过滤&#39;, &#39;&#39;, &#39;jQuery AJAX&#39;, &#39;&#39;, &#39;jQuery AJAX 简介&#39;, &#39;jQuery 加载&#39;, &#39;jQuery Get/Post&#39;, &#39;&#39;, &#39;jQuery 杂项&#39;, &#39;&#39;, &#39;jQuery noConflict()&#39;, &#39;&#39;, &#39;jQuery 实例&#39;, &#39;&#39;, &#39;jQuery 实例&#39;, &#39;jQuery 测验&#39;, &#39;&#39;, &#39;jQuery 参考手册&#39;, &#39;&#39;, &#39;jQuery 参考手册&#39;, &#39;jQuery 选择器&#39;, &#39;jQuery 事件&#39;, &#39;jQuery 效果&#39;, &#39;jQuery 文档操作&#39;, &#39;jQuery 属性操作&#39;, &#39;jQuery CSS 操作&#39;, &#39;jQuery Ajax&#39;, &#39;jQuery 遍历&#39;, &#39;jQuery 数据&#39;, &#39;jQuery DOM 元素&#39;, &#39;jQuery 核心&#39;, &#39;jQuery 属性&#39;, &#39;&#39;, &#39;&#39;])

ログイン後にコピー

これは、すべてのリンクと、対応するリンクの対応する文法モジュールの名前です。次のステップは、str splicing を使用して URL を結合することです

 [&#39;http://www.w3school.com.cn//jquery/index.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_intro.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_install.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_syntax.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_selectors.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_events.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_hide_show.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_fade.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_slide.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_animate.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_stop.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_callback.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_chaining.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_dom_get.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_dom_set.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_dom_add.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_dom_remove.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_css_classes.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_css.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_dimensions.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_traversing.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_traversing_ancestors.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_traversing_descendants.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_traversing_siblings.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_traversing_filtering.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ajax_intro.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ajax_load.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ajax_get_post.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_noconflict.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_examples.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_quiz.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_reference.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_selectors.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_events.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_effects.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_manipulation.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_attributes.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_css.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_ajax.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_traversing.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_data.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_dom_element_methods.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_core.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_prop.asp&#39;]

ログイン後にコピー

これですべての URL が得られたので、記事のテキストを分析しましょう。

分析により、すべてのテキストが id=maincontent 内にあることがわかり、各インターフェイスの id=maincontent タグを直接解析し、応答テキストドキュメントを取得して保存します。

すべてのコードは次のとおりです:

rree

import urllib.request
from bs4 import BeautifulSoup 
import time
def head():
 headers={
 &#39;User-Agent&#39;:&#39;Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0&#39;
 }
 return headers
def parse_url(url):
 hea=head()
 resposne=urllib.request.Request(url,headers=hea)
 html=urllib.request.urlopen(resposne).read().decode(&#39;gb2312&#39;)
 return html
def url_s():
 url=&#39;http://www.w3school.com.cn/jquery/index.asp&#39;
 html=parse_url(url)
 soup=BeautifulSoup(html)
 me=soup.find_all(id=&#39;course&#39;)
 m_url_text=[]
 m_url=[]
 for link in me:
  m_url_text.append(link.text)
  m=link.find_all(&#39;a&#39;)
  for i in m:
   m_url.append(i.get(&#39;href&#39;))
 for i in m_url_text:
  h=i.encode(&#39;utf-8&#39;).decode(&#39;utf-8&#39;)
  m_url_text=h.split(&#39;\n&#39;)
 return m_url,m_url_text
def xml():
 url,url_text=url_s()
 url_jque=[]
 for link in url:
  url_jque.append('http://www.w3school.com.cn/'+link)
 return url_jque
def xiazai():
 urls=xml()
 i=0
 for url in urls:
  html=parse_url(url)
  soup=BeautifulSoup(html)
  me=soup.find_all(id='maincontent')
  with open(r'%s.txt'%i,'wb') as f:
   for h in me:
    f.write(h.text.encode('utf-8'))
    print(i)
  i+=1
if __name__ == '__main__':
 xiazai()

ログイン後にコピー

結果