Python クローラーフレームワーク Scrapy をインストールして使用する手順-Python チュートリアル-php.cn

Python クローラーフレームワーク Scrapy をインストールして使用する手順

WBOY

リリース： 2016-06-16 08:44:41

オリジナル

1139 人が閲覧しました

1. クローラーフレームワーク Scarpy の紹介
Scrapy は、Web サイトをクロールし、Web サイトのページから構造化データを取得する、高速で高レベルの画面スクレイピングおよび Web クローラーフレームワークです。監視と自動テストについては、Scrapy は完全に Python で実装されており、コードは Github でホストされており、ネットワーク通信を処理するための Twisted の非同期ネットワークライブラリに基づいて Linux、Windows、Mac、BSD プラットフォームで実行できます。ユーザーは開発をカスタマイズするだけで済みます。いくつかのモジュールで、Web コンテンツやさまざまな画像をクロールするクローラーを簡単に実装できます。

2. Scrapy インストールガイド

インストール手順では、次のコンテンツがすでにインストールされていることを前提としています: <1>Python2.7<2>lxml<3>OpenSSL Scrapy をインストールするには、Python のパッケージ管理ツール pip または easy_install を使用します。
Pip インストール方法:

コードをコピーコードは次のとおりです:

pip install Scrapy
easy_install インストールメソッド:

コードをコピーコードは次のとおりです:

easy_install Scrapy

3. Ubuntu プラットフォームでの環境設定

1. Python パッケージ管理ツール
現在のパッケージ管理ツールチェーンは easy_install/pip + distribution/setuptools
distutils: 非常に単純なアプリケーションシナリオに適した Python 独自の基本インストールツールです。 distutils には多くの拡張機能が作成されており、特にパッケージの依存関係メカニズムが一部の Python サブコミュニティで事実上の標準になっています。
distribute: setuptools の開発の進行が遅いため、Python 3 はサポートされていません。コードは混乱しており、setuptools を置き換えて公式の標準ライブラリとして受け入れられることを望んでいるプログラマが、コードを最初からリファクタリングし、関数を追加するのに役立ち、短期間でコミュニティに setuptools/distribute のみの配布を受け入れさせました。 distutils;
easy_install: setuptools と distribution に付属するインストールスクリプト。つまり、setuptools または distribution がインストールされると、easy_install も自動的に検出されます。これは、Python によって公式に保守されているパッケージソースです。サードパーティの Python パッケージをインストールするのに非常に便利です。
pip を使用します。pip の目的は非常に明確です。easy_install には多くの欠点があります。インストールトランザクションは非アトミックな操作であり、サポートされるのはsvn はアンインストールコマンドを提供せず、一連のパッケージをインストールするときにスクリプトを作成する必要があります。pip は上記の問題を解決し、新しい事実上の標準となった virtualenv は優れたパートナーとなっています。
インストールプロセス:

インストール、配布

コードのコピーコードは次のとおりです: $curl -O http:/ /python-distribute.org/distribute_setup.py $ python distribution_setup.py

pip をインストールします:

コードをコピーしますコードは次のとおりです次のように: $curl -O https://raw.github.com/pypa/pip/master/contrib/get-pip.py $ [sudo] python get-pip.py

2. Scrapy のインストール Windows プラットフォームでは、パッケージ管理ツールを使用するか、さまざまな依存バイナリパッケージを手動でダウンロードできます: pywin32、Twisted、zope.interface、lxml、pyOpenSSL (Ubuntu9.10 以降のバージョン) Ubuntu が提供する python-scrapy パッケージは最新の Scrapy に適合するには古すぎるか、遅すぎるため、使用しないことが公式に推奨されています。解決策は、すべての依存ライブラリを提供し、最新の Scrapy に適した公式の Ubuntu パッケージを使用することです。バグは継続的な更新と高い安定性を提供します。Ubuntu 9.10 以降のバージョンでの Scrapy のインストール方法は次のとおりです。

コードをコピーコードは次のとおりです:sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 - -recv 627220E7

/etc/apt/sources.list.d/scrapy.list ファイルを作成

コードをコピーコードは次のとおりです:echo 'deb http://archive.scrapy.org/ubuntuscrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list

<3> ;パッケージリストを更新し、scrapy バージョンをインストールします。VERSION は、scrapy-0.22 などの実際のバージョンに置き換えられます

コードをコピーしますコードは次のとおりです: sudo apt-get update && sudo apt-get installscrapy-VERSION

3. Scrapy 依存ライブラリのインストールubuntu12.04 での Scrapy 依存ライブラリのインストール

インポートエラー: w3lib.http という名前のモジュールがありません

コードをコピーしますコードは次のとおりです: pip install w3lib

ImportError: No module namesTwisted

コードをコピーコードは次のとおりです。 pip installTwisted

ImportError: No module names lxml.html

Copy codeコードは次のとおりです:pip install lxml
解決策: エラー: libxml/xmlversion.h: そのようなファイルまたはディレクトリはありません