最後に、リダイレクトされたファイルのダウンロード、大きなファイルのダウンロード、マルチスレッド ダウンロードの完了、その他の戦略など、遭遇する可能性のあるさまざまな課題を克服する方法を学びます。
リクエスト モジュールを使用して、URL からファイルをダウンロードできます。
次のコードを考えてみましょう:
要求モジュールの get メソッドを使用して URL を取得し、その結果を「myfile」という変数に保存するだけです。真ん中。次に、この変数の内容をファイルに書き込みます。
#Python の wget モジュールを使用して、URL からファイルをダウンロードすることもできます。次のコマンドで pip を使用して wget モジュールをインストールできます。
次のコードを考えてみましょう。これは、Python のロゴ イメージをダウンロードするために使用します。
このコードでは、URL とパス (画像が保存される場所) が wget モジュールの download メソッドに渡されます。
このセクションでは、.pdf ファイルの URL で別の URL にリダイレクトされる URL からファイルをダウンロードするリクエストを使用する方法を学習します。 。 URL は次のようになります:
この段落内コードでは、最初のステップとして URL を指定します。次に、リクエスト モジュールの get メソッドを使用して URL を取得します。 get メソッドで、allow_redirects を True に設定します。これにより、URL でのリダイレクトが許可され、リダイレクトされたコンテンツが変数 myfile に割り当てられます。
最後に、ファイルを開いて、取得したコンテンツを書き込みます。
まず、リクエスト モジュールの get を次のように使用します。 beforeメソッドですが、今回はstreamプロパティをTrueに設定します。
次に、現在の作業ディレクトリに PythonBook.pdf という名前のファイルを作成し、書き込み用に開きます。
次に、毎回ダウンロードするチャンク サイズを指定します。これを 1024 バイトに設定し、各チャンクを反復処理して、チャンクの終わりまでそれらのチャンクをファイルに書き込みました。
これは美しいと思いませんか? 心配しないでください。後でダウンロード プロセスの進行状況バーが表示されます。
ファイルのダウンロードにかかる時間を確認するために、os および time モジュールをインポートしました。 ThreadPool モジュールを使用すると、プールを使用して複数のスレッドまたはプロセスを実行できます。
応答を分割してファイルに送信する簡単な関数を作成しましょう。
前のセクションで行ったのと同じように、この URL を request.get に渡します。最後に、ファイル (URL で指定されたパス) を開いて、ページのコンテンツを書き込みます。
これで、各 URL に対してこの関数を個別に呼び出すことも、すべての URL に対してこの関数を同時に呼び出すこともできます。タイマーに注目して、for ループ内で URL ごとにこの関数を個別に呼び出してみましょう:
スクリプトを実行します。
プログレス バーは、clint モジュールの UI コンポーネントです。次のコマンドを入力して clint モジュールをインストールします。
このコードでは、まず、requests モジュールがインポートされ、次に clint.textui から progress コンポーネントをインポートします。唯一の違いは for ループです。コンテンツをファイルに書き込むときは、プログレス バー モジュールの bar メソッドを使用します。
このセクションでは、urllib を使用して Web ページをダウンロードします。
urllib ライブラリは Python の標準ライブラリであるため、インストールする必要はありません。
ここで、ファイルの保存対象と保存先の URL を指定します。保管します。
このコードでは、urlretrieve メソッドを使用して、ファイルの URL とファイルを保存するパスを渡します。ファイル拡張子は .html になります。
プロキシを使用してファイルをダウンロードする必要がある場合は、urllib モジュールの ProxyHandler を使用できます。次のコードを見てください:
このコードでは、プロキシ オブジェクトを作成し、urllib の build_opener メソッドを呼び出してプロキシ オブジェクトを渡してプロキシを開きます。次に、ページを取得するリクエストを作成します。
さらに、公式ドキュメントで説明されているように、request モジュールを使用することもできます:
request モジュールをインポートしてプロキシを作成するだけです。物体。その後、ファイルを取得できます。
urllib3 は、urllib モジュールの改良版です。 pip を使用してダウンロードしてインストールできます。
urllib3 を使用して Web ページを取得し、テキスト ファイルに保存します。
ファイルを処理するときは、shutil モジュールを使用します。
次に、必要な接続プールを追跡する urllib3 の PoolManager を使用します。
最後に、GET リクエストを送信して URL を取得し、ファイルを開きます。次に、ファイルへの応答を書き込みます:
Amazon S3 からファイルをダウンロードするには、Python boto3 を使用できます。モジュール。
To Amazon S3 からファイルをダウンロードするには、boto3 と botocore をインポートする必要があります。 Boto3 は、Python が Amazon ウェブ サービス (S3 など) にアクセスできるようにする Amazon SDK です。 Botocore は、アマゾン ウェブ サービスと対話するためのコマンド ライン サービスを提供します。
Botocore には awscli が付属しています。 boto3 をインストールするには、次のコマンドを実行します:
次に、セッションのリソースを使用するために変数を初期化します。これを行うには、boto3 の resource() メソッドを呼び出して、サービス (s3:
) を渡します。最後に、download_file メソッドを使用してファイルをダウンロードし、渡します。変数:
asyncio モジュールは主にシステム イベントを処理するために使用されます。これは、イベントの発生を待機してからそのイベントに反応するイベント ループを回避します。その反応として、別の関数を呼び出すことができます。この処理をイベント処理と呼びます。 asyncio モジュールは、イベント処理にコルーチンを使用します。
asyncio イベント処理とコルーチン機能を使用するには、asyncio モジュールをインポートします:
次に、asyncio コルーチン メソッドを次のように定義します:
キーワード async は、これがネイティブの asyncio コルーチンであることを示します。コルーチン内には、特定の値を返す await キーワードがあります。 return キーワードを使用することもできます。
ここで、コルーチンを使用して Web サイトからファイルをダウンロードするコードを作成しましょう:
このコードでは、非同期コルーチン関数を作成します。これにより、ファイルがダウンロードされ、メッセージが返されます。
次に、別の非同期コルーチンを使用して main_func を呼び出します。このコルーチンは URL を待機し、すべての URL をキューに入れます。 asyncio の wait 関数は、コルーチンが完了するまで待機します。
コルーチンを開始するには、asyncio の get_event_loop() メソッドを使用してコルーチンをイベント ループに配置する必要があります。最後に、asyncio の run_until_complete() メソッドを使用してイベント ループを実行します。
Python を使用してファイルをダウンロードするのは楽しいです。このチュートリアルがお役に立てば幸いです!
以上がPython を使用してダウンロードされた 11 の姿勢。それぞれ前回よりも高度ですの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
