Python3 がリクエスト パッケージを使用して Web ページのソース コードをキャプチャして保存する方法の概要

この記事の例では、Python3 が request パッケージを使用して Web ページのソース コードを取得して保存する方法を説明します。参考のために皆さんと共有してください。詳細は次のとおりです:

Python 3 のリクエスト モジュールを使用して Web ページのソース コードを取得し、ファイルに保存します 例:

import requests
html = requests.get("http://www.baidu.com")
with open('test.txt','w',encoding='utf-8') as f:
 f.write(html.text)

これは基本的なものですファイル保存操作ですが、注目すべき問題がいくつかあります:

1. コマンドラインに pip install リクエストを入力して、自動的にインストールします。多くの人はリクエストの使用を推奨しています。組み込みの urllib.request は Web ページのソース コードをキャプチャすることもできます

2。open メソッドのエンコーディング パラメータを utf-8 に設定すると、保存されたファイルが文字化けします。

3. キャプチャした内容を cmd で直接出力すると、さまざまなエンコードエラーが表示されるため、表示用にファイルに保存します。

4. with open メソッドは、操作の完了後にリソースを自動的に解放できる、より良い記述方法です。

別の例:

import requests
ff = open('testt.txt','w',encoding='utf-8')
with open('test.txt',encoding="utf-8") as f:
 for line in f:
 ff.write(line)
ff.close()

これは、txt ファイルを一度に 1 行ずつ読み取り、別の txt ファイルに保存する例です。

コマンドラインで1行ずつ読み取ったデータを印刷すると中国語のエンコードエラーが発生するので、1行ずつ読み込んで別ファイルに保存して正常に読み込めるかテストしてください。 (開くときにエンコード方法が指定されることに注意してください)

Python3 がリクエスト パッケージを使用して Web ページのソース コードをキャプチャして保存する方法の詳細については、PHP 中国語 Web サイトの関連記事に注目してください。