リクエストを使ってマルチスレッドを書いたのですが、少し遅い気がします。他に方法はありますか？
Tornado の CURL クライアント サポートを使用して、リクエスト ヘッダーを読み取った後に接続を閉じます。 (私はまだ試していません。提供する HTTP クライアントが接続の途中で閉じることをサポートしていない場合は、TCP を使用し、http-parser を使用して私がやったように解析できます。)
実際には、fetchtitle に拡張機能を追加するだけでステータス コードを取得できます... (pycurl をインストールすることを忘れないでください)
Python は本質的に遅いので、高速にしたい場合は、TCP リクエストを直接書いて、ステータスを読んだ後、ソケットを閉じてください。
grequests を使用すると、リクエストは同時にカプセル化されます
https://github.com/kennethrei...
この場合、gevent、tornado、scrapy-redis、asyncio の使用を検討できます。
Headを使用してリクエストすると早くなりますか?
Head
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
Tornado の CURL クライアント サポートを使用して、リクエスト ヘッダーを読み取った後に接続を閉じます。 (私はまだ試していません。提供する HTTP クライアントが接続の途中で閉じることをサポートしていない場合は、TCP を使用し、http-parser を使用して私がやったように解析できます。)
実際には、fetchtitle に拡張機能を追加するだけでステータス コードを取得できます... (pycurl をインストールすることを忘れないでください)
Python は本質的に遅いので、高速にしたい場合は、TCP リクエストを直接書いて、ステータスを読んだ後、ソケットを閉じてください。
grequests を使用すると、リクエストは同時にカプセル化されます
https://github.com/kennethrei...
この場合、gevent、tornado、scrapy-redis、asyncio の使用を検討できます。
Headを使用してリクエストすると早くなりますか?