Python - Scrapy のシミュレートされたログインで 404 問題が発生する

Question

Python を使用して Web サイトへのログインをシミュレートしていると、404 の問題が繰り返し発生します。アドバイスをお願いします。

＃＃＃コード＃＃＃

-

- コーディング: utf-8 -

- importscrapy

fromscrapy.httpインポートリクエスト、FormRequest

fromscrapy.selectorインポートセレクター

クラス StackSpiderSpider(scrapy.Spider):

リーリー

デバッグ情報

2017-04-18 11:19:23 [scrapy.utils.log] 情報: Scrapy 1.3.3 が開始されました (ボット: text5)

2017-04-18 11:19:23 [scrapy.utils.log] 情報: 上書きされた設定: {'NEWSPIDER_MO
DULE': 'text5.spiders', 'SPIDER_MODULES': ['text5.spiders'], 'BOT_NAME': 'text5'
}
2017-04-18 11:19:23 [scrapy.middleware] 情報: 有効な拡張機能:
['scrapy.extensions.logstats.LogStats',
'scrapy.extensions.telnet.TelnetConsole',
'scrapy.extensions.corestats.CoreStats']
2017-04-18 11:19:24 [scrapy.middleware] 情報: 有効になったダウンローダー ミドルウェア:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware' ,
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
'scrapy.downloadermiddlewares.retry. RetryMiddleware',
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
'scrapy.downloadermiddlewares. cookies.CookiesMiddleware',
'scrapy.downloadermiddlewares.stats.DownloaderStats']
2017-04-18 11:19:24 [scrapy.middleware] 情報: 有効なスパイダー ミドルウェア:
['scrapy.spidermiddlewares .httperror.HttpErrorMiddleware',
'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
'scrapy.spidermiddlewares.referer.RefererMiddleware',
'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
'scrapy .spidermiddlewares. Depth.DepthMiddleware']
2017-04-18 11:19:24 [scrapy.middleware] 情報: 有効なアイテム パイプライン:
[]
2017-04-18 11:19:24 [scrapy.core.engine] 情報: Spider がオープンしました
2017-04-18 11:19:24 [scrapy.extensions.logstats] 情報: 0 ページをクロールしました (0 pag
es/min)、スクレイピングされました 0 ページアイテム (0 アイテム/分)
2017-04-18 11:19:24 [scrapy.extensions.telnet] デバッグ: Telnet コンソール リスニング o
n 127.0.0.1:6023
2017-04- 18 11:19:24 [scrapy.core.engine] デバッグ: クロール済み (200) <GET https://stack
overflow.com/users/login> (参照者: なし)
1145f3f2e28e56c298bc28a1a735254b

2017-04-18 11:19:25 [scrapy.core.engine] デバッグ: クロール済み (404) <GET https://stack
overflow.com/search?q=&ssrc=&openid_username=&oauth_server =&oauth_version=&fkey=
1145f3f2e28e56c298bc28a1a735254b&password=wanglihong1993&email=1067863906@qq.c
om&openid_identifier=> (参照者: https://stackoverflow.com/use...
2017-04-18 11:19:25 [scrapy.spidermiddlewares.httperror] 情報: 応答を無視しています
<404 https://stackoverflow .com/sea...
auth_version=&fkey=1145f3f2e28e56c298bc28a1a735254b&password=wanglihong1993&emai
l=1067863906@qq.com&openid_identifier=>: HTTP ステータス コードが処理されないか、許可されません
2017-04 -18 11:19:25 [scrapy.core.engine] 情報: スパイダーを閉じる (完了)
2017-04-18 11:19:25 [scrapy.statscollectors] 情報: Scrapy 統計のダンプ:
{' downloader/request_bytes': 881,
'downloader/request_count': 2,
'downloader/request_method_count/GET': 2,
'downloader/response_bytes': 12631,
'downloader/response_count' : 2,
'downloader/response_status_count/200': 1,
'downloader/response_status_count/404': 1,
'finish_reason': 'finished',
'finish_time': datetime.datetime (2017、4、18、3、19、25、143000),
'log_count/DEBUG': 3,
'log_count/INFO': 8,
'request_ Depth_max': 1,
'response_received_count': 2,
'スケジューラー/デキュー': 2,
'スケジューラー/デキュー/メモリ': 2,
'スケジューラー/エンキュー': 2,
'スケジューラー/エンキュー/メモリ': 2,
'start_time': datetime.datetime(2017, 4, 18, 3, 19, 24, 146000)}
2017-04-18 11:19:25 [scrapy.core.engine]情報: スパイダーは閉店しました (終了しました)

Answer 1

お兄さん、パスワードが漏洩しました