Python - Scrapy によってスクレイピングされたデータはパイプラインに表示できません

データはscrapyでキャプチャされ、キャプチャされます。パイプラインに戻すことはできますが、効果はありません。結果を印刷できません。問題を解決するにはどうすればよいですか?

我想大声告诉你 2017-05-18 10:57:53 0  2  797

javascript - ページ上に大量のデータがある場合、phantomjs を使用してページをクロールすると、ページをクロールできないのはなぜですか?

タオバオの検索ページをクロールしたいのですが、jsレンダリングで生成されたページなので、phantomjsでクロールすることにします。しかし、取得プロセス中に問題が発生しました。検索結果が3件以上ある場合はデータを取得できません。ただし、スクリーンショットでは、データが正常に読み込まれていることがわかります。タオバオに制限があるかどうかはわかりません...

習慣沉默 2017-07-05 10:50:52 0  1  872

Web ページはどのようにデータベースに接続して情報を取得するのでしょうか?

Web ページにはボタンと入力ボックスがあり、ボタンをクリックしてデータベースに接続して情報を取得し、Web ページ上の入力ボックスに情報を返します。初心者なのですが、参考になる情報源はありますか？

神秘人 2020-12-21 19:45:07 0  1  1123

javascript - ajax、フロントエンドjqによってキャプチャされたデータの安全な処理について

ajaxとデータソースに関しては、私は通常jqnotesを使用して、要素にポストする必要がある値を直接スローして取得します。このように、ブラウザコンソールを使用してページ属性を変更すると、ajaxポストの値も変更されます。バックエンドでphpを使って本人かどうか判断しているのですが…。

漂亮男人 2017-05-16 13:16:33 0  1  433

Python - Fiddler+Android エミュレータはアプリをキャプチャします。json データは暗号化されています。それを解析するにはどうすればよいですか?

質問: Shanxi Window APP をクロールしようとすると、JSON データが直接の JSON 構造ではないことがわかりました。元のコンテンツを解析する方法はありますか? リクエスト レスポンス いくつかの情報を確認したところ、一部の企業は APP I の両端で送信されるデータを暗号化するようです。

PHPz 2017-05-16 13:31:23 0  2  1338

phpはWebページのデータをクロールします

Baidu テイクアウト販売者の Web ページ https://wmpass.baidu.com/ucen... をクロールするなどのニーズがありますが、この Web ページはモジュラー フロントエンド フレームワークを使用して記述されており、ソースを表示すると一部しか表示されませんレンダリング前のソース コード、以前取得していたクエリリストはページのレンダリング後ではありません...

PHP中文网 2017-05-24 11:34:27 0  1  860

javascript - フロントエンドからバックエンドインターフェイスを呼び出すために、ajax の他に何を使用できますか?

同社はモバイル公式 Web サイトを構築したいと考えていますが、(他のユーザーのデータを取得するために) インターフェイスを呼び出すために ajax を使用することはできません。他に何が使用できるでしょうか? ? ? Baidu はデータを取得するために何を使用しますか?

仅有的幸福 2017-06-30 09:57:52 0  4  1114

「現在のテーブル」にレコードが存在しない場合にのみ、「new_table」への Scrapy INSERT

ウェブサイトのスクレイピングを試してみました。現在のデータベーステーブルからデータを正常にスクレイピングしました。しかし、「現在のテーブル」にレコードが存在しない場合にのみ「new_table」を挿入したいのですが、私のコードは（パイプライン）table='products' table2='new_products'`defsave(self,row):cursor=self.cnx.cursorです。 ()cursor.execute("SELECTDISTINCTproduct_idFROMpr

P粉122932466 2024-03-29 19:36:16 0  1  369

Heroku では、Puppeteer の実行を 3 回のみに制限しています

私は、puppeteer を使用して別の Web サイトからデータをスクレイピングする Web サイトを開発しています。ローカルマシン上で npm サーバーを実行すると、データは問題なくスクレイピングされますが、これを Heroku にデプロイすると、探している最初の 3 つのファイルのみが実行され、その後停止します。基本的に学校の Web サイトからクラスに関するデータをスクレイピングしたいので、for ループでこの行 letdata=await クローラ.scrapeData(classesTaken[i].code) を実行し、以下の関数を実行します。

P粉986860950 2024-04-02 19:49:08 0  1  623

Python クローラーの専門家の皆様、この Web サイトを参照して、アンチクローリングに対処する方法を確認してください。

https://www.every Saving.co.uk は Python を通じてこの Web サイトのデータをクロールしますが、データは返されません。クロールするためにヘッダーとプロキシ IP を追加しましたが、機能しませんでした。ぜひ試してみてください。 。 。

曾经蜡笔没有小新 2017-05-18 11:01:00 0  4  750

HTML DOM の結果を MySQL データベースに保存する

スクレイピングしたデータをデータベースに保存しようとしています。結果を出力するだけなので、クローリングは正常です。しかし、変数を定義して mysql-insert に渡す際に間違いなくエラーがあります。 「新しいレコードが正常に作成されました」というメッセージが表示されます。変数の結果は空ですが、日付は存在します。 <?php$html=file_get_contents('https://www.marketwatch.com/market-data/us?mod=market-data-center');$

P粉549986089 2023-09-15 23:41:06 0  1  540

如何安全转移mongodb集合的collection和index文件以腾出空间

单机环境下使用mongodb缓存爬虫抓取的网页的源码，没有复制集、分片等，使用mongodb纯粹为了取用方便并提升存储效率。现在一个collection占用了50多G的空间，已将数据提取完毕，短期内不会用到它了，但抓取下来十...

大家讲道理 2017-05-02 09:24:50 0  2  705

Scrapy: カスタム列設定を使用して CSV に保存するためのガイド

つまり、基本的にはWebからデータをスクレイピングしており、プロジェクトファイルをメインのスパイダーファイルにインポートしています。データを取得してコンテナーに保存し、CSV として保存すると、リンクされた列が常に CSV の最初の列になります。カスタム列の位置を設定するにはどうすればよいですか? pName=response.css('#search.a-size-medium').css('::text').extract()pPrice=response.css('#search.a-pric

P粉576184933 2024-04-04 14:01:17 0  1  370

Pythonはx番目の列のデータをx番目のファイルに書き込みます

Python クローラーは合計 65 ページのデータをクロールする必要がありますが、データの各ページの列数は不明です。これで各列のデータを取り込むことができましたが、列数が不確かなので書き込まれたファイル名がわかりません。問題は、x 列目のデータを x 番目のファイルに書き込む方法です。つまり、file=...を動的に選択する方法です。

漂亮男人 2017-06-12 09:23:40 0  1  749

WeChat $data =file_get_contents('php://input') はデータを取得できず、パケットをキャプチャできません

$タイムスタンプ = $_GET['タイムスタンプ']; $nonce = $_GET["nonce"]; $msg_signature = $_GET['msg_signature']; &nbsp

手机用户1576494449 2020-01-02 15:56:29 0  2  916

javascript - モバイル選択プラグインですが、データはそれ自体で定義されます

右のエフェクトと似ていますが、中のデータがカスタマイズされています。まずモバイル端末のエフェクトです。次にリストがたくさんあります。写真に応じてエフェクトを表示するには、データを次のようにすることができます。バックグラウンドから取得したデータ。

PHP中文网 2017-06-14 10:54:06 0  2  609

PHP ストレージ データベースの効率に関する問題

プログラム 1: for($i=0;$<100;$++){データベースに接続します。select を実行して値を進めます。データベースから切断します。データベースに接続します。updata を 1 回実行してデータを保存します。データベースから切断します。データベース;} プログラムの実行 1.5～2 秒程度かかります プログラム 2: データベースに接続します; for($i=0;$i<100;$i++){select を 1 回実行; update を 1 回実行; }データベースを切断します接続; 実行には 0.05 ～ 0.09 秒かかります 重要なのは、ストアド データベ...

八哥 2023-09-22 22:46:18 0  0  848

Python - Scrapy ItemLoader データのクリーニングに関する質問

Scrapy を使用してデータをキャプチャする場合は、itemloader クラスを使用します。セレクターで取り出した値が空の場合は、scrapy.Field() を入力し、filter() を呼び出します。セレクターの値が空でない場合は、確かに「値付き」を返します。 "。セレクターが [] または "" から取り出された場合、値が filter() に入った後は、そうではありません。

PHPz 2017-05-27 17:39:47 0  1  1123

div が存在しない場合は BeautifulSoup を使用してデータを抽出します

数千の HTML ファイルまたはサイト データからテーブル データを抽出しようとしていますが、テーブルにはこれを簡単にする div がありません。また、Beautifulsoup は初めてです。現在、CSV に変換されたすべての HTML を手動で編集し、データベースに入れてテーブルを作成していますが、むしろ既に持っているものをそのまま取得したいと考えています。 <<bodystyle="margin-top:140px;"><divid="containe

P粉818306280 2024-02-26 16:22:47 0  1  439

PHP Excelエクスポートの効率を上げる方法

phpexcel エクスポートの効率を向上させる方法 (注: cvs 形式は無視できます。このエクスポートにはセルを操作する操作があります) 今考えているのは、SQL の最適化にデータ詳細のインターフェイスが追加され、データを取得することです。これをループするデータの ID 配列 プロジェクト詳細インターフェイスは必要なフィールドを取得しますが、現時点ではわかりません...

欧阳克 2017-06-14 10:49:59 0  4  1241