Scrapy が Web サイト全体のコンテンツをクロールしたい場合、コンテンツの抽出を開始する前に、すべてのページの URL をキューに入れる必要がありますか?

Scrapy が Web サイト全体のコンテンツをクロールしたい場合、コンテンツの抽出を開始する前に、すべてのページの URL をキューに入れる必要がありますか?

Laical 2020-04-30 16:05:00 0  0  1097

thinkphp で履歴書フォームを作成して完了状況の進行状況バーを表示する方法

1. 採用 Web サイトのプロジェクトでは、個人の履歴書ページが 7 つの小さなテーブルに分割されています。履歴書テーブル全体を完全にする方法はありますか? 2. テンプレートにどれだけの値を手動で入力すると、進捗状況が表示されますか? 3. これを実現するにはどのような方法を使用できますか。

迷茫 2017-05-16 13:16:20 0  1  676

React WebアプリケーションでローカルPDFファイルを表示するだけ

Reactweb アプリとして自分用のポートフォリオ Web サイトを作成しています。 Web サイトに履歴書のみを表示する履歴書ページを作成したいと考えています。最初にサイトの HTML バージョンを作成したとき、これを実現するために iframe を使用できました。これを React で試してみると、iframe には PDF ではなく、現在表示されているページのコピーが表示されます。ローカルに保存された PDF を Web アプリケーションで表示する簡単な方法はありますか?

P粉653045807 2024-02-25 14:56:23 0  2  528

Python が Selenium または PhantomJS を使用して動的 Web コンテンツをクロールする方法

Python を使用して株式の定量取引を行う場合、最初のステップは株式の履歴データを取得することです。 http://data.eastmoney.com/sto... Web ページにアクセスします。Web ページのソース コードを開くと、テーブル内のデータが表示されません。これは、ajax テクノロジーを使用して読み込まれていると言われています。 Selenium と phantomJS が使えるとインターネットで見たのですが...

黄舟 2017-05-18 11:01:14 0  3  1053

Django のハイチャート: Web ページ上にグラフの代わりに JSON データを表示する

そこで、Django の Highcharts を使用してローソク足チャートを作成しようとしていますが、Web ページにチャートを表示できず、代わりに取得したデータの JSON リストが表示されます。 iexcloud の API を使用して履歴データを取得しています。これが私のロジックです: view.py file: defcandlestick_chart_data(request):api_key='my_api_key'stock_data=get_historyal_data("AAPL&quo

P粉310931198 2024-04-02 10:06:09 0  1  535

Python - 次のページでカバーされている/JS によってレンダリングされた Web コンテンツをクロールするにはどうすればよいですか?

商品の現在の販売価格と、Web ページ上の対応する商品の ITEM_ID を抽出したいです: http://www.igxe.cn/h1z1/43385... 操作リクエストで PYTHON2.7 を使用しています。コードは次のとおりです。 { コード...} 取得したコード ファイルには、Web ページ上のほとんどの情報が含まれています。

PHPz 2017-05-18 10:55:01 0  1  1278

Python を使用して Web をスクレイピングしていますが、静的 (?) URL をどうすればよいかわかりません

この URL からデータを抽出する方法を学ぼうとしています: https://denver.coloradotaxsale.com/index.cfm?folder=auctionResults&mode=preview しかし、問題は、ページを切り替えようとすると、URL が抽出されないことです。変更がないので、列挙またはループする方法がわかりません。 Web ページには 3000 件の販売データ ポイントがあるため、より良い方法を探しています。これは私の開始コードです。非常に単純ですが、何か助けていただければ幸いです。

P粉293341969 2024-02-17 17:14:50 0  1  427

Python - Web ページのタイトルに改行が含まれていますが、正規表現を使用して改行を抽出するにはどうすればよいですか?

CSDN の Web クローラーとして Python を使用する場合、Web ページのタイトルをクロールするときは、CSDN では常に正規表現 (?<=\<title\>).+?(?=\<) を使用します。いや、CSDNのソースコードを見てみたら、タイトルが改行で表示されていて、本来の正規表現が使えなかったので、問題は…。

女神的闺蜜爱上我 2017-06-22 11:51:43 0  2  1060

mongodb コレクションのコレクションとインデックス ファイルを安全に転送してスペースを確保する方法

スタンドアロン環境では、mongodb は、クローラーによってキャプチャされた Web ページのソース コードをキャッシュするために使用されます。レプリカ セットやシャードなどはありません。Mongodb は、純粋に利便性とストレージ効率の向上のために使用されます。現在、コレクションは 50 G を超えるスペースを占有しており、データは抽出されました。短期的には使用されませんが、10 年間キャプチャされています。

大家讲道理 2017-05-02 09:24:50 0  2  777

「pip install」コマンドを解析して、インストールされているパッケージのテキストの範囲を取得します

私は、pipinstall コマンドを使用してインストールされた Python パッケージの名前と場所を抽出する必要があるプロジェクトに取り組んでいます。 Web ページには、複数行のテキストと bash コマンドを含むコード要素が含まれています。このテキストを解析して、テキスト内のパッケージとその場所を検索できる JS コードを作成したいと考えています。たとえば、テキストが次の場合: $pipinstallnumpypipinstall--global-optionbuild_ext-t../pandas>=1.0.0,<2sud

P粉431220279 2023-09-07 18:54:45 0  2  633

ドキュメントのロード時および要素のクリック時に JS 関数を実行します。

私が使用している商用 Web アプリケーションを拡張する Tampermonkey スクリプトを作成しようとしています。非常に基本的な意味では、特定の URL がページに表示されるので、URL から数値を抽出し、その数値を使用して新しいリンクを構築し、それを親要素に追加する必要があります。これまでのところ、これはありますが、要素をクリックしたとき（ページネーションは単なるULです）、またはドキュメントが読み込まれたときに機能しません。この関数は、ドキュメント内の任意の場所をクリックすると実行されるように設定されているかのように動作することがわかりました。 JS がページが読み込まれたことを報告...

P粉777458787 2023-09-15 14:26:54 0  1  700

リモート ウェアハウスを git に追加した後、プッシュできません

Alibaba Cloud ECS (CentOS7) を持っており、そこにプロジェクトを配置する必要がありますが、github を経由したくありません。リモート ウェアハウスをローカル git ウェアハウスに直接追加して、ECS に直接プッシュしたいと考えています。 。まず ECS にプロジェクト ディレクトリを作成し、ウェアハウスを初期化します。 $ git init added the Remote...

漂亮男人 2017-05-02 09:28:02 0  2  579

Objective-C のブロックと Swift のクロージャの違いは何ですか?

ブロックはOCのクロージャです。Swiftのクロージャとの違いは何ですか?

怪我咯 2017-05-02 09:28:03 0  1  676

github - git は特定のサフィックスを除くすべてのファイルを無視できますか

タイトルの通り、ignoreの補語に相当するのでしょうか？

PHPz 2017-05-02 09:28:04 0  1  816

object-c - この cas ファイルを偶然見ましたか?これはどのように書かれているか聞いてもいいでしょうか？

(www.sf.gg) は、中国を代表する開発者テクノロジー コミュニティです。 私たちは、プログラミング愛好家に純粋で高品質な技術交流プラットフォームを提供し、開発者と一緒に学び、コミュニケーションし、成長し、開発者の時代を作りたいと考えています。

巴扎黑 2017-05-02 09:28:04 0  1  553

bash での git 完了エラー

新しくインストールした Debian Bash で、sudo apt-get install git を使用してインストールした後、git の完了が異常に表示されます。 {code...} 部分は git revert と同様に通常のものです。ただし、補完項目が git a^[[m^[[Kdd であるため、git add などの大きな部分は正常に使用できません。 お願いします...

阿神 2017-05-02 09:28:05 0  2  764

UITableViewCell の継承の問題 - UITableViewCell の継承の問題

問題は次のとおりです。まず、xib を使用して、n 個のコントロールを含む UITableViewCell A を作成しました。次に、Aを継承するUITableViewCell Bを作成しました。ただし、B のすべてのコントロールは nil です。したがって、B を使用すると、A から継承したすべてのコントロールを表示できません。 ...

阿神 2017-05-02 09:28:06 0  0  560

git でリモート ブランチを復元する方法

今日は手が震えていましたが、 git Pushorigin :develop を使用して、ローカル トレース ライブラリの dev_local を削除しました (これは削除されていませんでした)。間違った支店。 リモートブランチを復元する方法を早急に解決策を探しています。緊急のお願いです。

PHPz 2017-05-02 09:28:08 0  2  644

Objective-c - 実際のデバイス テスト NSProgress が進行状況を出力しない

progress:^(NSProgress * _Nonnull UploadProgress) { NSLog(@"Progress- %f", UploadProgress.fractionCompleted);} 実機テスト中、このログは印刷できません。シミュレータでは正常に動作しますが、このブロックで中断されます。 . 全然止まらないのですがなぜでしょうか？

黄舟 2017-05-02 09:28:09 0  1  663

git ブランチの作成方法

フレームワークと、このフレームワークに依存する 2 つのプロジェクト (実際には 2 つのスクリプト プログラム) を作成しました。フレームワークはスクリプトのルート ディレクトリに配置する必要があります。現在、フレームワークとスクリプトを頻繁に変更する必要があります。 Git は 2 つのプロジェクトに対して 2 つの異なるブランチを作成できますか? 各ブランチで、フレームワークとそれぞれのブランチに対する最新の変更を確認できます。

高洛峰 2017-05-02 09:28:10 0  6  608