SeimiAgent -- QtWebkit_html/css_WEB-ITnose に基づく一般的な Web ページ レンダリング エージェント サービス

seimiAgent

SeimiAgent は、QtWebkit に基づいて開発された Webkit サービスで、サーバー側のバックグラウンドで実行できます (ロードする URL と(このページで受け入れられるレンダリング時間)、または使用するエージェントやその他のパラメーター)、seimiAgent を使用して、処理する動的ページをロードしてレンダリングし、レンダリングされたページを後続の処理のために呼び出し元に直接返します。 SeimiAgent の読み込みおよびレンダリング環境はユニバーサル ブラウザ レベルであるため、動的ページを処理する能力について心配する必要はありません。現在、seimiAgent は、レンダリングされた HTML ドキュメントを返すことのみをサポートしています。将来的には、より多様な使用ニーズを促進するために、イメージ スナップショットと PDF のサポートが追加される予定です。

プロジェクトホスティング

GitHub SeimiAgent

ダウンロード

現在、次の 2 つのプラットフォームのバイナリ バージョンのメンテナンスと更新のみをサポートしています

• Centos6 x64

• ubuntu x 64

• window7 x64 experience package

クイックスタート

cd /dir/of/seimiAgent./SeimiAgent -p 8000

コマンドの実行後、seimiAgent は http サービスを開始し、指定したポート (例ではポート 8000 など) をリッスンします。使い慣れた方法を使用してください。 この言語は、seimiAgent のようなページ読み込みレンダリング リクエストを送信し、後続の処理のために SeimiAgent によってレンダリングされた HTML ドキュメントを取得します。

サポートされている http パラメーター

投稿リクエストのみをサポート

• URL ターゲット リクエスト アドレス、必須

• renderTime は、非常に複雑な場合、すべてのリソースが読み込まれた後に SeimiAgent がレンダリングして処理するまでの残り時間です 動的ページの場合、この時間は使用状況に応じて調整されるため、さらに時間がかかる場合があります。オプション

• プロキシは、使用するプロキシを SeimiAgent に指示します。オプション、形式: http|https|socket://user:passwd@host:port

• postParam パラメータは、Json 形式の値のみを受け入れます。フォームはキーと値のペアであり、このリクエストが投稿であり、指定したパラメータを使用することを SeimiAgent に伝えます。

• useCookie Cookie を使用するかどうか。1 に設定すると、Cookie が使用されます

ビルド方法

このプロセスは時間がかかりますが、必要と思われる場合は、一般的に を使用することをお勧めします。 1 つのバイナリ実行可能ファイルを公開しました

依存関係

ubuntu 上

sudo apt-get install build-essential g++ flex bison gperf ruby perl libsqlite3-dev libfontconfig1-dev libicu-dev libfreetype6 libssl-dev libpng-dev libjpeg-dev python libx11-dev libxext-dev

centos 上

yum -y install gcc gcc-c++ make flex bison gperf ruby openssl-devel freetype-devel fontconfig-devel libicu-devel sqlite-devel libpng-devel libjpeg-devel

実行

python build.py

ダウンロード最初に github から取得します）これら 2 つの依存関係は qtbase と qtwebkit です。後で時間があれば、qtbase と qtwebkit を国内のウェアハウスにコピーします。4 コア I5 の場合は約 30 分かかります。通常は約 2 時間かかります。シングルコアのクラウド ホストの場合、コンパイルは 16 コア以上のサーバーでは平均的に 10 分以内です

さらに

さらに多くのドキュメントを準備中です。seimi ファミリー (seimiCrawler、seimiAgent) をサポートしていただきありがとうございます