SeimiAgent -- QtWebkit_html/css_WEB-ITnose に基づく Web ページ レンダリング サービス

seimiAgent

SeimiAgent は、QtWebkit に基づいて開発された Webkit サービスであり、サーバー側のバックグラウンドで実行でき、seimiAgent が提供する http インターフェースを通じてロード リクエストを SeimiAgent に送信できます。 (ロード URL と、このページで受け入れられるレンダリング時間や使用するプロキシなどのパラメータが必要)、seimiAgent を使用して、処理する動的ページをロードしてレンダリングし、レンダリングされたページを後続の処理のために呼び出し元に直接返します。 SeimiAgent の読み込みおよびレンダリング環境はユニバーサル ブラウザ レベルであるため、動的ページを処理する能力について心配する必要はありません。現在、seimiAgent は、レンダリングされた HTML ドキュメントを返すことのみをサポートしています。将来的には、より多様な使用ニーズを促進するために、イメージ スナップショットと PDF のサポートが追加される予定です。

ダウンロード

現在、次の 2 つのプラットフォームのバイナリ バージョンのメンテナンス アップデートのみがサポートされています。他のプラットフォームは一時的に独自にコンパイルおよびビルドする必要があります。

• Centos6 x64

• ubuntu x64

• window7 x64 エクスペリエンス パッケージ

クイック スタート

cd /dir/of/seimiAgent./SeimiAgent -p 8000

コマンドを実行すると、seimiAgent は http サービスを開始し、指定したポート (例ではポート 8000 など) をリッスンします。その後、任意の言語を使用してページの読み込みとレンダリングのリクエストを送信できます。 SeimiAgent などに精通しており、後続の処理のために SeimiAgent によってレンダリングされた HTML ドキュメントを取得します。

例

サポートされている http パラメーター

ポストリクエスト、リクエストアドレス/doload のみをサポート

• urlターゲット リクエスト アドレス、必須

• renderTime すべてのリソースがロードされた後に SeimiAgent がレンダリングして処理するまでの残り時間 非常に複雑な動的ページの場合、この時間が少し長く必要になる場合があります。 、用途に応じて。オプション、単位はミリ秒です。

• プロキシは、使用するプロキシを SeimiAgent に指示します。オプション、形式: http|https|socket://user:passwd@host:port

• postParam このパラメータは Json 形式の値のみを受け入れます。値はキーと値のペアの形式であり、このリクエストが post であることを SeimiAgent に伝え、指定したパラメータを使用します。

• useCookie Cookie を使用するかどうか、1 に設定すると Cookie を使用します

ビルド方法

このプロセス長時間必要と思われる場合は、リリースされたバイナリ実行可能ファイル

dependency

• ubuntu<🎜 を使用することを一般的にお勧めします>

sudo apt-get install build-essential g++ flex bison gperf ruby perl libsqlite3-dev libfontconfig1-dev libicu-dev libfreetype6 libssl-dev libpng-dev libjpeg-dev python libx11-dev libxext-dev

• centos on

yum -y install gcc gcc-c++ make flex bison gperf ruby openssl-devel freetype-devel fontconfig-devel libicu-devel sqlite-devel libpng-devel libjpeg-devel

実行

python build.py

待ってください、国内ネットワークが良くない場合は、最初からやり直す必要があるかもしれません（最初にgithubからqtbaseとqtwebkitの2つの依存関係をダウンロードする必要があるため。時間があれば、qtbaseとqtwebkitを国内の倉庫にコピーします）。 4 コア I5 の場合は 30 分以上かかります。シングルコアのクラウド ホストは通常​​約 2 時間かかり、16 コア以上のサーバーは通常 10 分以内にコンパイルされます。

詳細

さらなるドキュメントはまだ準備中です。 Seimi ファミリー (seimiCrawler、seimiAgent ) をサポートしていただきありがとうございます。