共有 蟧.gif＂ alt=＂スクリプト ホーム＂ />ホームページ Web 制作スクリプト コラム ネットワーク プログラミング データベース スクリプト ダウンロード CMS チュートリアル 電子ブック グラフィック デザイン Media_PHP チュートリアル

复制代码代码如下:

/**
* ホスト: www.icbase.com
 */
//set_time_limit(0);
// 基本関数
functioncurl_get($url, $data = array(), $header = array(), $timeout = 15, $port = 80, $reffer = '', $proxy = '')
{
$ch =curl_init();
if (!empty($ data)) {
$data = is_array($data)?http_build_query($data): $data;
$url .= (strpos($url,'?')? '&': "?") . $ data;
} curl_setopt（$ ch、curlopt_url、$ url）; ;
curl_setopt($ch, CURLOPT_PORT, $port);
curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // かどうか抓取ジャンプ转後の页面
$reffer &&curl_setopt($ch, CURLOPT_REFERER, $reffer);
if($proxy) {
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYPORT, 1723);
curl_setopt($ch, CURLOPT_PROXYUSERPWD,"andhm001:andhm123");
}

$result = array();
$result['result'] =curl_exec($ch);
if (0 !=curl_errno($ch)) {
$result['error'] = "エラー:n" 。 curl_error($ch);

}
curl_close($ch);
return $result;
}

复制代価

代価如下:

関数curl_post($url, $data = array(), $header = array(), $timeout = 5, $port = 80)
{
$ch =curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
//curl_setopt($ch, CURLOPT_PORT, $port);
!empty ($header) &&curl_setopt ($ch, CURLOPT_HTTPHEADER, $header);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);

$result = array();
$result['result'] =curl_exec($ch);
if (0 !=curl_errno($ch)) {
$result['error'] = "エラー:n" 。 curl_error($ch);

}
curl_close($ch);

return $result;
}

/**
* 一覧ページのHTMLソースコードを取得します
* @param string $keywords 検索キーワード
* @param int $page ページ番号
* @return boolean|array
*/
function getListHtml($keywords, $page=1)
{
if ($page < 0)
{
return false;
}
$page = $page == 0 ? 1 : intval($page);
if ($page == 1)
{
$result =curl_get('http://www.icbase.com/ProResult.aspx', array('ProKey' => $キーワード)));
if ( isset($result['error']) )
{
return false;
//exit($result['error']);
}
$result = $result['result' ];

// asp.net post 交数据
if(! 定義('__VIEWSTATE') && preg_match('/ {
define('__VIEWSTATE', $matches[1]);
} else {
return false;
}

if(! 定義('__PREVIOUSPAGE') && preg_match('/ {
define('__PREVIOUSPAGE', $matches[1]);
} else {
return false;
}

if(! 定義('__EVENTVALIDATION) ') && preg_match('/ {
define('__EVENTVALIDATION', $matches[1]);
} else {
return false;
}

return $result;
}
$data = array(
'__EVENTTARGET' = > 'ポケベル',
'__EVENTARGUMENT' => $page,
'__VIEWSTATE' => __ビューステート、
'__前のページ' => __前のページ、
'__EVENTVALIDATION' => __EVENTVALIDATION,
);
$result =curl_post('http://www.icbase.com/ProResult.aspx?ProKey=' . $keywords, $data);
if ( isset($result['error']) )
{
return false;
//exit($result['error']);
}
$result = $result['result'];
return $result;
}

/**
* リストページのURLをリンクで取得します
* @param string $html htmlソースコード
* @return array
*/
function getListHref($html)
{
$pattern = '/[sn]*< img.+[^>]/>/isU';
if (preg_match_all($pattern, $html, $matches))
{
return $matches[1];
} else {
// 没有マッチ项
return array();
}
}

/**
* 次のページ番号を取得します
* @param string $html html ソースコード
* @return number
*/
function getListNextPage($html)
{
$pattern = '/ ]>.+>/isU';
if (preg_match($pattern, $html , $matches))
{
return intval($matches[1]);
} else {
return -1;
}
}

/**
* リスト内のすべての href を取得します
* @param string $keywords キーワードを検索します
* @return boolean|array
*/
function getListHrefAll($keywords)
{
if (empty($keywords))
{
return false;
}

$html = getListHtml($keywords);
$hrefList = getListHref($html);
if (empty($hrefList))
{
// 没有结果
return array();
}
$nextPage = getListNextPage($html);
while ($nextPage > 0)
{
$html = getListHtml($keywords, $nextPage);
$tmpHrefList = getListHref($html);
$hrefList = array_merge($hrefList, $tmpHrefList);
$nextPage = getListNextPage($html);
}
$hrefList を返す;
}

/**
* 詳細ページの情報を取得します
* @param string $url URLアドレスまたはキャプチャしたHTMLソースコードは@see $is_urlに従って区別されます
* @param int $is_url 1はURLアドレス0を使用してHTMLソースを直接処理しますコード
* @return boolean|multitype:|multitype:string
*/
function getDetail($url, $is_url = 1)
{
if ( empty($url) )
{
return false;
}
$host = 'www.icbase. com';
$html = $url;
if ($is_url) {
$url = '/' . ltrim($url, '/');
$result =curl_get($host . $url);
if ( isset($result['error']) )
{
exit($result['error']);
}
$html = $result['result'];
}

$result = array(
'sup_part' => '', // サプライヤー モデル 'sup_id' => '', // サプライヤー ID 'mfg_part' => '', // メーカー モデル 'mfg_name' '' , // メーカー名
'cat_name' => '', // カテゴリ名
'para' => '', // 属性
'desc' => '', // 説明
'pdf_url' => ; '', // PDF アドレス
'sup_stock' => '', // 在庫
'min_purch' => '', // 最小注文数量
'price' => 'img_url' => '', // 画像アドレス
'createtime' => '', // 作成時刻
'datacode' => '', // バッチ番号
'package' = > '', //パッケージ
'page_url' => '', // ページアドレス
);

// mfg_part
$pattern = '/製品モデル if (preg_match($pattern, $html, $matches))
{
$result['mfg_part'] = トリム($matches[1]) ;
} else {
//この項目は存在せず、説明もどこにも見つかりません
return array();
}

// mfg_name
$pattern = '/製造元[sn] * (.+)/isU';
if (preg_match($pattern, $html, $matches))
{
$result['mfg_name'] = trim($matches[1 ]);
}

// para
$pattern = '/(.+)/isU';
if (preg_match($pattern, $html, $matches))
{
if (preg_match_all('/(.+)/isU ', $matches[ 1], $matches))
{
$count = count($matches[1]);
$count = intval($count / 2 );
foreach ($matches[1] as $k =>$v )
{
if ($k >= $count)
{
Break;
}
if (trim($v) == 'description')
{
// desc
$result[ 'desc'] =トリム($matches[1][$count + $k]);
続行;
}
$v = トリム($v);
$result['para'][$v] = トリム ($matches[1 ][$count + $k]);
}
}
}

// pdf_url
$pattern = '/詳細 if (preg_match($pattern, $html, $matches))
{
$result['pdf_url'] = トリム($matches[1] );
}

/ / sup_stock
$pattern = '/在庫数量[sn]*(d+)/isU';
if (preg_match ($pattern, $html, $一致))
{
$result['sup_stock'] = trim($matches[1]);
}

// 価格
$pattern = '/< td.[^>]+ >(d+)+]+>.[^d]*([d.]+)/isU';
if (preg_match_all($pattern, $html, $matches))
{
foreach ($matches[1] as $k=>$v)
{
$result['price '][$v] = ' \' . $matches[2][$k];
}
}

//img_url
$pattern = '/画像 [^"]+)"/isU';
if (preg_match($pattern, $html, $matches))
{
$result['img_url'] = trim($matches [1]);
}

// page_url
if ($is_url)
{
$result['page_url'] = $host . $url;
}

return $result;
}

/**
* 最終呼び出し関数
* @param string $keywords 検索キーワード
* @return array
*/
function getData( $keywords)
{
$hrefList = getListHrefAll($keywords);
$result = array();

foreach ($hrefList as $k=>$v)
{
$result[] = getDetail($v );
}

return $result;
}

// テスト スクリプト
$keywords = trim($_GET['keywords']);
$result = getData($keywords );

print_r($result) ;

http://www.bkjia.com/PHPjc/728095.htmlwww.bkjia.comtru​​ehttp://www.bkjia.com/PHPjc/728095.html技術記事次のようにコードをコピーします。 ?php /*** ホスト: www.icbase.com*/ //set_time_limit(0); // 基本関数 functioncurl_get($url, $data = array(), $header = array(), $timeout = 15、$port...

関連ラベル：

页面关键字抓取

ソース：php.cn

前の記事：出力ディレクトリとその下のすべてのファイルを走査する php の例_PHP チュートリアル 次の記事：Mail_MimeDecode クラスを使用して電子メール情報を抽出する PHP の例_PHP チュートリアル

このウェブサイトの声明

この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

著者別の最新記事

• NullPointerException とは何ですか?どのように修正すればよいですか?
  2024-10-22 09:46:29
• 初心者からプログラマーへ: 旅は C の基礎から始まります
  2024-10-13 13:53:41
• PHP による Web 開発のロックを解除する: 初心者ガイド
  2024-10-12 12:15:51
• C の謎を解く: 新人プログラマーのための明確でシンプルな道
  2024-10-11 22:47:31
• コーディングの可能性を解き放つ: まったくの初心者のための C プログラミング
  2024-10-11 19:36:51
• 内なるプログラマーを解き放つ: まったくの初心者のための C
  2024-10-11 15:50:41
• C で生活を自動化する: 初心者向けのスクリプトとツール
  2024-10-11 15:07:41
• PHP を簡単に: Web 開発の最初のステップ
  2024-10-11 14:21:21
• Python で何でも構築: 創造性を解き放つための初心者ガイド
  2024-10-11 12:59:11
• コーディングの鍵: 初心者のための Python の力を解き放つ
  2024-10-11 12:17:31

最新の問題

ASP クラシック コードを文字列として MYSQL データベースに保存する可能性 ASP クラシック コードを MySQL データベースに保存し、プルされたときにコードを実行させることは可能ですか?たとえば、変数名を文字列に保存し、それを表示する前に ASP を...

から 2024-04-06 13:38:43

0

1

358

Ajax を使用したコンテンツの生成 - ID までスクロールできない ajax経由で取得したデータに基づいてページコンテンツを生成します。私が抱えている問題は、特定の ID までスクロールしたいときに、スクロールが起こらないか、間違った場所にスクロー...

から 2024-04-04 09:29:39

0

1

397

Heroku では、Puppeteer の実行を 3 回のみに制限しています 私は、puppeteer を使用して別の Web サイトからデータをスクレイピングする Web サイトを開発しています。ローカルマシン上で npm サーバーを実行すると、データは問...

から 2024-04-02 19:49:08

0

1

411

LESS string-set に相当する現代のものは何ですか? 文字列セットとその使用例については、「LESS 文字列セットのプロパティとコンテンツ メソッドの使用」を参照してください。 かなり混乱した後、これは古く、Chrome バージョン ...

から 2024-04-02 13:29:36

0

1

361

関連トピック

詳細>

• Linuxパケットキャプチャコマンド
• ルーターのデフォルトパスワード
• Linuxシステム時間
• Laravelコンポーネントの紹介
• マージン幅の使用方法
• win11のインストール中にネットワーク接続をスキップする方法
• シールドドライバーだよ
• フォーマット後にjsコードが実行できなくなる問題の解決方法