コミュニティ 学ぶ ツールライブラリ レジャー
検索
日本語
ホームページ > バックエンド開発 > PHPチュートリアル > 本文

ページのキーワード キャプチャ コンポーネント.arrow.com サイト コードを共有する_PHP チュートリアル

WBOY
リリース： 2016-07-13 10:39:49
オリジナル
849 人が閲覧しました

复制代码代码如下:

/**
* ホスト:components.arrow.com
 */
//set_time_limit(0);
// 基本関数
functioncurl_get($url, $data = array(), $header = array(), $timeout = 15, $port = 80, $reffer = '', $proxy = '')
{
$ch =curl_init();
if (!empty($ data)) {
$data = is_array($data)?http_build_query($data): $data;
$url .= (strpos($url,'?')? '&': "?") . $ data;
} curl_setopt（$ ch、curlopt_url、$ url）; ;
curl_setopt($ch, CURLOPT_PORT, $port);
curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // かどうか抓取ジャンプ转後の页面
$reffer &&curl_setopt($ch, CURLOPT_REFERER, $reffer);
if($proxy) {
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYPORT, 1723);
curl_setopt($ch, CURLOPT_PROXYUSERPWD,"andhm001:andhm123");
}

$result = array();
$result['result'] =curl_exec($ch);
if (0 !=curl_errno($ch)) {
$result['error'] = "エラー:n" 。 curl_error($ch);

}
curl_close($ch);
return $result;
}




复制代価

代価如下:

関数curl_post($url, $data = array(), $header = array(), $timeout = 15, $port = 80)
{
$ch =curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
curl_setopt($ch, CURLOPT_PORT, $port);
!empty ($header) &&curl_setopt($ ch, CURLOPT_HTTPHEADER, $header);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);

$result = array();
$result['result'] =curl_exec ($ch);
if (0 !=curl_errno($ch)) {
$result['error'] = "エラー:n" 。 curl_error($ch);

}
curl_close($ch);

return $result;
}

/**
* 一覧ページのHTMLソースコードを取得します
* @param string $keywords 検索キーワード
* @param int $start 記録開始番号
* @return boolean|array
*/
function getListHtml($keywords, $start = 0)
{
if ($start < 0)
{
return false;
}

$postData = array(
'search_token' => $keywords,
'start' => $start,
'limit' => 100 ,
);

$result =curl_post('http://components.arrow.com/part/search/' . $keywords, http_build_query($postData));
if ( isset($result['error'] ) )
{
return false;
//exit($result['error']);
}
$result = $result['result'];

return $result;
}

/**
* リストページ接続の取得 href
* @param string $html html ソースコード
* @return array
*/
function getListHref($html)
{
$pattern = '/]+)">/ isU';
if (preg_match_all($pattern, $html, $matches))
{
return $matches[1];
} else {
// 没有一致项
return array();
}
}

/**
* 次のページ番号の開始を取得します
* @param string $html html ソース コード
* @return number
*/
function getListNextPage($html)
{
$pattern = '/buildPagination('d+','d+','(d+)', d+);/isU';
if (preg_match($pattern, $html, $matches))
{
return intval($matches[1]);
} else {
return -1;
}
}

/**
* リストとすべての詳細リストを取得します
* @param string $keywords キーワードを検索します
* @return boolean|array
*/
function getListHrefAll($keywords)
{
if (empty($keywords))
{
return false;
}

$html = getListHtml($keywords);
$hrefList = getListHref($html);
if (empty($hrefList))
{
// 没有结果
return array();
}
$nextPage = getListNextPage($html);
$loop =0;
その間 ($nextPage > 0)
{
$html = getListHtml($keywords, $nextPage);
$tmpHrefList = getListHref($html);
$hrefList = array_merge($hrefList, $tmpHrefList);
$nextPage = getListNextPage($html);
$loop ++;
}
return $hrefList;
}

/**
* 詳細ページの情報を取得します
* @param string $url URL アドレス
* @return array()
*/
function getDetail($url)
{
if ( empty($url) )
{
return false;
}
$host = 'http://components.arrow.com';

$url = $host 。 $url;
$result =curl_get($url);
if ( isset($result['error']) )
{
return array();
//exit($result['error']);
}
$html = $result['result'];

$result = array(
'sup_part' => '', // 供应商型
'sup_id' => '', // 供应商ID
'mfg_part' => '', // 製造商型名
'mfg_name' => '', // 製造商名
'cat_name' => ; '', // プロパティ
'desc' => '', // 説明
'sup_stock' => '', // 库存
'min_purch ' => '', // 最小购量
'', // 价格
'img_url' => '', // 图片地址
'createtime' '', / / 创建時间
'datacode' => '', // 批号
'package' => '', // 页面地址
// mfg_part
$pattern = '/
  • [sn]*部品番号:s*(.+)
    • /isU';
    if (preg_match($pattern, $html, $matches))
    {
    $result['mfg_part'] = トリム($matches[1]);
    }else {file_put_contents('page.txt', $html);die('xxx');
    return array();
    }

    // mfg_name
    $pattern = '/
  • [sn]*< Strong>メーカー: (.+)
    • /isU';
    if (preg_match($pattern, $html, $matches))
    {
    $result['mfg_name'] = trim( $matches[1]);
    }

    // cat_name
    $pattern = '/displayCategory('(.[^']+)');/isU';
    if (preg_match($pattern, $html, $一致))
    {
    $result['cat_name'] = trim($matches[1]);
    $result['cat_name'] = str_replace('|', '>', $result['cat_name'] );
    }

    // para
    $tablepattern = '/]*>(.+)/isU';
    if (preg_match ($tablepattern, $html, $matches))
    {
    $pattern = '/[sn]*(.+)< ;td>(.+)[sn]*/isU';
    if (preg_match_all($pattern, $matches[1], $matches))
    {
    foreach($matches [1] as $k=>$v)
    {
    $v = トリム($v);
    if ('パッケージタイプ' == $v)
    {
    $result['パッケージ'] = トリム($ matches[2][$k]);
    Continue;
    }
    $result['para'][$v] = trim($matches[2][$k]);
    }
    }
    }

    / / desc
    $pattern = '/.+

    (.+)

    [sn]*
    /isU';
    if ( preg_match($pattern, $html, $matches))
    {
    $result['desc'] = trim($matches[1]);
    }

    // pdf_url
    $pattern = '/[sn]*データシート: if (preg_match($pattern, $ html, $matches))
    {
    $result['pdf_url'] = $host 。トリム($matches[1]);
    }

    // sup_stock
    $pattern = '/([d,]+)/isU';
    if (preg_match($pattern, $html, $matches))
    {
    $result['sup_stock'] = trim($matches[1]);
    $result['sup_stock'] = str_replace(',', '', $result['sup_stock']);
    }

    // min_purch
    $pattern = '/[sn]* Multiple:s*(.+)    /isU';
    if (preg_match($pattern, $html, $matches))
    {
    $result['min_purch'] = trim( $matches[1]);
    }

    // 価格
    $pattern = '/ if (preg_match($pattern, $html, $matches))
    {
    $result['price'][1] = trim($matches[1]);
    }
    $pattern = '/[sn]*]+title="(.[^"]+)">/isU ';
    if (preg_match($pattern, $html, $matches))
    {
    $priceurl = str_replace('&', '&', $matches[1]);
    $json =curl_get($priceurl);
    $json = $json['result'];
    if (! empty($json))
    {
    $jsonresult = json_decode($json, true);
    foreach ($jsonresult['parts'][0][ 'webprice']['resale'] as $k=>$v)
    {
    $result['price'][$v['minqty']] = $v['price'];
    }
    }
    }

    // img_url
    $pattern = '/[sn]* if (preg_match($pattern, $html, $matches))
    {
    $result['img_url'] = trim($matches[1]);
    }

    // page_url
    $result['page_url'] = $ url;

    return $result;
    }

    /**
    * 最終呼び出し関数
    * @param string $keywords 検索キーワード
    * @return array
    */
    function getData($keywords)
    {
    $hrefList = getListHrefAll($keywords);
    $result = array();

    foreach ($hrefList as $k=>$v)
    {
    $result[] = getDetail($v);
    }

    return $result;
    }

    // テストスクリプト
    $keywords = trim($_GET ['キーワード']);
    $result = getData($keywords);

    print_r($result);

    www.bkjia.comtru​​ehttp://www.bkjia.com/PHPjc/728094.html技術記事复制代码代码如下: ?php /*** ホスト:components.arrow.com*/ //set_time_limit(0); // 基本関数 functioncurl_get($url, $data = array(), $header = array(), $timeout = 15,...
    関連ラベル：
    页面关键字抓取
    ソース：php.cn
    前の記事：PHP_PHP チュートリアルでのビット単位の AND およびビット単位の OR 演算の例 次の記事：php_PHP チュートリアルで現在時刻のミリ秒を取得する方法
    このウェブサイトの声明
    この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
    著者別の最新記事
    最新の問題
    ASP クラシック コードを文字列として MYSQL データベースに保存する可能性 ASP クラシック コードを MySQL データベースに保存し、プルされたときにコードを実行させることは可能ですか?たとえば、変数名を文字列に保存し、それを表示する前に ASP を...
    から 2024-04-06 13:38:43
    0
    1
    358
    Ajax を使用したコンテンツの生成 - ID までスクロールできない ajax経由で取得したデータに基づいてページコンテンツを生成します。私が抱えている問題は、特定の ID までスクロールしたいときに、スクロールが起こらないか、間違った場所にスクロー...
    から 2024-04-04 09:29:39
    0
    1
    397
    Heroku では、Puppeteer の実行を 3 回のみに制限しています 私は、puppeteer を使用して別の Web サイトからデータをスクレイピングする Web サイトを開発しています。ローカルマシン上で npm サーバーを実行すると、データは問...
    から 2024-04-02 19:49:08
    0
    1
    411
    LESS string-set に相当する現代のものは何ですか? 文字列セットとその使用例については、「LESS 文字列セットのプロパティとコンテンツ メソッドの使用」を参照してください。 かなり混乱した後、これは古く、Chrome バージョン ...
    から 2024-04-02 13:29:36
    0
    1
    361
    関連トピック
    詳細>
    人気のおすすめ
    人気のチュートリアル
    詳細>
    関連するチュートリアル
    人気のおすすめ
    最新のコース
    最新のダウンロード
    詳細>
    ウェブエフェクト
    公式サイト
    サイト素材
    フロントエンドテンプレート