PHP クローラーの練習: Twitter 上のデータをクローリングする

デジタル時代において、ソーシャルメディアは人々の生活に欠かせないものになりました。 Twitter もその 1 つで、毎日数億人のユーザーがさまざまな情報を共有しています。研究、分析、プロモーションなどのニーズによっては、Twitter 上で関連データを取得することが非常に必要になります。この記事では、PHP を使用して、キーワード関連データをクロールしてデータベースに保存する簡単な Twitter クローラーを作成する方法を紹介します。

1. Twitter API

Twitter は、開発者が関連データを取得するための公式 API (アプリケーション プログラミング インターフェイス) インターフェイスを提供します。 Twitter の API を使用するには、事前にアプリケーション (App) を作成し、Consumer Key、Consumer Secret、Access Token、Access Token Secret などのアプリケーションの関連パラメータを取得する必要があります。具体的な適用方法についてはここでは説明しません。

2. Twitter API ライブラリのインストール

Twitter API は、Twitter API の使用プロセスを簡素化できる開発アクセス ライブラリ (PHP ライブラリ) を公式に提供しています。この記事では、このライブラリを使用して Twitter データを取得します。 Twitter API ライブラリをインストールするにはさまざまな方法がありますが、ここでは、composer を使用して依存関係を管理する方法を紹介します。具体的な手順は次のとおりです。 PHP 用の管理ツールを使用すると、対応するオペレーティング システムのインストール パッケージをダウンロードできます。

2.composer を使用して Twitter API ライブラリをインストールする

コマンド ライン ウィンドウに次のコマンドを入力して、Twitter API ライブラリをプロジェクト ディレクトリにインストールします:

combos require abraham/twitteroauth

3. Twitter データの取得Twitter API を使用したデータのクロールは、認証とクエリの 2 つのステップに分かれています。認証が完了したら、以下に示すように、クエリコマンドを使用して指定した Twitter データを取得できます。

require_once('twitteroauth/autoload.php');
use AbrahamTwitterOAuthTwitterOAuth;

$consumerKey = "your_consumer_key";
$consumerSecret = "your_consumer_secret";
$accessToken = "your_access_token";
$accessTokenSecret = "your_access_token_secret";
$connection = new TwitterOAuth($consumerKey, $consumerSecret, $accessToken, $accessTokenSecret);

$tweets = $connection->get("search/tweets", array("q" => "php", "count" => 100));

上記のコードは、「php」に関連する最新の 100 件のツイート (ツイート) を取得し、保存することができます。結果は $tweets 変数になります。

4. データの解析と保存

Twitter データを取得したら、データを解析して保存する必要があります。この例では MySQL データベースを使用しており、PHP の PDO 拡張機能と SQL ステートメントを使用してデータを保存できます。具体的なコードは次のとおりです。

try{
    $dbh = new PDO('mysql:host=localhost;dbname=your_database_name', 'your_username', 'your_password');
    $dbh->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
    
    $tweetsArray = json_decode(json_encode($tweets), True)['statuses']; // 将 tweets 转换成数组
    
    foreach ($tweetsArray as $tweet) {
        $id = $tweet['id_str'];
        $text = $tweet['text'];
        $created_at = date("Y-m-d H:i:s", strtotime($tweet['created_at']));
        $user = $tweet['user']['screen_name'];  
        
        // 将数据保存到数据库中
        $statement = $dbh->prepare("INSERT INTO tweets (id, text, created_at, user) VALUES (:id, :text, :created_at, :user)");
        $statement->bindParam(':id', $id);
        $statement->bindParam(':text', $text);
        $statement->bindParam(':created_at', $created_at);
        $statement->bindParam(':user', $user);
        $statement->execute();
    }
    
    echo "Data saved successfully!";
} catch (PDOException $e) {
    echo "Error: " . $e->getMessage();
}

上記のコードは、$tweets 配列の内容を解析し、指定されたデータをデータベース テーブル tweet に保存します。

5. 完全なコード

require_once('twitteroauth/autoload.php');
use AbrahamTwitterOAuthTwitterOAuth;

$consumerKey = "your_consumer_key";
$consumerSecret = "your_consumer_secret";
$accessToken = "your_access_token";
$accessTokenSecret = "your_access_token_secret";
$connection = new TwitterOAuth($consumerKey, $consumerSecret, $accessToken, $accessTokenSecret);

$tweets = $connection->get("search/tweets", array("q" => "php", "count" => 100));

try{
    $dbh = new PDO('mysql:host=localhost;dbname=your_database_name', 'your_username', 'your_password');
    $dbh->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
    
    $tweetsArray = json_decode(json_encode($tweets), True)['statuses']; // 将 tweets 转换成数组
    
    foreach ($tweetsArray as $tweet) {
        $id = $tweet['id_str'];
        $text = $tweet['text'];
        $created_at = date("Y-m-d H:i:s", strtotime($tweet['created_at']));
        $user = $tweet['user']['screen_name'];  
        
        // 将数据保存到数据库中
        $statement = $dbh->prepare("INSERT INTO tweets (id, text, created_at, user) VALUES (:id, :text, :created_at, :user)");
        $statement->bindParam(':id', $id);
        $statement->bindParam(':text', $text);
        $statement->bindParam(':created_at', $created_at);
        $statement->bindParam(':user', $user);
        $statement->execute();
    }
    
    echo "Data saved successfully!";
} catch (PDOException $e) {
    echo "Error: " . $e->getMessage();
}

6. 注意事項

Twitter API には制限があります。各アプリケーションは 15 分ごとに一定数のリクエストしか開始できません。リクエストが多すぎると、API が失敗する原因になります。

Twitter API によって返されるデータは JSON 形式であるため、json_decode 関数を使用して解析する必要があります。

1. その後の分析と処理のために、Twitter データをデータベースに保存することをお勧めします。
2. 7. 概要
3. この記事では、PHP を使用して簡単な Twitter クローラーを作成し、データをデータベースに保存する方法を紹介します。 Twitter API を使用するとデータ取得のプロセスを大幅に簡素化できますが、実際の開発では API の制限とデータの解析と保存のプロセスに注意する必要があります。これらの基本的なスキルを学習して習得することは、将来のデータ分析と処理のための優れた基盤となります。

以上がPHP クローラーの練習: Twitter 上のデータをクローリングするの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。