PHP 開発におけるビッグデータの計算と保存に Google BigQuery を使用する方法-PHPチュートリアル-php.cn

PHP 開発におけるビッグデータの計算と保存に Google BigQuery を使用する方法

王林

リリース： 2023-06-25 20:00:02

オリジナル

825 人が閲覧しました

データ量が増加し続けるにつれて、従来のデータベース管理システムでは、ビッグデータのストレージとコンピューティングのニーズを満たすことができなくなりました。 Google BigQuery は、新しいタイプのクラウドストレージおよびコンピューティングサービスとして、ますます多くの企業や開発者によって使用されています。この記事では、PHP 開発におけるビッグデータの計算と保存に Google BigQuery を使用する方法を紹介します。

1. Google BigQuery とは

Google BigQuery は、SQL ステートメントを通じて大量のデータを効率的にクエリし、Google Cloud Storage を通じて保存できる強力なクラウドビッグデータ分析サービスです。 Google BigQuery を使用すると、サーバーやデータベースの管理に費用やストレスをかけることなく、データを迅速に分析できます。 Google BigQuery は SQL 言語をサポートしており、ペタバイトレベルのデータを処理できます。

2. Google BigQuery を使用するために必要な準備

Google Cloud Platform アカウント: Google BigQuery を使用する前に、Google Cloud Platform アカウントを申請し、Google BigQuery を有効にする必要があります。サービス。
Google Cloud SDK のインストール: ローカル開発で Google BigQuery を使用するには、Google Cloud SDK をインストールし、必要な構成を行う必要があります。インストールと設定は、公式 Web サイトまたはコマンドラインから行うことができます。
API 認証情報: Google BigQuery API を使用して開発する前に、Google API 認証情報を取得する必要があります。まず Google Cloud Console で Google BigQuery API を有効にし、API 認証情報を作成する必要があります。認証情報の種類には、OAuth2.0 クライアント ID、サービスアカウントキー、API キーが含まれます。このうち、OAuth2.0 クライアント ID は Web アプリケーションでの使用に適しており、サービスアカウントキーはバックエンドで実行されるアプリケーションでの使用に適しており、API キーは単純な HTTP/REST アプリケーションでの使用に適しています。

3. データクエリに Google BigQuery を使用する

PHP 開発では、Google API クライアントライブラリを使用して Google BigQuery API を使用できます。まず、Google Cloud Console でプロジェクトを作成し、プロジェクトで BigQuery API サービスを有効にする必要があります。次に、Google Cloud Console でサービスアカウントを作成し、credentials.json 認証情報ファイルを取得します。最後に、Google API PHP クライアントライブラリをダウンロードしてインストールします。

以下は、データクエリに Google BigQuery を使用するコード実装です:

<?php
require_once __DIR__ . '/vendor/autoload.php';
putenv('GOOGLE_APPLICATION_CREDENTIALS=' . __DIR__ . '/credentials.json');
$client = new Google_Client();
$client->useApplicationDefaultCredentials();
$client->addScope(Google_Service_Bigquery::BIGQUERY);

// 设置查询选项
$options = [
    'useLegacySql' => false
];

// 查询SQL语句
$sql = 'SELECT count(*) as count FROM `project.dataset.table`';

// 创建BigQuery服务对象
$service = new Google_Service_Bigquery($client);

// 从BigQuery查询数据
$results = $service->jobs->query('project-id', new Google_Service_Bigquery_QueryJobConfiguration([
    'query' => $sql,
    'useLegacySql' => false
]));

// 从结果中获取行数据
if ($rows = $results->getRows()) {
    $count = $rows[0]['f'][0]['v'];
    echo 'count: ' . $count . PHP_EOL;
}

ログイン後にコピー

上記のコードでは、Google API PHP クライアントライブラリを使用して BigQuery サービスオブジェクトを作成します。次に、クエリオプションを設定し、SQL ステートメントを通じてデータをクエリし、クエリ結果から行データを取得します。最後に、必要に応じてクエリ結果に対してデータ処理を実行できます。

4. データストレージに Google BigQuery を使用する

Google BigQuery では、バッチ挿入、ストリーミングデータ挿入、テーブルインポートなどのさまざまな方法でデータセットにデータを保存できます。以下では、バッチ挿入を例として、データストレージに Google BigQuery を使用する方法を紹介します。

データセットとテーブルの作成

データストレージに Google BigQuery を使用する前に、Google Cloud Console でデータセットとテーブルを作成する必要があります。データセットとテーブルを作成することで、保存するデータのデータ型と構造を指定できます。

Google Cloud BigQuery の PHP 拡張機能をインストールする

Google BigQuery をデータストレージに使用するには、Google Cloud BigQuery の PHP 拡張機能をインストールする必要があります。公式ウェブサイトまたはコマンドライン。インストールが完了したら、Google Cloud BigQuery 拡張機能を PHP 構成ファイルに追加する必要があります。

PHP プログラムの作成

データストレージに Google BigQuery を使用する PHP プログラムの例を次に示します。

<?php
require_once __DIR__ . '/vendor/autoload.php';
putenv('GOOGLE_APPLICATION_CREDENTIALS=' . __DIR__ . '/credentials.json');
$client = new Google_Client();
$client->useApplicationDefaultCredentials();
$client->addScope(Google_Service_Bigquery::BIGQUERY);

// 数据集和表的名称
$datasetName = 'project.dataset';
$tableName = 'table';

// 插入数据
$service = new Google_Service_Bigquery($client);
$rows = [
    ['column1' => 'value1', 'column2' => 123],
    ['column1' => 'value2', 'column3' => 'value3']
];
$service->tabledata->insertAll($projectId, $datasetName, $tableName, new Google_Service_Bigquery_TableDataInsertAllRequest([
    'rows' => $rows
]));

ログイン後にコピー

上記の例では、 Google API を使用します。PHP クライアントライブラリは、BigQuery サービスオブジェクトを作成し、保存するデータセットとテーブルの名前を指定し、tabledata->insertAll() メソッドを通じてデータをデータテーブルに挿入します。。このうち、$rowsは挿入対象の行データであり、各行データは連想配列(キーが列名、値が列の値)です。

概要

Google BigQuery は、新しいタイプのクラウドストレージおよびコンピューティングサービスとして、開発者に強力なビッグデータ分析機能を提供します。 PHP 開発では、Google API PHP クライアントライブラリを通じて Google BigQuery API を使用して、データの効率的なクエリとストレージを実現できます。この記事が、PHP 開発での Google BigQuery の使用に役立つことを願っています。

以上がPHP 開発におけるビッグデータの計算と保存に Google BigQuery を使用する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。