Facebook が効率的なクエリ エンジン Presto_PHP チュートリアルを開始
Facebook本社で開催された開発者会議で、ソーシャルネットワーキング大手のエンジニアらは、自社開発した新しいクエリエンジンPrestoを使用して、既存の大規模な250PBデータウェアハウスの対話型分析を行っていることを明らかにした。
エンジニアの Martin Traverso 氏によると、850 人以上の Facebook エンジニアがこれを使用して、毎日 320TB 以上のデータをスキャンしています。これまで、当社の科学者やアナリストはデータ分析に Hive を利用していました。ただし、Hive はバッチ処理用に設計されています。しかし、データが増えるにつれて、Hive は私たちのニーズを満たすことができなくなりました。 Hive よりも高速なツールは他にもありますが、機能が制限されているか、大規模なデータ ウェアハウスを操作するには単純すぎるかのいずれかです。そして過去数か月間、私たちはこのギャップを埋めるために Presto を使用してきました。
Hive は、Facebook が数年前に Hadoop 専用に作成したデータ ウェアハウス ツールです。主に MapReduce に動作を依存しているため、古くなるとその速度が増大するデータ要件に対応できなくなります。完全なデータ セットを参照するには数分から数時間かかる可能性があり、これはまったく現実的ではありません。
Traverso 氏はまた、Presto を使用した単純なクエリには数百ミリ秒しかかからず、非常に複雑なクエリでも完了するまでに数分しかかかりません。メモリ内で実行され、ディスクには書き込まれません。
Presto は Facebook 版の Cloudera Impala SQL クエリ エンジン、または Hortonworks が Project Stinger で行っているものと同様に見えるかもしれませんが、これは Facebook の規模でより高速な操作を行うためにカスタマイズされたバージョンです。 Presto は他の商用製品と競合することはありませんが、すぐにビッグデータ業界を揺るがすでしょう。そしてFacebookは今秋、Prestoをオープンソースとしてリリースする予定だ。
Facebook のエンジニアリング マネージャーである Ravi Murthy 氏は、ユーザー数が増加し続けるにつれて、データ ウェアハウスも 4 年前の 4,000 倍に急速に成長していると述べました。マーシー氏はまた、今後数年でデータはエクサバイトに達すると述べた。したがって、このデータ規模に対応するには、多くのことを再考する必要がありました。
Presto はその 1 つであり、クエリ速度の向上に加えて、CPU 使用効率の点でも Hive よりも 7 倍効率的です。進行中のもう 1 つのプロジェクトは、Facebook のデータ センターの分析データ スペースを削減することです。
Weibo の専門家は、Facebook が発表した最新のクエリ エンジンである Presto についてどう思いますか?
ビッグ データ ピ ドン氏、EMC 中国研究所ビッグ データ ラボラトリーの元所長: Facebook の最新のインタラクティブ ビッグ データ クエリ システム Presto は、Cloudera の Impala や Hortonworks の Stinger と同様、Facebook の急速に拡大する大規模データ ウェアハウスの高速クエリ ニーズを解決します。 Facebook は、エクサバイト規模のデータを対象とした新世代のビッグ データ システムを開発しています。Presto は、データ ウェアハウスの対話型クエリ システムの 1 つであり、大容量ストレージ システムも備えている必要があります。このレベルでは、考慮すべきデザインがたくさんあります。
Sina CTO 兼共同社長 Jack Xu Liangjie : ソーシャル ネットワークとソーシャル メディアは、真のビッグデータ (ビッグデータ) プラットフォームを生み出しました。新浪微博も例外ではありません...
英国リーズ大学のコンピューターおよび言語学の研究者、および検索プロジェクトの博士研究員である vinW 氏: 1. Presto は秋にオープンソース化される予定です。 2. Hive よりも 7 倍高速です。 3. メモリに基づいています。
Launch_Bruce: FaceBook は検索エンジンではないため、リアルタイム パフォーマンスに対する要求が高くなります。Hive が最初に起動されたとしても、それは一時的な手段にすぎません。これは Hadoop の遺伝子です。深く考えずにやみくもに開始された多くのプロジェクトは、最終的には Hadoop によって確実に困難になります。しかし明らかに、Hadoop の成功したエコシステムは多くの人々に害を及ぼすことになります。
テスライーロン: さあ！ビッグデータは多くのビジネスチャンスを生み出します。特に、電子商取引プラットフォーム最大手のアリババや動画プラットフォーム最大手のYOKUとの連携に期待がかかる。さらに、Sina は Weibo 上の多くの人気アプリケーションに投資しており、Sina が研究開発、管理、販売でどのようにうまくいくかは後ほど見ていきます。
ビッグデータを運ぶヘンリー: 私たちが約 5 年前にビッグデータ分析を行っていたとき、私たちの MPP 製品にはすでにこれらの戦略が組み込まれていました。当時、最大の問題はインターネット上のビッグデータでしたが、これらのスター企業はお金をかけて購入することを好まず、車輪を作ることだけを好みました。これは、車輪を再発明するのではなく、購入に喜んでお金を費やす通信顧客にとっては良いことです。 英語から: gigaom.com
http://www.bkjia.com/PHPjc/735062.html
ホットAIツール
Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ
AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。
Undress AI Tool
脱衣画像を無料で
Clothoff.io
AI衣類リムーバー
AI Hentai Generator
AIヘンタイを無料で生成します。
人気の記事
ホットツール
メモ帳++7.3.1
使いやすく無料のコードエディター
SublimeText3 中国語版
中国語版、とても使いやすい
ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境
ドリームウィーバー CS6
ビジュアル Web 開発ツール
SublimeText3 Mac版
神レベルのコード編集ソフト（SublimeText3）
ホットトピック
7477
15
1377
52
77
11
19
32
12306 過去のチケット購入記録の確認方法 過去のチケット購入記録の確認方法
Mar 28, 2024 pm 03:11 PM
12306 チケット予約アプリの最新バージョンをダウンロードします。誰もが非常に満足している旅行チケット購入ソフトウェアです。行きたい場所に行くのに非常に便利です。ソフトウェアには多くのチケット ソースが提供されています。本物のチケットを渡すだけで済みます。 - 氏名認証によるオンラインチケット購入 全ユーザー 旅行券や航空券を簡単に購入でき、さまざまな割引が受けられます。また、チケットを入手するための事前予約も開始できます。ホテルや特別な車の送迎も予約できます。これを使用すると、ワンクリックで行きたい場所に行き、チケットを購入できます。旅行がより簡単で便利になり、すべての人に旅行体験を提供します編集者はオンラインで詳細を説明するようになり、12306 人のユーザーに過去のチケット購入記録を表示する方法が提供されます。 1. Railway 12306 を開き、右下隅の [My] をクリックして、[My Order] をクリックします。 2. 注文ページで [Paid] をクリックします。 3. 有料ページにて
Xuexin.com で学歴を確認する方法
Mar 28, 2024 pm 04:31 PM
Xuexin.com で私の学歴を確認するにはどうすればよいですか? Xuexin.com で学歴を確認できますが、多くのユーザーは Xuexin.com で学歴を確認する方法を知りません。次に、エディターが Xuexin.com で学歴を確認する方法に関するグラフィック チュートリアルを提供します。興味のあるユーザーはぜひ見に来てください！ Xuexin.com の使用方法チュートリアル: Xuexin.com で学歴を確認する方法 1. Xuexin.com の入り口: https://www.chsi.com.cn/ 2. Web サイトのクエリ: ステップ 1: Xuexin.com のアドレスをクリックします。上記をクリックしてホームページに入ります [教育クエリ]をクリックします; ステップ2: 最新のWebページで下図の矢印に示すように[クエリ]をクリックします; ステップ3: 新しいページで[学術単位ファイルにログイン]をクリックします; ステップ4: ログインページで情報を入力し、[ログイン]をクリックします。
Cドライブの空き容量が少なくなっています！効率的な掃除方法5つを公開！
Mar 26, 2024 am 08:51 AM
Cドライブの空き容量が少なくなっています！効率的な掃除方法5つを公開！コンピュータを使用する過程で、多くのユーザーは C ドライブの空き容量が不足する状況に遭遇することがありますが、特に大量のファイルを保存またはインストールした後は、C ドライブの空き容量が急速に減少し、パフォーマンスやパフォーマンスに影響を及ぼします。コンピューターの実行速度。現時点では、Cドライブをクリーンアップする必要があります。では、Cドライブを効率的にクリーンアップするにはどうすればよいでしょうか?次に、この記事では、Cドライブの容量不足の問題を簡単に解決できる5つの効率的なクリーニング方法を紹介します。 1. 一時ファイルをクリーンアップする. 一時ファイルは、コンピュータの実行中に生成される一時ファイルです。
MySQL と PL/SQL の類似点と相違点の比較
Mar 16, 2024 am 11:15 AM
MySQL と PL/SQL は 2 つの異なるデータベース管理システムであり、それぞれリレーショナル データベースと手続き型言語の特性を表しています。この記事では、具体的なコード例を示しながら、MySQL と PL/SQL の類似点と相違点を比較します。 MySQL は、構造化照会言語 (SQL) を使用してデータベースを管理および操作する、一般的なリレーショナル データベース管理システムです。 PL/SQL は Oracle データベースに固有の手続き型言語であり、ストアド プロシージャ、トリガー、関数などのデータベース オブジェクトを記述するために使用されます。同じ
Python と C++ の学習コストを比較する: どちらが投資する価値がありますか?
Mar 25, 2024 pm 10:24 PM
Python と C++ は 2 つの人気のあるプログラミング言語ですが、それぞれに独自の長所と短所があります。プログラミングを学びたい人にとって、Python と C++ のどちらを学ぶかは重要な決定となることがよくあります。この記事では、Python と C++ の学習コストを調査し、どの言語が時間と労力を費やす価値があるかについて説明します。まずはPythonから始めましょう。 Python は、学習の容易さ、明確なコード、簡潔な構文で知られる高レベルのインタープリタ型プログラミング言語です。 C++、Pythonとの比較
Go言語の機能と特徴を深く理解する
Mar 21, 2024 pm 05:42 PM
Go 言語の機能と特徴 Go 言語は、Golang とも呼ばれ、Google によって開発されたオープンソース プログラミング言語であり、元々はプログラミングの効率と保守性を向上させるために設計されました。 Go 言語は誕生以来、プログラミングの分野でその独特の魅力を発揮し、広く注目と認知を得てきました。この記事では、Go 言語の機能と特徴を詳しく掘り下げ、具体的なコード例を通じてその威力を実証します。ネイティブ同時実行サポート Go 言語は本質的に同時プログラミングをサポートしており、ゴルーチンとチャネル メカニズムを通じて実装されます。
ミッドジャーニーを倒すために魔法で改造された「黒神話悟空」 このAI描画ツールは素晴らしいです。
Aug 23, 2024 pm 09:42 PM
AI Ideogram がリアリズムと芸術的センスを競うとき、Ideogram は難しい道を切り開きました。画像上にテキストを正確に生成でき、フォントとレイアウトが美しいのです。この需要はニッチなものではありません。P ピクチャを使用せずにワンクリックでポスターやイラストを生成できるので、デザインについて何も知らない一般の人にとっても非常に適しています。以前、Ideogram のバージョン 1.0 について書きました。 8月21日にはバージョン2.0が登場し、よりリアルになり、ポスターのデザインもより強化され、テキストの特殊性も強化されました。聞いたことがないかもしれませんが、これは元 Google 従業員によって開発された AI 製品です。多くの欠点がありますが、ロングボードはコーナーでミッドジャーニーを「追い抜く」ことができます。行き方 https://ideogram.ai/A
シャオミグループの中国東部本社は5月上旬に開設され、北京本社に次ぐ中国最大の研究開発センターとなる。
Apr 25, 2024 am 08:19 AM
本サイトは4月24日、雷軍氏が2017年にシャオミの中国東部本社を南京に置くと発表し、中国東部本社プロジェクトの調印式を行ったと報じた。 7年が経ち、シャオミグループの中国東部本社は開設前の最終段階に入った。南京日報によると、シャオミグループの中国東部本社は5月上旬に開設される予定で、その時点でオフィスには5,000人が常駐する予定で、シャオミの北京本社に次ぐ国内最大の研究開発センターとなる。江蘇省で計画されている主要な開発プロジェクトであり、南京の有名な企業定住計画の主要プロジェクトとして、シャオミグループが中国東部に設立した主要なソフトウェア研究開発拠点でもあり、中国東部のソフトウェア研究開発センターになることを目指しています。将来的には、モバイルソフトウェア、インターネット、その他の分野での利点を収集します。報道によると、シャオミグループが昨年南京で発表したさまざまな経済指標はすべて本物だった。
