Facebook推高效查询引擎Presto
在Facebook总部的一次开发者会议上,这个社交网络巨头的工程师透露,他们正在使用新的自主研发的查询引擎Presto,在已有的250PB的庞大数据仓库上进行交互式分析。
据Martin Traverso工程师透露,有超过850名Facebook工程师每天用它来扫描超过320TB的数据。在以前,我们的科学家和分析师一直依靠Hive来做数据分析。但Hive是专为批处理设计的。但随着数据越来越多,Hive已不能满足我们的需求。虽然我们还有其他比Hive更快的工具,但它们要么在功能有所限制要么就太简单,以至于无法操作我们庞大的数据仓库。而在过去的几个月中,我们一直使用Presto来填补这方面的空白。
Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。因为它主要依赖MapReduce进行运行,所以随着年龄的上升,其在速度上已不能满足日益增长的数据要求。浏览一个完整的数据集可能要花费几分到几小时,这完全是不切实际的。
Traverso还表示,使用Presto进行简单的查询只需要几百毫秒,即使是非常复杂的查询,也只需数分钟即可完成,它在内存中运行,并且不会向磁盘写入。
虽然看起来Presto如同Facebook版的Cloudera Impala SQL查询引擎,或与Hortonworks在Stinger项目中所做的事情相似,但这是按照Facebook规模为实现更快操作而定制的版本。Presto并不会与其他商业产品进行竞争,但它会很快让大数据行业产生不小的震动。并且Facebook打算在今年秋天以开源的形式发布Presto。
Facebook的工程经理Ravi Murthy表示,随着用户量地不断增长,数据仓库也在快速增长,它比四年前要大4000倍。Murthy 也表示,在接下来几年,数据将会达到艾字节。因此,为了适应这种数据规模,我们不得不重新考虑许多东西。
Presto则是其中之一,除了提高查询速度,在CPU使用效率上,这个引擎比Hive高效7倍。另外一个正在进行的项目是缩减Facebook数据中心的分析数据空间。
对于Facebook最新推出的查询引擎Presto,微博上的各位大神又有哪些看法呢?
原EMC中国研究院大数据实验室负责人大数据皮东:Facebook最新的交互式大数据查询系统Presto,类似于Cloudera的Impala和Hortonworks的Stinger,解决Facebook迅速膨胀的海量数据仓库快速查询需求。Facebook针对Exabyte规模数据正在开发新一代大数据系统,Presto是其中的数据仓库交互查询系统,应该还有海量存储系统。在这个级别,很多设计需要考虑!
新浪CTO兼联席总裁许良杰Jack:社交网络和社会化媒体催生了真正的大数据(Big Data)平台。新浪微博也不例外……
英国利兹大学计算机及语言学研究员,搜索项目博士后研究员vinW:1. presto秋季会开源;2.比hive快七倍;3.基于内存
Launch_Bruce:FaceBook不是搜索引擎,对实时性的要求更高,即使当初推出Hive,也只能是权宜之计。这属于Hadoop的基因,Hadoop必将会让很多没有深度思索盲目上马的项目最后举步维艰。但是显然Hadoop成功的生态系统也会害了不少人。
TeslaElon:加油!Big Data会衍生出很多商业机会。尤其是与最大的电商平台阿里巴巴以及最大的视频平台YOKU潜在的合作值得期待。另外Sina投资了不少微博上的火爆应用,很多机会,后面看Sina研发和管理以及销售如何做好。
搬运大数据的亨利:大约五年以前做大数据分析,我们的MPP产品就已经有这些策略了。当时,最大的问题是大数据在互联网,但这些明星企业不爱花钱购买只爱造轮子。还是电信客户好,他们愿意花钱采购而不是造轮子。
英文来自:gigaom.com

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

Video Face Swap
完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック











12306 チケット予約アプリの最新バージョンをダウンロードします。誰もが非常に満足している旅行チケット購入ソフトウェアです。行きたい場所に行くのに非常に便利です。ソフトウェアには多くのチケット ソースが提供されています。本物のチケットを渡すだけで済みます。 - 氏名認証によるオンラインチケット購入 全ユーザー 旅行券や航空券を簡単に購入でき、さまざまな割引が受けられます。また、チケットを入手するための事前予約も開始できます。ホテルや特別な車の送迎も予約できます。これを使用すると、ワンクリックで行きたい場所に行き、チケットを購入できます。旅行がより簡単で便利になり、すべての人に旅行体験を提供します編集者はオンラインで詳細を説明するようになり、12306 人のユーザーに過去のチケット購入記録を表示する方法が提供されます。 1. Railway 12306 を開き、右下隅の [My] をクリックして、[My Order] をクリックします。 2. 注文ページで [Paid] をクリックします。 3. 有料ページにて

Xuexin.com で私の学歴を確認するにはどうすればよいですか? Xuexin.com で学歴を確認できますが、多くのユーザーは Xuexin.com で学歴を確認する方法を知りません。次に、エディターが Xuexin.com で学歴を確認する方法に関するグラフィック チュートリアルを提供します。興味のあるユーザーはぜひ見に来てください! Xuexin.com の使用方法チュートリアル: Xuexin.com で学歴を確認する方法 1. Xuexin.com の入り口: https://www.chsi.com.cn/ 2. Web サイトのクエリ: ステップ 1: Xuexin.com のアドレスをクリックします。上記をクリックしてホームページに入ります [教育クエリ]をクリックします; ステップ2: 最新のWebページで下図の矢印に示すように[クエリ]をクリックします; ステップ3: 新しいページで[学術単位ファイルにログイン]をクリックします; ステップ4: ログインページで情報を入力し、[ログイン]をクリックします。

Cドライブの空き容量が少なくなっています!効率的な掃除方法5つを公開!コンピュータを使用する過程で、多くのユーザーは C ドライブの空き容量が不足する状況に遭遇することがありますが、特に大量のファイルを保存またはインストールした後は、C ドライブの空き容量が急速に減少し、パフォーマンスやパフォーマンスに影響を及ぼします。コンピューターの実行速度。現時点では、Cドライブをクリーンアップする必要があります。では、Cドライブを効率的にクリーンアップするにはどうすればよいでしょうか?次に、この記事では、Cドライブの容量不足の問題を簡単に解決できる5つの効率的なクリーニング方法を紹介します。 1. 一時ファイルをクリーンアップする. 一時ファイルは、コンピュータの実行中に生成される一時ファイルです。

Go 言語の機能と特徴 Go 言語は、Golang とも呼ばれ、Google によって開発されたオープンソース プログラミング言語であり、元々はプログラミングの効率と保守性を向上させるために設計されました。 Go 言語は誕生以来、プログラミングの分野でその独特の魅力を発揮し、広く注目と認知を得てきました。この記事では、Go 言語の機能と特徴を詳しく掘り下げ、具体的なコード例を通じてその威力を実証します。ネイティブ同時実行サポート Go 言語は本質的に同時プログラミングをサポートしており、ゴルーチンとチャネル メカニズムを通じて実装されます。

Python と C++ は 2 つの人気のあるプログラミング言語ですが、それぞれに独自の長所と短所があります。プログラミングを学びたい人にとって、Python と C++ のどちらを学ぶかは重要な決定となることがよくあります。この記事では、Python と C++ の学習コストを調査し、どの言語が時間と労力を費やす価値があるかについて説明します。まずはPythonから始めましょう。 Python は、学習の容易さ、明確なコード、簡潔な構文で知られる高レベルのインタープリタ型プログラミング言語です。 C++、Pythonとの比較

AI Ideogram がリアリズムと芸術的センスを競うとき、Ideogram は難しい道を切り開きました。画像上にテキストを正確に生成でき、フォントとレイアウトが美しいのです。この需要はニッチなものではありません。P ピクチャを使用せずにワンクリックでポスターやイラストを生成できるので、デザインについて何も知らない一般の人にとっても非常に適しています。以前、Ideogram のバージョン 1.0 について書きました。 8月21日にはバージョン2.0が登場し、よりリアルになり、ポスターのデザインもより強化され、テキストの特殊性も強化されました。聞いたことがないかもしれませんが、これは元 Google 従業員によって開発された AI 製品です。多くの欠点がありますが、ロングボードはコーナーでミッドジャーニーを「追い抜く」ことができます。行き方 https://ideogram.ai/A

本サイトは4月24日、雷軍氏が2017年にシャオミの中国東部本社を南京に置くと発表し、中国東部本社プロジェクトの調印式を行ったと報じた。 7年が経ち、シャオミグループの中国東部本社は開設前の最終段階に入った。南京日報によると、シャオミグループの中国東部本社は5月上旬に開設される予定で、その時点でオフィスには5,000人が常駐する予定で、シャオミの北京本社に次ぐ国内最大の研究開発センターとなる。江蘇省で計画されている主要な開発プロジェクトであり、南京の有名な企業定住計画の主要プロジェクトとして、シャオミグループが中国東部に設立した主要なソフトウェア研究開発拠点でもあり、中国東部のソフトウェア研究開発センターになることを目指しています。将来的には、モバイルソフトウェア、インターネット、その他の分野での利点を収集します。報道によると、シャオミグループが昨年南京で発表したさまざまな経済指標はすべて本物だった。

2009年の作成以来、ビットコインの価格はいくつかの大きな変動を経験し、2021年11月に69,044.77ドルに上昇し、2018年12月に3,191.22ドルに減少しました。 2024年12月の時点で、最新の価格は100,204ドルを超えています。
