Facebook推高效查询引擎Presto_PHP教程
在Facebook总部的一次开发者会议上，这个社交网络巨头的工程师透露，他们正在使用新的自主研发的查询引擎Presto，在已有的250PB的庞大数据仓库上进行交互式分析。
据Martin Traverso工程师透露，有超过850名Facebook工程师每天用它来扫描超过320TB的数据。在以前，我们的科学家和分析师一直依靠Hive来做数据分析。但Hive是专为批处理设计的。但随着数据越来越多，Hive已不能满足我们的需求。虽然我们还有其他比Hive更快的工具，但它们要么在功能有所限制要么就太简单，以至于无法操作我们庞大的数据仓库。而在过去的几个月中，我们一直使用Presto来填补这方面的空白。
Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。因为它主要依赖MapReduce进行运行，所以随着年龄的上升，其在速度上已不能满足日益增长的数据要求。浏览一个完整的数据集可能要花费几分到几小时，这完全是不切实际的。
Traverso还表示，使用Presto进行简单的查询只需要几百毫秒，即使是非常复杂的查询，也只需数分钟即可完成，它在内存中运行，并且不会向磁盘写入。
虽然看起来Presto如同Facebook版的Cloudera Impala SQL查询引擎，或与Hortonworks在Stinger项目中所做的事情相似，但这是按照Facebook规模为实现更快操作而定制的版本。Presto并不会与其他商业产品进行竞争，但它会很快让大数据行业产生不小的震动。并且Facebook打算在今年秋天以开源的形式发布Presto。
Facebook的工程经理Ravi Murthy表示，随着用户量地不断增长，数据仓库也在快速增长，它比四年前要大4000倍。Murthy 也表示，在接下来几年，数据将会达到艾字节。因此，为了适应这种数据规模，我们不得不重新考虑许多东西。
Presto则是其中之一，除了提高查询速度，在CPU使用效率上，这个引擎比Hive高效7倍。另外一个正在进行的项目是缩减Facebook数据中心的分析数据空间。
对于Facebook最新推出的查询引擎Presto，微博上的各位大神又有哪些看法呢？
原EMC中国研究院大数据实验室负责人大数据皮东：Facebook最新的交互式大数据查询系统Presto，类似于Cloudera的Impala和Hortonworks的Stinger，解决Facebook迅速膨胀的海量数据仓库快速查询需求。Facebook针对Exabyte规模数据正在开发新一代大数据系统，Presto是其中的数据仓库交互查询系统，应该还有海量存储系统。在这个级别，很多设计需要考虑！
新浪CTO兼联席总裁许良杰Jack：社交网络和社会化媒体催生了真正的大数据（Big Data）平台。新浪微博也不例外……
英国利兹大学计算机及语言学研究员，搜索项目博士后研究员vinW：1. presto秋季会开源；2.比hive快七倍；3.基于内存
Launch_Bruce：FaceBook不是搜索引擎，对实时性的要求更高，即使当初推出Hive，也只能是权宜之计。这属于Hadoop的基因，Hadoop必将会让很多没有深度思索盲目上马的项目最后举步维艰。但是显然Hadoop成功的生态系统也会害了不少人。
TeslaElon：加油！Big Data会衍生出很多商业机会。尤其是与最大的电商平台阿里巴巴以及最大的视频平台YOKU潜在的合作值得期待。另外Sina投资了不少微博上的火爆应用，很多机会，后面看Sina研发和管理以及销售如何做好。
搬运大数据的亨利：大约五年以前做大数据分析，我们的MPP产品就已经有这些策略了。当时，最大的问题是大数据在互联网，但这些明星企业不爱花钱购买只爱造轮子。还是电信客户好，他们愿意花钱采购而不是造轮子。
英文来自：gigaom.com
Alat AI Hot
Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik
AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.
Undress AI Tool
Gambar buka pakaian secara percuma
Clothoff.io
Penyingkiran pakaian AI
AI Hentai Generator
Menjana ai hentai secara percuma.
Artikel Panas
Alat panas
Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma
SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan
Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa
Dreamweaver CS6
Alat pembangunan web visual
SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)
Topik panas
1371
52
12306 Cara menyemak rekod pembelian tiket sejarah Cara menyemak rekod pembelian tiket sejarah
Mar 28, 2024 pm 03:11 PM
Muat turun versi terbaharu aplikasi tempahan tiket 12306 Ia adalah perisian pembelian tiket perjalanan yang semua orang sangat berpuas hati dengannya -pengesahan nama untuk membeli tiket dalam talian Semua pengguna Anda boleh membeli tiket perjalanan dan tiket penerbangan dengan mudah dan menikmati diskaun yang berbeza. Anda juga boleh mula menempah tempahan terlebih dahulu untuk merebut tiket Anda boleh menempah hotel atau pemindahan kereta khas Dengan itu, anda boleh pergi ke mana-mana yang anda mahu pergi dan membeli tiket dengan satu klik lebih mudah dan memudahkan semua orang lebih selesa. Kini editor memperincikannya dalam talian Menyediakan 12306 pengguna cara untuk melihat rekod pembelian tiket sejarah. 1. Buka Keretapi 12306, klik Saya di sudut kanan bawah, dan klik Pesanan Saya 2. Klik Dibayar pada halaman pesanan. 3. Pada halaman berbayar
Bagaimana untuk menyemak kelayakan akademik anda di Xuexin.com
Mar 28, 2024 pm 04:31 PM
Bagaimana untuk menyemak kelayakan akademik saya di Xuexin.com? Anda boleh menyemak kelayakan akademik anda di Xuexin.com Ramai pengguna tidak tahu cara menyemak kelayakan akademik mereka di Xuexin.com Seterusnya, editor membawakan tutorial grafik kepada pengguna tentang cara menyemak kelayakan akademik mereka di Xuexin.com pengguna datang dan lihat! Tutorial penggunaan Xuexin.com: Cara menyemak kelayakan akademik anda di Xuexin.com 1. Pintu masuk Xuexin.com: https://www.chsi.com.cn/ 2. Pertanyaan laman web: Langkah 1: Klik pada alamat Xuexin.com di atas untuk masuk ke laman utama Klik [Education Query]; Langkah 4: Pada halaman log masuk Masukkan maklumat dan klik [Log Masuk];
Ruang pemacu C kehabisan! 5 kaedah pembersihan yang cekap didedahkan!
Mar 26, 2024 am 08:51 AM
Ruang pemacu C kehabisan! 5 kaedah pembersihan yang cekap didedahkan! Dalam proses menggunakan komputer, ramai pengguna akan menghadapi situasi di mana ruang pemacu C kehabisan terutamanya selepas menyimpan atau memasang sejumlah besar fail, ruang pemacu C yang tersedia akan berkurangan dengan cepat, yang akan menjejaskan prestasi dan. kelajuan komputer berjalan. Pada masa ini, sangat perlu untuk membersihkan pemacu C. Jadi, bagaimana untuk membersihkan pemacu C dengan cekap? Seterusnya, artikel ini akan mendedahkan 5 kaedah pembersihan yang cekap untuk membantu anda menyelesaikan masalah kekurangan ruang pemacu C dengan mudah. 1. Bersihkan fail sementara ialah fail sementara yang dijana semasa komputer sedang berjalan.
Perbandingan persamaan dan perbezaan antara MySQL dan PL/SQL
Mar 16, 2024 am 11:15 AM
MySQL dan PL/SQL ialah dua sistem pengurusan pangkalan data yang berbeza, mewakili ciri pangkalan data hubungan dan bahasa prosedur masing-masing. Artikel ini akan membandingkan persamaan dan perbezaan antara MySQL dan PL/SQL, dengan contoh kod khusus untuk digambarkan. MySQL ialah sistem pengurusan pangkalan data hubungan popular yang menggunakan Bahasa Pertanyaan Berstruktur (SQL) untuk mengurus dan mengendalikan pangkalan data. PL/SQL ialah bahasa prosedur yang unik untuk pangkalan data Oracle dan digunakan untuk menulis objek pangkalan data seperti prosedur tersimpan, pencetus dan fungsi. sama
Membandingkan kos pembelajaran Python dan C++: Mana satu yang lebih bernilai pelaburan?
Mar 25, 2024 pm 10:24 PM
Python dan C++ ialah dua bahasa pengaturcaraan yang popular, masing-masing mempunyai kelebihan dan kekurangannya sendiri. Bagi orang yang ingin belajar pengaturcaraan, memilih untuk belajar Python atau C++ selalunya merupakan keputusan penting. Artikel ini akan meneroka kos pembelajaran Python dan C++ dan membincangkan bahasa yang lebih sesuai untuk masa dan usaha. Mula-mula, mari kita mulakan dengan Python. Python ialah bahasa pengaturcaraan peringkat tinggi yang ditafsirkan yang terkenal dengan kemudahan pembelajaran, kod yang jelas dan sintaks yang ringkas. Berbanding dengan C++, Python
Pemahaman mendalam tentang fungsi dan ciri bahasa Go
Mar 21, 2024 pm 05:42 PM
Fungsi dan ciri bahasa Go bahasa Go, juga dikenali sebagai Golang, ialah bahasa pengaturcaraan sumber terbuka yang dibangunkan oleh Google Ia pada asalnya direka untuk meningkatkan kecekapan dan kebolehselenggaraan pengaturcaraan. Sejak kelahirannya, bahasa Go telah menunjukkan daya tarikan uniknya dalam bidang pengaturcaraan dan telah mendapat perhatian dan pengiktirafan yang meluas. Artikel ini akan menyelidiki fungsi dan ciri bahasa Go dan menunjukkan kuasanya melalui contoh kod tertentu. Sokongan serentak asli Bahasa Go sememangnya menyokong pengaturcaraan serentak, yang dilaksanakan melalui mekanisme goroutine dan saluran.
'Black Myth: Wukong ' diubah suai secara ajaib untuk mengalahkan Midjourney Alat lukisan AI ini sangat mengagumkan.
Aug 23, 2024 pm 09:42 PM
Apabila AI Ideograms bersaing untuk realisme dan rasa artistik, Ideogram telah membuka trek yang rumit: ia boleh menjana teks pada gambar dengan tepat, dan fon serta reka letaknya cantik. Permintaan ini bukan niche Hasilkan poster dan ilustrasi dengan satu klik tanpa menggunakan P-pictures Ia boleh menjimatkan banyak masalah dan sangat sesuai untuk orang biasa yang tidak tahu apa-apa tentang reka bentuk. Kami sebelum ini menulis tentang versi 1.0 Ideogram. Pada 21 Ogos, versi 2.0 datang. Realisme adalah lebih baik, poster lebih direka, dan kemahiran khas teks juga lebih kuat. Anda mungkin tidak pernah mendengarnya Ini adalah produk AI yang dibangunkan oleh bekas pekerja Google Ia mempunyai banyak kekurangan, tetapi papan panjang boleh "mendahului" Midjourney. Arah https://ideogram.ai/A
Ibu pejabat China Timur Kumpulan Xiaomi akan dibuka pada awal Mei dan akan menjadi pusat R&D terbesar di negara itu selain ibu pejabat Beijing.
Apr 25, 2024 am 08:19 AM
Laman web ini melaporkan pada 24 April bahawa pada 2017, Lei Jun mengumumkan bahawa Ibu Pejabat China Timur Xiaomi akan ditempatkan di Nanjing dan mengadakan majlis menandatangani untuk projek Ibu Pejabat China Timur. Tujuh tahun kemudian, ibu pejabat Kumpulan Xiaomi di China Timur telah memasuki peringkat akhir sebelum dibuka. Menurut Nanjing Daily, ibu pejabat China Timur Kumpulan Xiaomi akan dibuka pada awal Mei Dijangkakan 5,000 orang akan ditempatkan di pejabat itu pada masa itu, dan ia akan menjadi pusat R&D terbesar di negara ini selain ibu pejabat Xiaomi di Beijing. Sebagai projek pembangunan terancang utama di Wilayah Jiangsu dan projek utama dalam pelan penyelesaian perusahaan terkenal Nanjing, ia juga merupakan pangkalan R&D perisian utama yang ditubuhkan oleh Kumpulan Xiaomi di Ibu Pejabat China Timur Xiaomi bertujuan untuk menjadi pusat R&D perisian di China Timur dan akan mengumpulkan kelebihan dalam perisian mudah alih, Internet dan kawasan lain pada masa hadapan projek rantaian ekologi perniagaan dan teknologi. Menurut laporan, pelbagai petunjuk ekonomi Kumpulan Xiaomi di Nanjing tahun lepas semuanya mencapai keputusan yang baik.
