粗看WASP ：Alibaba的海量数据分布式数据库探索
Email：colorant at 163.com BLOG：http://blog.csdn.net/colorant/ == 是什么 == Wasp 是阿里集团开发的基于 HBase 的一个数据库方案，其根本出发点是仿效 Google 的 Megastore ，“在HBase系统上不牺牲线性拓展能力的同时又能提供跨行事务、索引、SQL的功
Email：colorant at 163.com
BLOG：http://blog.csdn.net/colorant/
== 是什么 ==
Wasp是阿里集团开发的基于HBase的一个数据库方案，其根本出发点是仿效Google的Megastore，“在HBase系统上不牺牲线性拓展能力的同时又能提供跨行事务、索引、SQL的功能”
== 架构原理 ==
其设计原理可以参考Megastore的相关论文，Wasp自己的相关设计使用文档可以在下面两个地方找到
https://github.com/alibaba/wasp/wiki/Chinese
http://wenku.baidu.com/view/c85f50d984254b35eefd345c.html
Megastore框架的核心思想是将数据分割成不同的EntityGroup，EntityGroup的数据备份是跨Datacenter存放的，在EntityGroup内部提供完整的ACID支持，保证数据写操作在所有数据中心的同步备份。
从具体实现上来看，Wasp并没有实现Megastore在跨Data Center方面的相关设计思想，仅仅只是采用了Entity Groups这样的方案来划分和管理数据。
Megastore在很多设计上都是围绕超大规模的数据的并发这样一个核心思想，比如Entity Groups的跨地域备份，读数据时非主从式的平等节点由Paxos动态选主的思想等等，都是为了保证读操作时的去中心化，以提高性能，而Wasp的架构方案更像HBase自身的方案，存在FMaster节点和FServer节点，通过Zookeeper确定当前FMaster，每个FServer管理若干Entity Groups，基本还是固定的主从中心式的。在Entity Group的使用上，Wasp则基本保留了Megastore的原始设计，通过RedoLog / MVCC / 跨Entity两阶段提交等方式解决并发读写的一致性问题
== 具体实现 ==
Wasp使用Alibaba自己的Druid项目实现SQL语法的解析，采用Netty和Protobuf构建服务器内部通讯协议框架。
Wasp的数据主要映射为HBase上的4类表，全局的 _FMETA_ 表记录所有Wasp表的meta信息，每个wasp表数据对应的entity表，相同Entitygroup Key管辖下所有表对应的Redolog表，以及索引表。
目前Wasp对SQL的语法支持还很简陋，以Query为例，仅支持Equal condition和索引上的Compare类Range condition。对Int等数据结构的支持，在比较操作中也存在bug，其它稍微复杂一点的SQL语法，如UDF，limit, having, group by, join, order by 等等操作目前都是没有的，当然这可能也取决于wasp的具体应用场合，或许只需要最简单的Equal和特定字段上的Range condition类的查询。
此外从SQL Plan实现的角度来看，似乎目前只是简单的转换为Get/Put/Delete等HBase操作，以HBase的角度来看是纯粹的客户端应用程序，没有使用任何Hbase RS端的能力，如filter,coprocessor等等加以优化，因此如果要实现Aggregation类的功能，在性能上大概会受到比较大的影响。
== 总结 ==
总体看来，Wasp并不能提供一个海量数据跨数据中心的解决方案，其规模受单个Hbase cluster所限，因此一定程度上来说和MegaStore所解决的目标问题还是有很大差距的，Wasp更多的是在HBase之上提供一个增强的方案，提供简单的SQL接口，和跨行事务的支持。如果光从SQLon HBase的角度上看，与SaleForce的Phoenix有很大的差距。但在跨行事务支持方面还是优于Phoenix的（Phoenix的在事务方面的支持几乎完全取决于HBase自身的能力），代码功能等目前看来还不成熟，还要看将来的发展情况。当然，从代码框架，设计模式等方面上看，作者的编程功力还是很不错的，要学习。
我只是快速的了解了一下Wasp的实现，自身能力有限，所以不保证以上看法的准确性，如有偏差还请指正。
Heiße KI -Werkzeuge
Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos
AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.
Undress AI Tool
Ausziehbilder kostenlos
Clothoff.io
KI-Kleiderentferner
AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.
Heißer Artikel
Heiße Werkzeuge
Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor
SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen
Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung
Dreamweaver CS6
Visuelle Webentwicklungstools
SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)
Heiße Themen
Die Vitalität der Superintelligenz erwacht! Aber mit der Einführung der sich selbst aktualisierenden KI müssen sich Mütter keine Sorgen mehr über Datenengpässe machen
Apr 29, 2024 pm 06:55 PM
Ich weine zu Tode. Die Daten im Internet reichen überhaupt nicht aus. Das Trainingsmodell sieht aus wie „Die Tribute von Panem“, und KI-Forscher auf der ganzen Welt machen sich Gedanken darüber, wie sie diese datenhungrigen Esser ernähren sollen. Dieses Problem tritt insbesondere bei multimodalen Aufgaben auf. Zu einer Zeit, als sie ratlos waren, nutzte ein Start-up-Team der Abteilung der Renmin-Universität von China sein eigenes neues Modell, um als erstes in China einen „modellgenerierten Datenfeed selbst“ in die Realität umzusetzen. Darüber hinaus handelt es sich um einen zweigleisigen Ansatz auf der Verständnisseite und der Generierungsseite. Beide Seiten können hochwertige, multimodale neue Daten generieren und Datenrückmeldungen an das Modell selbst liefern. Was ist ein Modell? Awaker 1.0, ein großes multimodales Modell, das gerade im Zhongguancun-Forum erschienen ist. Wer ist das Team? Sophon-Motor. Gegründet von Gao Yizhao, einem Doktoranden an der Hillhouse School of Artificial Intelligence der Renmin University.
Langsame Internetgeschwindigkeiten für Mobilfunkdaten auf dem iPhone: Korrekturen
May 03, 2024 pm 09:01 PM
Stehen Sie vor einer Verzögerung oder einer langsamen mobilen Datenverbindung auf dem iPhone? Normalerweise hängt die Stärke des Mobilfunk-Internets auf Ihrem Telefon von mehreren Faktoren ab, wie z. B. der Region, dem Mobilfunknetztyp, dem Roaming-Typ usw. Es gibt einige Dinge, die Sie tun können, um eine schnellere und zuverlässigere Mobilfunk-Internetverbindung zu erhalten. Fix 1 – Neustart des iPhone erzwingen Manchmal werden durch einen erzwungenen Neustart Ihres Geräts viele Dinge zurückgesetzt, einschließlich der Mobilfunkverbindung. Schritt 1 – Drücken Sie einfach einmal die Lauter-Taste und lassen Sie sie los. Drücken Sie anschließend die Leiser-Taste und lassen Sie sie wieder los. Schritt 2 – Der nächste Teil des Prozesses besteht darin, die Taste auf der rechten Seite gedrückt zu halten. Lassen Sie das iPhone den Neustart abschließen. Aktivieren Sie Mobilfunkdaten und überprüfen Sie die Netzwerkgeschwindigkeit. Überprüfen Sie es erneut. Fix 2 – Datenmodus ändern 5G bietet zwar bessere Netzwerkgeschwindigkeiten, funktioniert jedoch besser, wenn das Signal schwächer ist
Die U.S. Air Force präsentiert ihren ersten KI-Kampfjet mit großem Aufsehen! Der Minister führte die Testfahrt persönlich durch, ohne in den gesamten Prozess einzugreifen, und 100.000 Codezeilen wurden 21 Mal getestet.
May 07, 2024 pm 05:00 PM
Kürzlich wurde die Militärwelt von der Nachricht überwältigt: US-Militärkampfflugzeuge können jetzt mithilfe von KI vollautomatische Luftkämpfe absolvieren. Ja, erst kürzlich wurde der KI-Kampfjet des US-Militärs zum ersten Mal der Öffentlichkeit zugänglich gemacht und sein Geheimnis gelüftet. Der vollständige Name dieses Jägers lautet „Variable Stability Simulator Test Aircraft“ (VISTA). Er wurde vom Minister der US-Luftwaffe persönlich geflogen, um einen Eins-gegen-eins-Luftkampf zu simulieren. Am 2. Mai startete US-Luftwaffenminister Frank Kendall mit einer X-62AVISTA auf der Edwards Air Force Base. Beachten Sie, dass während des einstündigen Fluges alle Flugaktionen autonom von der KI durchgeführt wurden! Kendall sagte: „In den letzten Jahrzehnten haben wir über das unbegrenzte Potenzial des autonomen Luft-Luft-Kampfes nachgedacht, aber es schien immer unerreichbar.“ Nun jedoch,
Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen!
May 06, 2024 pm 04:13 PM
Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil
QS-Rangliste 2024 veröffentlicht! Das Informatik-MIT dominiert die Liste, die Tsinghua-Universität liegt auf Platz 11 und die Peking-Universität auf Platz 15
Apr 18, 2024 pm 09:04 PM
Das QS World University Ranking 2024 nach Fachgebieten ist da! Insgesamt gibt es kaum Veränderungen gegenüber 2023. Den offiziellen Website-Informationen zufolge deckt das 2024QS World University Rankings by Subject 55 Unterteilungen und 5 akademische Hauptbereiche ab. Insgesamt nahmen 1.559 Universitäten an dem Ranking teil, 64 davon sind in diesem Jahr neu (d. h. sie werden im Ranking 2023 nicht auftauchen). Von diesen 64 Hochschulen und Universitäten sind 14 wirklich zum ersten Mal vertreten. Unter ihnen ist die Universität der Chinesischen Akademie der Wissenschaften. Gemäß den verfeinerten Fächern ist Musik ein neues Fach, das dieses Jahr eingeführt wurde. Darüber hinaus wurden die Rankings zu Data Science und Künstlicher Intelligenz erweitert und 51 neue Universitäten in das Ranking aufgenommen. Die ersten fünf in der Gesamtliste sind: Massachusetts Institute of Technology, University of Cambridge, University of Oxford und Harvard University
Mit einer einzelnen Karte läuft Llama 70B schneller als mit zwei Karten, Microsoft hat gerade FP6 in A100 integriert |
Apr 29, 2024 pm 04:55 PM
FP8 und die geringere Gleitkomma-Quantifizierungsgenauigkeit sind nicht länger das „Patent“ von H100! Lao Huang wollte, dass jeder INT8/INT4 nutzt, und das Microsoft DeepSpeed-Team begann, FP6 auf A100 ohne offizielle Unterstützung von NVIDIA auszuführen. Testergebnisse zeigen, dass die FP6-Quantisierung der neuen Methode TC-FPx auf A100 nahe an INT4 liegt oder gelegentlich schneller als diese ist und eine höhere Genauigkeit aufweist als letztere. Darüber hinaus gibt es eine durchgängige Unterstützung großer Modelle, die als Open-Source-Lösung bereitgestellt und in Deep-Learning-Inferenz-Frameworks wie DeepSpeed integriert wurde. Dieses Ergebnis wirkt sich auch unmittelbar auf die Beschleunigung großer Modelle aus – in diesem Rahmen ist der Durchsatz bei Verwendung einer einzelnen Karte zum Ausführen von Llama 2,65-mal höher als der von Doppelkarten. eins
Umfassendes Open-Source-Upgrade von Open-Sora: Unterstützt 16s-Videogenerierung und 720p-Auflösung
Apr 25, 2024 pm 02:55 PM
Open-Sora wurde in der Open-Source-Community stillschweigend aktualisiert. Es unterstützt jetzt die Videogenerierung bis zu 16 Sekunden mit Auflösungen bis zu 720p und kann Text-zu-Bild, Text-zu-Video, Bild-zu-Video usw. verarbeiten. und Video-zu-Video mit jedem Seitenverhältnis und den Generierungsanforderungen für unendlich lange Videos. Probieren wir es aus. Erstellen Sie eine horizontale Weihnachtsschneeszene, posten Sie sie auf der B-Site und erstellen Sie dann einen vertikalen Bildschirm, und erstellen Sie mit Douyin ein 16-sekündiges Video. Jetzt kann jeder ein Leben lang süchtig nach Drehbuch schreiben. Anleitung GitHub: https://github.com/hpcaitech/Open-Sora Was noch cooler ist, ist, dass Open-Sora immer noch vollständig Open Source ist, einschließlich der neuesten Modellarchitektur, der neuesten Modellgewichte, Multi-Time/Resolution/Long-Term
Innerhalb weniger Stunden nach der Veröffentlichung hat Microsoft in Sekundenschnelle ein großes Open-Source-Modell gelöscht, das mit GPT-4 vergleichbar ist! Vergiftungstest vergessen
Apr 23, 2024 pm 05:22 PM
Letzte Woche hat Microsoft WizardLM-2, ein Open-Source-Modell namens GPT-4 Level, aus der Luft abgeworfen. Aber ich hatte nicht damit gerechnet, dass es ein paar Stunden nach der Veröffentlichung sofort gelöscht würde. Einige Internetnutzer stellten plötzlich fest, dass die Modellgewichte und Ankündigungsbeiträge von WizardLM alle gelöscht worden waren und sich nicht mehr in der Microsoft-Sammlung befanden. Abgesehen von der Erwähnung der Website konnten keine Beweise dafür gefunden werden, dass es sich um ein offizielles Microsoft-Projekt handelte. Die GitHub-Projekthomepage ist zu einem 404-Fehler geworden. Projektadresse: https://wizardlm.github.io/ Einschließlich des Gewichts des Modells auf HF sind alle verschwunden ... Das gesamte Netzwerk ist voller Verwirrung. Warum ist WizardLM verschwunden? Der Grund dafür war jedoch, dass Microsoft vergessen hatte, das Modell zu „testen“. Später, Mikro
