Nosql之普罗米修斯猜想
Nosql带领我们进入到一个新的数据库世界,字面上我们不要理解为是Nosql,应该正确理解为Noto..
Nosql带领我们进入到一个新的数据库世界,字面上我们不要理解为是“No sql”,应该正确理解为“Not only sql”就是说我们不仅仅使用sql来查询和处理数据,还可以利用编程语言和其他技术来管理我们的数据,数据是多种多样的,就跟达尔文的进化论类似,数据也会进化,从远古的甲骨文,到现代的二进制,还有最近流行起来的二维码,不同的数据其管理方法也是不一样的。由原来无库时代->层次状数据库->网状数据库->关系型数据库->非关系型数据库-> 未来超级数据库,这也是进化而来,前些日子看了放映的大片《普罗米修斯》,里面有一个震撼的场面“星际云图”,虚拟主机,如下图所示,在一个有限空间里展示出了整个宇宙分布,每个星系每个星球都非常逼真而清晰,自己知道自己所在的位置,这样的信息是如何保存起来的呢?
这可能不太适合使用关系型数据库来管理,说说为什么!
1.数据量:星际云图如果要实现,首先存储起来的数据量可想而知,这不是几个oracle就可以装下的。需要强大的存储设备。
2.运算量:数据转换为图形,计算各自的信息与资源,展示出来,这也不是仅仅追加硬件就可以的,早晚会碰触到天花板。
3.传输流量:数据如果是不流动的只能称之为标本,要计算出星球自己所在的位置和运行轨迹,并且要让其他的天体也知道每个行星的位置和自己的位置,这种输入/输出数据量可以想象是巨大的。
4.存储方式:这种星际云图已经不能单纯使用table来存放数据了,因为它是一种非结构化数据,最简单理解是一种三维数据,而表只能表示出二维数据,更甚者如果加上时间就是四维数据了。
如果要设计一个符合条件的Nosql数据库那么需要重点关注是什么呢?
1.解决数据量:那么我想不用多说分布式存储可能是目前可行的一个好方法,香港空间,因为集中存储总有一天会碰触到天花板,不管是空间上 or 资金上 or I/O。而分布式存储可以适当降低成本,最重要的是可以大幅度提高I/O性能。
2.解决运算量:这个方案可以采用集群作战方式,也就是人海战术,最关键的是如何协调好大家一起来井然有序的工作,需要一个中央控制系统来协调集群工作。
3.解决传输流量:可以使用超级黑电缆,这种黑电缆速率40Gb/s,低延迟,高带宽。有一个不成熟的想法,来源于Exadata RAC架构,它是用一整块背板(集成电路板)把两台机器背靠背拼起来,数据走在总线上。我们是不是可以把集群中的节点也用总线的方式串起来,香港虚拟主机,这样基本上就跟上了内存IO效率啦。
4.解决存储方式:星际云图它是一种三维或者是多维的数据集合,我想这种数据可以用数学上的坐标方法来量化,每个星球有自己的坐标集合,若干个星球可以组成一个星系,就这样逐渐的拼接起来构建出图中震撼画面。
Leonarding
2012.12.19
天津&winter
分享技术~成就梦想
Blog:
本文出自 “leonarding Blog” 博客,请务必保留此出处

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

大數據結構處理技巧:分塊:分解資料集並分塊處理,減少記憶體消耗。生成器:逐一產生資料項,無需載入整個資料集,適用於無限資料集。流:逐行讀取檔案或查詢結果,適用於大檔案或遠端資料。外部儲存:對於超大資料集,將資料儲存在資料庫或NoSQL中。

AEC/O(Architecture,Engineering&Construction/Operation)指在建築業中提供建築設計、工程設計、施工及營運的綜合服務。 2024年,AEC/O產業在技術進步中面臨不斷變化的挑戰。今年預計將整合先進技術,預示著設計、建造和營運的典範轉移。為了因應這些變化,業界正在重新定義工作流程,調整優先級,增強合作,以適應快速變化世界的需求。 AEC/O產業以下五大趨勢將成為2024年的關鍵主題,推薦其邁向更整合、反應迅速且永續的未來:一體化供應鏈、智慧工

在網路時代,大數據成為了一種新的資源,伴隨著大數據分析技術的不斷提升,大數據程式設計需求也愈發迫切。而C++作為一種廣泛應用的程式語言,其在大數據程式設計上的獨特優勢也日益凸顯。以下將分享我在C++大數據程式設計的實作經驗。一、選擇合適的資料結構選擇合適的資料結構是編寫高效大數據程式的重要環節。 C++中有多種資料結構可以供我們使用,如陣列、鍊錶、樹、雜湊表等

一、58畫像平台建置背景首先和大家分享下58畫像平台的建造背景。 1.傳統的畫像平台傳統的想法已經不夠,建立用戶畫像平台依賴數據倉儲建模能力,整合多業務線數據,建構準確的用戶畫像;還需要數據挖掘,理解用戶行為、興趣和需求,提供演算法側的能力;最後,還需要具備數據平台能力,有效率地儲存、查詢和共享用戶畫像數據,提供畫像服務。業務自建畫像平台和中台類型畫像平台主要區別在於,業務自建畫像平台服務單條業務線,按需定制;中台平台服務多條業務線,建模複雜,提供更為通用的能力。 2.58中台畫像建構的背景58的使用者畫像

在當今大數據時代,數據處理和分析已成為各行業發展的重要支持。而Go語言作為一種開發效率高、效能優越的程式語言,也逐漸被大數據領域所關注。然而,相較於其他語言如Java、Python等,Go語言在大數據框架上的支援相對不足,這給一些開發者帶來了困擾。本文將探討Go語言大數據框架缺失的主要原因,並提出對應的解決方案,同時結合具體的程式碼範例進行說明。一、Go語

Go語言作為一種開源程式語言,在近年來逐漸受到了廣泛的關注和使用。它以其簡潔、高效的特性,以及強大的並發處理能力而備受程式設計師青睞。在大數據處理領域中,Go語言也具有很強的潛力,可以用來處理大量資料、最佳化效能,並且可以很好地與各種大數據處理工具和框架進行整合。在本文中,我們將介紹一些Go語言大數據處理的基本概念和技巧,並透過具體的程式碼範例來展示如何利用Go語言

Golang與大數據:完美搭配還是相反?隨著大數據技術的快速發展,越來越多的企業開始透過數據分析來優化業務和決策。對於大數據處理來說,高效率的程式語言是至關重要的。而在眾多程式語言中,Golang(Go語言)因其並發、高效、簡潔等特點,成為了大數據處理的熱門選擇之一。那麼,Golang與大數據究竟是完美搭配還是相悖呢?本文將從Golang在大數據處理上的應用、

Java大數據技術堆疊:了解Java在大數據領域的應用,如Hadoop、Spark、Kafka等隨著資料量不斷增加,大數據技術成為了當今網路時代的熱門話題。在大數據領域,我們常聽到Hadoop、Spark、Kafka等技術的名字。這些技術起到了至關重要的作用,而Java作為一門廣泛應用的程式語言,也在大數據領域發揮著巨大的作用。本文將重點放在Java在大
