Nosql之普罗米修斯猜想

Jun 07, 2016 pm 05:41 PM
nosql ビッグデータ

Nosql带领我们进入到一个新的数据库世界,字面上我们不要理解为是Nosql,应该正确理解为Noto..

 

              Nosql带领我们进入到一个新的数据库世界,字面上我们不要理解为是“No sql”,应该正确理解为“Not only sql”就是说我们不仅仅使用sql来查询和处理数据,还可以利用编程语言和其他技术来管理我们的数据,数据是多种多样的,就跟达尔文的进化论类似,数据也会进化,从远古的甲骨文,到现代的二进制,还有最近流行起来的二维码,不同的数据其管理方法也是不一样的。由原来无库时代->层次状数据库->网状数据库->关系型数据库->非关系型数据库-> 未来超级数据库,这也是进化而来,前些日子看了放映的大片《普罗米修斯》,里面有一个震撼的场面“星际云图”,虚拟主机,如下图所示,在一个有限空间里展示出了整个宇宙分布,每个星系每个星球都非常逼真而清晰,自己知道自己所在的位置,这样的信息是如何保存起来的呢?

   

              这可能不太适合使用关系型数据库来管理,说说为什么!

1.数据量:星际云图如果要实现,首先存储起来的数据量可想而知,这不是几个oracle就可以装下的。需要强大的存储设备。



 

2.运算量:数据转换为图形,计算各自的信息与资源,展示出来,这也不是仅仅追加硬件就可以的,早晚会碰触到天花板。



 

3.传输流量:数据如果是不流动的只能称之为标本,要计算出星球自己所在的位置和运行轨迹,并且要让其他的天体也知道每个行星的位置和自己的位置,这种输入/输出数据量可以想象是巨大的。



 

4.存储方式:这种星际云图已经不能单纯使用table来存放数据了,因为它是一种非结构化数据,最简单理解是一种三维数据,而表只能表示出二维数据,更甚者如果加上时间就是四维数据了。


 

              如果要设计一个符合条件的Nosql数据库那么需要重点关注是什么呢?

1.解决数据量:那么我想不用多说分布式存储可能是目前可行的一个好方法,香港空间,因为集中存储总有一天会碰触到天花板,不管是空间上 or 资金上 or I/O。而分布式存储可以适当降低成本,最重要的是可以大幅度提高I/O性能。

 

2.解决运算量:这个方案可以采用集群作战方式,也就是人海战术,最关键的是如何协调好大家一起来井然有序的工作,需要一个中央控制系统来协调集群工作。


 

3.解决传输流量:可以使用超级黑电缆,这种黑电缆速率40Gb/s,低延迟,高带宽。有一个不成熟的想法,来源于Exadata RAC架构,它是用一整块背板(集成电路板)把两台机器背靠背拼起来,数据走在总线上。我们是不是可以把集群中的节点也用总线的方式串起来,香港虚拟主机,这样基本上就跟上了内存IO效率啦。


 

4.解决存储方式:星际云图它是一种三维或者是多维的数据集合,我想这种数据可以用数学上的坐标方法来量化,每个星球有自己的坐标集合,若干个星球可以组成一个星系,就这样逐渐的拼接起来构建出图中震撼画面。



 

Leonarding
2012.12.19
天津&winter
分享技术~成就梦想
Blog:


 

 

本文出自 “leonarding Blog” 博客,请务必保留此出处

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

PHPのビッグデータ構造処理スキル PHPのビッグデータ構造処理スキル May 08, 2024 am 10:24 AM

ビッグ データ構造の処理スキル: チャンキング: データ セットを分割してチャンクに処理し、メモリ消費を削減します。ジェネレーター: データ セット全体をロードせずにデータ項目を 1 つずつ生成します。無制限のデータ セットに適しています。ストリーミング: ファイルやクエリ結果を 1 行ずつ読み取ります。大きなファイルやリモート データに適しています。外部ストレージ: 非常に大規模なデータ セットの場合は、データをデータベースまたは NoSQL に保存します。

C++開発経験の共有:C++ビッグデータプログラミングの実践経験 C++開発経験の共有:C++ビッグデータプログラミングの実践経験 Nov 22, 2023 am 09:14 AM

インターネット時代においてビッグデータは新たなリソースとなり、ビッグデータ分析技術の継続的な向上に伴い、ビッグデータプログラミングの需要がますます高まっています。広く使用されているプログラミング言語として、ビッグ データ プログラミングにおける C++ の独自の利点がますます顕著になってきています。以下では、C++ ビッグ データ プログラミングにおける私の実践的な経験を共有します。 1. 適切なデータ構造の選択 適切なデータ構造を選択することは、効率的なビッグ データ プログラムを作成する上で重要です。 C++ には、配列、リンク リスト、ツリー、ハッシュ テーブルなど、使用できるさまざまなデータ構造があります。

2024 年の AEC/O 業界の 5 つの主要な開発トレンド 2024 年の AEC/O 業界の 5 つの主要な開発トレンド Apr 19, 2024 pm 02:50 PM

AEC/O(Architecture, Engineering & Construction/Operation)とは、建設業界における建築設計、工学設計、建設、運営を提供する総合的なサービスを指します。 2024 年、AEC/O 業界は技術の進歩の中で変化する課題に直面しています。今年は先進技術の統合が見込まれ、設計、建設、運用におけるパラダイムシフトが到来すると予想されています。これらの変化に対応して、業界は急速に変化する世界のニーズに適応するために、作業プロセスを再定義し、優先順位を調整し、コラボレーションを強化しています。 AEC/O 業界の次の 5 つの主要なトレンドが 2024 年の主要テーマとなり、より統合され、応答性が高く、持続可能な未来に向けて進むことが推奨されます: 統合サプライ チェーン、スマート製造

58 ポートレート プラットフォームの構築におけるアルゴリズムの適用 58 ポートレート プラットフォームの構築におけるアルゴリズムの適用 May 09, 2024 am 09:01 AM

1. 58 Portraits プラットフォーム構築の背景 まず、58 Portraits プラットフォーム構築の背景についてお話ししたいと思います。 1. 従来のプロファイリング プラットフォームの従来の考え方ではもはや十分ではありません。ユーザー プロファイリング プラットフォームを構築するには、複数のビジネス分野からのデータを統合して、ユーザーの行動や関心を理解するためのデータ マイニングも必要です。最後に、ユーザー プロファイル データを効率的に保存、クエリ、共有し、プロファイル サービスを提供するためのデータ プラットフォーム機能も必要です。自社構築のビジネス プロファイリング プラットフォームとミドルオフィス プロファイリング プラットフォームの主な違いは、自社構築のプロファイリング プラットフォームは単一のビジネス ラインにサービスを提供し、オンデマンドでカスタマイズできることです。ミッドオフィス プラットフォームは複数のビジネス ラインにサービスを提供し、複雑な機能を備えていることです。モデリングを提供し、より一般的な機能を提供します。 2.58 中間プラットフォームのポートレート構築の背景のユーザーのポートレート 58

Go言語にビッグデータフレームワークがない理由と解決策についてのディスカッション Go言語にビッグデータフレームワークがない理由と解決策についてのディスカッション Mar 29, 2024 pm 12:24 PM

今日のビッグデータ時代において、データの処理と分析はさまざまな産業の発展を支える重要な役割を果たしています。 Go言語は、開発効率が高くパフォーマンスに優れたプログラミング言語として、ビッグデータ分野で徐々に注目を集めています。しかし、Go 言語は Java や Python などの他の言語と比較してビッグ データ フレームワークのサポートが比較的不十分であり、一部の開発者に問題を引き起こしていました。この記事では、Go 言語にビッグ データ フレームワークが存在しない主な理由を調査し、対応する解決策を提案し、具体的なコード例で説明します。 1.Go言語

AI、デジタルツイン、ビジュアライゼーション...2023 Yizhiwei 秋の製品発表会のハイライト! AI、デジタルツイン、ビジュアライゼーション...2023 Yizhiwei 秋の製品発表会のハイライト! Nov 14, 2023 pm 05:29 PM

Yizhiweiの2023年秋の新製品発表会は無事終了しました!カンファレンスのハイライトを一緒に振り返りましょう! 1. インテリジェントで包括的なオープン性がデジタルツインの生産性を高める Kangaroo Cloud の共同創設者で Yizhiwei の CEO である Ning Haiyuan 氏は開会の挨拶で次のように述べました: 「3 つのコア機能」「インテリジェントで包括的なオープン性」という 3 つのコアキーワードに焦点を当て、さらに「デジタルツインを生産力にする」という開発目標を提案しました。 2. EasyTwin: より使いやすい新しいデジタル ツイン エンジンを探索します。 1. 0.1 から 1.0 まで、デジタル ツイン フュージョン レンダリング エンジンを探索し続け、成熟した 3D 編集モード、便利なインタラクティブ ブループリント、大規模なモデル アセットを備えたより良いソリューションを実現します。

入門ガイド: Go 言語を使用したビッグデータの処理 入門ガイド: Go 言語を使用したビッグデータの処理 Feb 25, 2024 pm 09:51 PM

オープンソースのプログラミング言語として、Go 言語は近年徐々に注目を集め、使用されるようになりました。そのシンプルさ、効率性、強力な同時処理機能によりプログラマーに好まれています。ビッグ データ処理の分野でも、Go 言語は大きな可能性を秘めており、大量のデータを処理し、パフォーマンスを最適化し、さまざまなビッグ データ処理ツールやフレームワークとうまく統合できます。この記事では、Go 言語によるビッグデータ処理の基本的な概念とテクニックをいくつか紹介し、具体的なコード例を通して Go 言語の使用方法を示します。

C++ テクノロジーでのビッグ データ処理: インメモリ データベースを使用してビッグ データのパフォーマンスを最適化するには? C++ テクノロジーでのビッグ データ処理: インメモリ データベースを使用してビッグ データのパフォーマンスを最適化するには? May 31, 2024 pm 07:34 PM

ビッグ データ処理では、インメモリ データベース (Aerospike など) を使用すると、データがコンピュータ メモリに保存され、ディスク I/O ボトルネックが解消され、データ アクセス速度が大幅に向上するため、C++ アプリケーションのパフォーマンスが向上します。実際のケースでは、インメモリ データベースを使用した場合のクエリ速度が、ハードディスク データベースを使用した場合よりも数桁速いことが示されています。

See all articles