Rumah masalah biasa 什么是大数据

什么是大数据

Apr 25, 2019 am 10:18 AM
data besar

b17eca8065380cd745b41fe0ac44ad3459828111.jpg

大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据可以做什么?

这种不断增长的流传感器信息、照片、文本、声音和视频数据,是大数据的基础。

我们现在可以用一些甚至几年前都不可能的方式使用这些数据。现在,大数据项目可以帮助我们:

治疗疾病和预防癌症——数据驱动医学,包括分析大量的医学记录和图像,这些模式可以帮助及早发现疾病并开发新药;

饲养饥饿者——农业正在被数据革命化,这些数据可用于最大限度地提高作物产量,最大限度地减少释放到生态系统中的污染物数量,并优化机器和设备的使用;

探索遥远的行星——美国航空航天局分析数百万的数据点,并利用它们来模拟每个可能性,将其流浪者降落在火星表面,并计划未来的任务;

预测和应对自然灾害和人为灾害——分析传感器数据,以预测下一步可能发生的地震,人类行为模式帮助援助组织救援幸存者提供线索。大数据技术也用于监测和保护难民远离世界各地的战区;

防止犯罪——警察部队越来越多地采用基于自己情报和公共数据集的数据驱动战略,以便更有效地部署资源,并在需要时起到威慑作用;

使我们的日常生活更轻松,更方便——在线购物、大众旅游或休闲度假,选择最好的时间预订航班,或是决定接下来要观看的电影……因为大数据,这一切都变得更加容易。

大数据如何工作?

大数据的工作原理是,你对任何事情或任何情况了解越多,你可以更可靠地预测将来会发生什么。通过比较更多的数据点,以前被隐藏的关系将开始出现,这些关系有望包含我们如何开始改变的见解。

通常这是通过一个过程来完成的,该过程基于我们可以收集的数据建立模型,然后运行模拟,每次调整数据点的值,并监视它如何影响我们的结果。这个过程是自动化的——今天先进的分析技术将运行数以百万计的这些模拟,调整所有可能的变量,直到找到有助于解决问题的模式或洞察力。

数据越来越以非结构化的形式出现在我们身上,这意味着数据不能轻易放入具有行和列的结构化表格中。这些数据中的大部分是图片和视频的形式-从卫星图像到上传到Facebook或Twitter的照片,以及电子邮件和即时通讯和录音电话。为了理解所有这些,大数据项目通常使用人工智能和机器学习的尖端分析。例如,通过教育电脑来识别这些数据所代表的内容——通过图像识别或自然语言处理,他们可以比人类更快速,更可靠的可靠地识别图案。

在过去的几年里,通过“即服务”平台,一个强烈的趋势是向大数据工具和技术的转移。企业和组织从第三方云服务提供商租用服务器空间、软件系统和处理能力。所有的工作都是在服务提供商的系统上进行的,客户只需支付所使用的任何费用。这种模式使得任何组织都可以访问大数据驱动的发现和转换,并消除了在硬件、软件、房地和技术人员身上花费大量资金的需要。

大数据存在的问题

今天,大数据给了我们前所未有的洞察力和机会,但也引发了必须解决的担忧和问题:

数据隐私——我们现在生成的大量数据包含了许多关于我们个人生活的信息,其中大部分是我们有权保持隐私的权利。越来越多的人被要求在我们泄露的个人数据量和大数据驱动的应用程序和服务提供的便利之间取得平衡。我们允许谁访问这些数据?

数据安全——即使我们同意某人由于特定目的拥有我们的数据,我们可以相信他们能保持数据的安全吗?现有的法律框架是否能够规范这种规模的数据使用?

数据歧视——当一切都被知晓时,根据人们生活中的数据来歧视人们是否会被接受?我们已经使用信用评分来决定谁可以借钱,而保险主要是由数据驱动的。我们可以期待更详细的分析和评估,并且必须注意,这样做不是为了使那些已经拥有较少资源和获取信息的人的生活变得更加困难。

面对这些挑战也是“大数据”的一部分。他们当然是关于在学术界使用大数据辩论的主要部分。但是,他们也必须由想要利用大数据业务的人来解决。如果不这样做,可能会导致巨额的罚款,因为做的任何事都与个人资料有关。我们一次又一次地看到,未能解决这些问题常常是大数据企业举措失败的原因之一。

当人们第一次开始谈论“大数据”时,有时被视为一种时尚——最新的时髦科技术语将被谈论一段时间,然后在下一个大事情中静静地被忘记。现在还没有被证明是这样的——事实上,虽然较新的流行语言已经弹出,但大数据仍然是所有这些的驱动力。我们可用的数据量只会增加,分析技术将变得更有能力。


Atas ialah kandungan terperinci 什么是大数据. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

Video Face Swap

Video Face Swap

Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Kemahiran pemprosesan struktur data besar PHP Kemahiran pemprosesan struktur data besar PHP May 08, 2024 am 10:24 AM

Kemahiran pemprosesan struktur data besar: Pecahan: Pecahkan set data dan proseskannya dalam bahagian untuk mengurangkan penggunaan memori. Penjana: Hasilkan item data satu demi satu tanpa memuatkan keseluruhan set data, sesuai untuk set data tanpa had. Penstriman: Baca fail atau hasil pertanyaan baris demi baris, sesuai untuk fail besar atau data jauh. Storan luaran: Untuk set data yang sangat besar, simpan data dalam pangkalan data atau NoSQL.

Lima trend pembangunan utama dalam industri AEC/O pada 2024 Lima trend pembangunan utama dalam industri AEC/O pada 2024 Apr 19, 2024 pm 02:50 PM

AEC/O (Seni Bina, Kejuruteraan & Pembinaan/Operasi) merujuk kepada perkhidmatan komprehensif yang menyediakan reka bentuk seni bina, reka bentuk kejuruteraan, pembinaan dan operasi dalam industri pembinaan. Pada tahun 2024, industri AEC/O menghadapi cabaran yang berubah-ubah di tengah-tengah kemajuan teknologi. Tahun ini dijangka menyaksikan integrasi teknologi termaju, menandakan anjakan paradigma dalam reka bentuk, pembinaan dan operasi. Sebagai tindak balas kepada perubahan ini, industri mentakrifkan semula proses kerja, melaraskan keutamaan, dan meningkatkan kerjasama untuk menyesuaikan diri dengan keperluan dunia yang berubah dengan pantas. Lima arah aliran utama berikut dalam industri AEC/O akan menjadi tema utama pada 2024, mengesyorkan ia bergerak ke arah masa depan yang lebih bersepadu, responsif dan mampan: rantaian bekalan bersepadu, pembuatan pintar

Perkongsian pengalaman pembangunan C++: Pengalaman praktikal dalam pengaturcaraan data besar C++ Perkongsian pengalaman pembangunan C++: Pengalaman praktikal dalam pengaturcaraan data besar C++ Nov 22, 2023 am 09:14 AM

Dalam era Internet, data besar telah menjadi sumber baharu Dengan peningkatan berterusan teknologi analisis data besar, permintaan untuk pengaturcaraan data besar menjadi semakin mendesak. Sebagai bahasa pengaturcaraan yang digunakan secara meluas, kelebihan unik C++ dalam pengaturcaraan data besar telah menjadi semakin menonjol. Di bawah ini saya akan berkongsi pengalaman praktikal saya dalam pengaturcaraan data besar C++. 1. Memilih struktur data yang sesuai Memilih struktur data yang sesuai adalah bahagian penting dalam menulis program data besar yang cekap. Terdapat pelbagai struktur data dalam C++ yang boleh kita gunakan, seperti tatasusunan, senarai terpaut, pepohon, jadual cincang, dsb.

Aplikasi algoritma dalam pembinaan 58 platform potret Aplikasi algoritma dalam pembinaan 58 platform potret May 09, 2024 am 09:01 AM

1. Latar Belakang Pembinaan 58 Portrait Platform Pertama sekali, saya ingin berkongsi dengan anda latar belakang pembinaan 58 Portrait Platform. 1. Pemikiran tradisional platform pemprofilan tradisional tidak lagi mencukupi Membina platform pemprofilan pengguna bergantung pada keupayaan pemodelan gudang data untuk menyepadukan data daripada pelbagai barisan perniagaan untuk membina potret pengguna yang tepat untuk memahami tingkah laku, minat pengguna dan keperluan, dan menyediakan keupayaan sampingan, akhirnya, ia juga perlu mempunyai keupayaan platform data untuk menyimpan, bertanya dan berkongsi data profil pengguna dan menyediakan perkhidmatan profil dengan cekap. Perbezaan utama antara platform pemprofilan perniagaan binaan sendiri dan platform pemprofilan pejabat pertengahan ialah platform pemprofilan binaan sendiri menyediakan satu barisan perniagaan dan boleh disesuaikan atas permintaan platform pertengahan pejabat berkhidmat berbilang barisan perniagaan, mempunyai kompleks pemodelan, dan menyediakan lebih banyak keupayaan umum. 2.58 Potret pengguna latar belakang pembinaan potret di platform tengah 58

Perbincangan tentang sebab dan penyelesaian kekurangan rangka kerja data besar dalam bahasa Go Perbincangan tentang sebab dan penyelesaian kekurangan rangka kerja data besar dalam bahasa Go Mar 29, 2024 pm 12:24 PM

Dalam era data besar hari ini, pemprosesan dan analisis data telah menjadi sokongan penting untuk pembangunan pelbagai industri. Sebagai bahasa pengaturcaraan dengan kecekapan pembangunan tinggi dan prestasi unggul, bahasa Go telah secara beransur-ansur menarik perhatian dalam bidang data besar. Walau bagaimanapun, berbanding dengan bahasa lain seperti Java dan Python, bahasa Go mempunyai sokongan yang agak tidak mencukupi untuk rangka kerja data besar, yang telah menyebabkan masalah bagi sesetengah pembangun. Artikel ini akan meneroka sebab utama kekurangan rangka kerja data besar dalam bahasa Go, mencadangkan penyelesaian yang sepadan dan menggambarkannya dengan contoh kod khusus. 1. Pergi bahasa

Bermula: Menggunakan Bahasa Go untuk Memproses Data Besar Bermula: Menggunakan Bahasa Go untuk Memproses Data Besar Feb 25, 2024 pm 09:51 PM

Sebagai bahasa pengaturcaraan sumber terbuka, bahasa Go secara beransur-ansur mendapat perhatian dan penggunaan yang meluas dalam beberapa tahun kebelakangan ini. Ia digemari oleh pengaturcara kerana kesederhanaan, kecekapan, dan keupayaan pemprosesan serentak yang berkuasa. Dalam bidang pemprosesan data besar, bahasa Go juga mempunyai potensi yang kuat Ia boleh digunakan untuk memproses data besar-besaran, mengoptimumkan prestasi, dan boleh disepadukan dengan baik dengan pelbagai alatan dan rangka kerja pemprosesan data besar. Dalam artikel ini, kami akan memperkenalkan beberapa konsep asas dan teknik pemprosesan data besar dalam bahasa Go dan menunjukkan cara menggunakan bahasa Go melalui contoh kod tertentu.

AI, kembar digital, visualisasi... Sorotan Persidangan Pelancaran Produk Musim Luruh Yizhiwei 2023! AI, kembar digital, visualisasi... Sorotan Persidangan Pelancaran Produk Musim Luruh Yizhiwei 2023! Nov 14, 2023 pm 05:29 PM

Pelancaran produk musim luruh 2023 Yizhiwei telah berakhir dengan jayanya! Marilah kita sama-sama meninjau sorotan persidangan itu! 1. Keterbukaan inklusif pintar menjadikan kembar digital produktif Ning Haiyuan, pengasas bersama Kangaroo Cloud dan Ketua Pegawai Eksekutif Yizhiwei, membuat ucapan pembukaan: Pada mesyuarat strategik syarikat tahun ini, kami meletakkan hala tuju utama penyelidikan dan pembangunan produk sebagai “inklusif pintar. keterbukaan” "Tiga keupayaan teras, memfokuskan pada tiga kata kunci teras "keterbukaan inklusif pintar", kami seterusnya mencadangkan matlamat pembangunan "menjadikan kembar digital sebagai kuasa yang produktif". 2. EasyTwin: Teroka enjin kembar digital baharu yang lebih mudah digunakan 1. Dari 0.1 hingga 1.0, teruskan meneroka enjin pemaparan gabungan kembar digital untuk mendapatkan penyelesaian yang lebih baik dengan mod penyuntingan 3D yang matang, pelan tindakan interaktif yang mudah dan aset model yang besar

Golang dan data besar: padanan sempurna atau bertentangan? Golang dan data besar: padanan sempurna atau bertentangan? Mar 05, 2024 pm 01:57 PM

Golang dan data besar: padanan sempurna atau bertentangan? Dengan perkembangan pesat teknologi data besar, semakin banyak syarikat mula mengoptimumkan perniagaan dan membuat keputusan melalui analisis data. Untuk pemprosesan data besar, bahasa pengaturcaraan yang cekap adalah penting. Di antara banyak bahasa pengaturcaraan, Golang (bahasa Go) telah menjadi salah satu pilihan popular untuk pemprosesan data besar kerana keselarasannya, kecekapan, kesederhanaan dan ciri-ciri lain. Jadi, adakah Golang dan data besar padanan sempurna atau bercanggah? Artikel ini akan bermula daripada aplikasi Golang dalam pemprosesan data besar,