빅데이터 시대, 데이터 활용의 핵심은 무엇일까?-일반적인 문제-php.cn

빅데이터 시대, 데이터 활용의 핵심은 무엇일까?

王林

풀어 주다： 2023-02-09 14:02:04

원래의

36398명이 탐색했습니다.

빅데이터 시대 데이터 활용의 핵심은 데이터 재사용입니다. 빅데이터란 기존 소프트웨어 도구로는 특정 시간 내에 수집, 관리, 처리할 수 없는 데이터의 집합체를 말한다. 빅데이터는 대용량, 고속, 다양성, 낮은 가치밀도, 진정성을 특징으로 합니다.

빅데이터 시대, 데이터 활용의 핵심은 무엇일까?

이 튜토리얼의 운영 환경: Windows 10 시스템, Dell G3 컴퓨터.

상세 소개:

IT 업계 용어인 빅데이터(big data)는 일정 기간 내에 기존 소프트웨어 도구로는 수집, 관리, 처리할 수 없는 데이터의 집합을 의미합니다. 의사 결정, 통찰력 발견 및 프로세스 최적화 기능을 위한 대규모, 고성장 및 다양한 정보 자산입니다.

Victor Meier-Schoenberg와 Kenneth Cukier가 쓴 "The Age of Big Data"[1]에서 빅데이터는 무작위 분석(표본 조사)과 같은 지름길을 사용하는 것이 아니라 모든 데이터를 분석 거래에 사용하는 것을 의미합니다. IBM이 제안한 빅데이터의 5V 특성: 볼륨(Volume), 속도(Velocity), 다양성(Variety), 가치(Value), 진실성(Veracity).

특징:

볼륨: 데이터의 크기는 고려되는 데이터의 가치와 잠재적 정보를 결정합니다.

다양성: 데이터 유형의 다양성

속도: 데이터 획득 속도를 나타냅니다. (가변성): 데이터를 처리하고 효과적으로 관리하는 과정을 방해합니다.

진실성: 데이터의 품질.

복잡성: 데이터의 양이 방대하며 여러 채널에서 나옵니다.

가치: 빅데이터를 합리적으로 활용하여 저렴한 비용으로 높은 가치를 창출합니다.

관련 확장:

"빅 데이터" 연구 기관인 Gartner가 이런 정의를 내렸습니다. "빅데이터"는 거대하고 높은 성장률과 다양화된 정보 자산에 적응하기 위해 더 강력한 의사결정력, 통찰력 발견 및 프로세스 최적화 기능을 갖춘 새로운 처리 모델이 필요합니다.

McKinsey Global Institute에서 정의한 정의는 다음과 같습니다. 획득, 저장, 관리 및 분석이 기존 데이터베이스 소프트웨어 도구의 기능을 크게 능가하는 대규모 데이터 컬렉션입니다. 이는 대규모 데이터 규모, 빠른 데이터 흐름, 다양한 데이터를 갖추고 있습니다. 유형과 낮은 가치 밀도는 네 가지 주요 특징입니다.

빅데이터 기술의 전략적 중요성은 거대한 데이터 정보를 마스터하는 것이 아니라 이러한 의미 있는 데이터를 전문적으로 처리하는 데 있습니다. 즉, 빅데이터를 산업에 비유한다면, 이 산업의 수익성의 핵심은 데이터의 '처리 능력'을 향상시키고, '가공'을 통해 데이터의 '부가가치'를 달성하는 데 있습니다.

기술적으로 빅데이터와 클라우드 컴퓨팅의 관계는 동전의 양면처럼 뗄 수 없는 관계입니다. 빅데이터는 단일 컴퓨터로 처리할 수 없으며 분산 아키텍처를 사용해야 합니다. 대용량 데이터의 분산 데이터 마이닝이 특징이다. 그러나 분산 처리, 분산 데이터베이스 및 클라우드 스토리지, 클라우드 컴퓨팅의 가상화 기술에 의존해야 합니다.

클라우드 시대가 도래하면서 빅데이터(Big Data) 역시 더욱 주목을 받고 있습니다. 분석가 팀은 빅데이터가 일반적으로 회사에서 생성된 대량의 비정형 및 반정형 데이터를 설명하는 데 사용되며, 분석을 위해 관계형 데이터베이스에 다운로드하는 데 너무 많은 시간과 비용이 소요된다고 믿습니다. 대규모 데이터 세트를 실시간으로 분석하려면 작업을 수십, 수백, 심지어 수천 대의 컴퓨터에 배포하기 위한 MapReduce와 같은 프레임워크가 필요하기 때문에 빅 데이터 분석은 종종 클라우드 컴퓨팅과 연관됩니다.

빅데이터는 많은 양의 데이터를 허용 가능한 시간 동안 효과적으로 처리하기 위해 특별한 기술이 필요합니다. 빅데이터에 적용할 수 있는 기술로는 MPP(대량병렬처리) 데이터베이스, 데이터 마이닝, 분산 파일 시스템, 분산 데이터베이스, 클라우드 컴퓨팅 플랫폼, 인터넷, 확장 가능한 스토리지 시스템 등이 있습니다.

가장 작은 기본 단위는 비트이며 모든 단위는 비트, 바이트, KB, MB, GB, TB, PB, EB, ZB, YB, BB, NB, DB의 순서로 지정됩니다.

전진률 1024(2의 10승)에 따라 계산됩니다.

1바이트 =8비트

1KB = 1,024바이트 = 8192비트

1MB = 1,024KB = 1,048,576바이트

1GB = 1,024MB = 1,048,576KB

1TB = 1,024GB = 1,048,576MB

1PB = 1,024TB = 1,048,576GB

1EB = 1,024PB = 1,048,576TB

1ZB = 1,024EB = 1,048,576PB

1YB = 1,024ZB = 1,048,576EB

1BB = 1,024YB = 1,048,576ZB