빅데이터 출현의 결과는 무엇인가?

빅데이터의 출현은 데이터의 양적 변화에서 질적 변화가 축적된 결과입니다.

빅데이터(big data)는 IT 업계 용어로 기존 소프트웨어 도구로는 일정 시간 내에 수집, 관리, 처리할 수 없는 데이터의 집합을 말하며, 새로운 처리 모델 이러한 방식을 통해서만 우리는 더 강력한 의사 결정력, 통찰력 발견 및 프로세스 최적화 기능을 갖춘 거대하고 고성장하며 다양한 정보 자산을 확보할 수 있습니다.

빅데이터 출현 이유:

대부분의 기술 혁신은 실제 제품 요구에서 비롯됩니다. 빅데이터는 원래 Google의 검색 엔진에서 탄생했습니다. 웹 2.0 시대가 도래하면서 인터넷상의 데이터 양이 폭발적으로 증가하고 있으며, 정보 검색 요구를 충족시키기 위해서는 대용량 데이터 저장에 대한 필요성이 매우 강해지고 있습니다.

비용적 고려로 인해 하드웨어를 업그레이드하여 대량의 데이터를 검색하는 것이 점점 비실용화되고 있어 Google에서는 일반 PC를 사용하여 안정적인 소프트웨어 기반 파일 저장 시스템인 GFS를 제안하여 대용량 저장을 지원합니다. 병렬로.

저장된 데이터는 가치가 낮고 실제 애플리케이션 요구 사항에 맞게 데이터만 처리할 수 있으므로 Google은 클러스터의 힘을 활용하여 복잡한 계산을 줄일 수 있는 MapReduce 컴퓨팅 모델을 만들었습니다. 각 일반 PC로 분할하여 계산이 완료된 후 요약하여 최종 계산 결과를 얻습니다. 이러한 방식으로 머신 수를 직접 늘리면 더 나은 컴퓨팅 성능을 얻을 수 있습니다.

GFS와 MapReduce를 사용하면 파일 저장 및 운영은 해결되었지만 새로운 문제가 발생했습니다. GFS의 임의 읽기 및 쓰기 기능은 매우 열악하며, Google은 원래 독립형 데이터베이스로 해결한 문제를 Google에 비극으로 만들었으므로 Google은 또 다른 데이터베이스를 개발했습니다. BigTable 시스템은 GFS 파일 저장 시스템과 분산 잠금 관리 시스템인 Chubby를 사용하여 BigTable과 같은 컬럼형 데이터베이스 시스템을 설계합니다.

위 내용은 빅데이터 출현의 결과는 무엇인가?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!