Linux 분산 파일 시스템이란 무엇입니까?

Linux 분산 파일 시스템에는 다음이 포함됩니다. 1. 오픈 소스 분산 파일 시스템인 OpenAFS 2. 내결함성이 있는 네트워크 분산 파일 시스템인 MooseFs 3. 확장 가능한 분산 파일 시스템인 googleFs , 등.

이 튜토리얼의 운영 환경: linux5.9.8 시스템, Dell G3 컴퓨터.

Linux 분산 파일 시스템이란 무엇입니까?

• NFS (www.tldp.org/HOWTO/NFS-HOWTO/index.html)

네트워크 파일 시스템은 FreeBSD에서 지원하는 파일 시스템 중 하나이며 NFS라고도 합니다.

NFS를 사용하면 한 시스템이 네트워크의 다른 시스템과 디렉터리 및 파일을 공유할 수 있습니다. NFS를 사용하면 사용자와 프로그램은 마치 로컬 파일인 것처럼 원격 시스템의 파일에 액세스할 수 있습니다. 이점은 다음과 같습니다.

1. 일반 데이터를 하나의 컴퓨터에 저장하고 네트워크를 통해 액세스할 수 있으므로 로컬 워크스테이션은 디스크 공간을 덜 사용합니다.

2. 사용자는 네트워크의 모든 시스템에 홈 디렉터리를 가질 필요가 없습니다. 홈 디렉토리는 NFS 서버에 배치할 수 있으며 네트워크의 어느 곳에서나 사용할 수 있습니다.

3. 플로피 드라이브, CDROM, ZIP과 같은 저장 장치는 네트워크의 다른 컴퓨터에서 사용할 수 있습니다. 전체 네트워크에서 이동식 미디어 장치의 수를 줄일 수 있습니다.

개발 언어 c/c++는 여러 플랫폼에서 실행될 수 있습니다.

• OpenAFS (www.openafs.org)

OpenAFS는 시스템이 LAN과 WAN을 통해 파일과 리소스를 공유할 수 있게 해주는 오픈 소스 분산 파일 시스템입니다. OpenAFS는 셀이라고 불리는 파일 서버 그룹을 중심으로 구성됩니다. 각 서버의 ID는 일반적으로 파일 시스템에 숨겨져 있습니다. AFS 클라이언트에서 로그인하는 사용자는 사용자의 관점에서 볼 때 어떤 서버에서 실행되고 있는지 알 수 없습니다. 보세요, 그들은 인식된 Unix 파일 시스템 의미를 지닌 단일 시스템에서 실행되기를 원합니다.

파일 시스템 내용은 일반적으로 셀 전체에 걸쳐 복사되며, 하드 디스크 하나에 장애가 발생하더라도 OpenAFS 클라이언트의 작동이 손상되지 않습니다. OpenAFS는 자주 사용되는 파일에 액세스하려면 최대 1GB의 대용량 클라이언트 캐시가 필요합니다. ACL(액세스 제어 목록)을 사용하여 일반적인 Linux 및 Unix 보안 모델을 기반으로 하지 않는 세분화된 액세스를 허용하는 매우 안전한 Kerbero 기반 시스템입니다. Linux에서 실행되는 개발 계약 IBM Public.

• MooseFs (derf.homelinux.org)

Moose 파일 시스템은 내결함성 기능을 갖춘 네트워크 분산 파일 시스템입니다. MooseFs는 FUSE를 사용하여 이를 보이게 만듭니다. 유닉스 파일 시스템이다. 하지만 여전히 단일 실패 지점 문제를 해결할 수 없다는 문제가 있습니다. 개발 언어는 Perl이며, 여러 플랫폼에서 작동할 수 있습니다.

• pNFS(www.pnfs.com)

NFS(네트워크 파일 시스템)는 대부분의 LAN(근거리 통신망)에서 중요한 부분입니다. 그러나 NFS는 적어도 이전에는 고성능 컴퓨팅에서 까다로운 입력 책장 집약적 프로그램에는 적합하지 않습니다. NFS 표준의 범죄적 수정에는 전송 속도를 몇 배나 높이는 파일 공유의 병렬 구현인 pNFS(병렬 NFS)가 포함되어 있습니다.

개발 언어 c/c++, Linux에서 실행됩니다.

• googleFs

은 비교적 우수한 확장성을 갖춘 분산 파일 시스템으로, 대용량 데이터에 액세스하는 대규모 분산 애플리케이션에 사용된다고 합니다. 저렴한 일반 하드웨어에서 실행되지만 내결함성을 제공할 수 있으며, 다수의 사용자에게 고성능 서비스를 제공할 수 있습니다. Google이 직접 개발했습니다.

관련 확장자:

일반적으로 사용되는 분산 파일 시스템에는 GFS, TFS, HDFS, MooseFs, FastDfs, MogileFs, GridFs, MinIO, SeaweedFS, GlusterFS, Ceph, GlusterFS 등이 있습니다.

일반적인 분산 파일 시스템 비교

1. GFS (Google File System)
Google에서 기업의 요구에 맞게 개발한 확장 가능한 분산 파일 시스템으로 대용량, 분산형, 빅데이터용으로 사용됩니다. 저렴한 비용으로 접근 및 적용할 수 있으며, 값싼 일반 하드웨어에 적용된다. 그러나 오픈소스가 아니므로 당분간 고려되지 않을 것이다.

2. TFS(Taobao File System)
Taobao의 소규모 파일 저장 요구 사항을 충족하기 위해 Alibaba가 개발한 확장 가능하고 가용성이 뛰어난 고성능 인터넷 서비스 지향 오픈 소스 분산 파일 시스템입니다. 공통 Linux 시스템 클러스터를 기반으로 구축된 는 외부 세계에 대한 신뢰성이 높고 동시성 높은 스토리지 액세스를 제공할 수 있습니다. TFS는 Taobao에 대용량의 작은 파일 저장 공간을 제공합니다. 일반적으로 파일 크기가 1M를 초과하지 않으므로 당분간 고려되지 않습니다.

3. HDFS (Hadoop Distributed File System)
Hadoop 분산 파일 시스템은 내결함성과 확장성이 높고, 저렴한 머신에 배포할 수 있기 때문에 분산 저장 및 컴퓨팅을 위한 범용 하드웨어에서 실행하기에 적합합니다. 빅데이터 처리에 적합하며 빅데이터의 오프라인 일괄 처리에 고유한 장점이 있습니다.
Hadoop은 Apache Lucene의 창립자인 Doug Cutting이 개발하여 널리 사용되는 텍스트 검색 라이브러리입니다. 이는 오픈 소스 웹 검색 엔진이자 Luene 프로젝트의 일부인 Apache Nutch에서 유래되었습니다. Aapche Hadoop 아키텍처는 MapReduce 알고리즘의 오픈 소스 애플리케이션이자 Google 제국의 중요한 초석입니다.

4. MooseFS
MooseFS는 폴란드의 중복 내결함성 분산 POSIX 파일 시스템으로, GFS 아키텍처를 참조하며 동시에 FUSE를 통해 파일 마운트를 지원합니다. 제공하는 웹 관리 인터페이스는 현재 파일 저장 상태를 확인하는 데 매우 편리하며, Perl로 작성되었으며 중대형 파일 응용 프로그램에 사용되므로 성능이 상대적으로 낮습니다. 실시간으로 접근할 수 있으므로 아직 고려하지 마세요.
설명: POSIX는 Portable Operating System Interface of UNIX(POSIX로 약칭)를 의미합니다. POSIX 표준은 운영 체제가 애플리케이션에 제공해야 하는 인터페이스 표준을 정의합니다.

5. FastDFS
Taobao의 Yu Qing 오픈 소스가 작성했습니다. 분산 파일 시스템이 개발되었습니다. 파일을 관리하며 그 기능에는 파일 저장, 파일 동기화, 파일 액세스(파일 업로드, 파일 다운로드) 등이 포함되어 대용량 저장 및 로드 밸런싱 문제를 해결합니다. 사진 앨범 웹사이트, 동영상 웹사이트 등 파일을 전달체로 사용하는 온라인 서비스에 적합합니다. FastDFS는 중복 백업, 로드 밸런싱, 선형 확장 및 기타 메커니즘을 완전히 고려하고 고가용성, 고성능 및 기타 지표에 초점을 맞춰 인터넷에 맞게 제작되었습니다. FastDFS는 파일을 제공하기 위해 고성능 파일 서버 클러스터를 구축하는 데 사용됩니다. 업로드, 다운로드 및 기타 서비스. 그러나 FastDFS 배포는 다소 번거롭고 SKD가 불완전합니다.

6. MogileFS
MogileFS는 Six Apart에서 개발하고 LiveJournal을 포함한 web2.0 사이트에서 널리 사용되는 효율적인 오픈 소스 자동 파일 백업 구성 요소 세트입니다. 다중 노드 중복성을 지원하고 자동 파일 복제를 활성화합니다. RAID가 필요하지 않습니다. 애플리케이션 계층은 아무것도 공유하지 않고 RAID를 직접 구현할 수 있습니다. 클러스터 인터페이스를 통해 서비스를 제공하고 애플리케이션 계층에서 작동합니다. HTTP를 사용하여 통신합니다.

중국에서 MogileFS를 사용하는 것으로 알려진 회사로는 yupoo, digg, Tudou, Douban, No.1 store, Dianping, Sogou, Anjuke 및 기타 웹사이트 등의 이미지 호스팅 웹사이트가 있으며, 기본적으로 많은 웹사이트와 사진의 용량이 초과됩니다. 30T.

7. GridFS
MongoDB는 잘 알려진 NoSql 데이터베이스입니다. GridFS는 16M(BSON)을 초과하는 파일(예: 사진, 오디오, 비디오 등)을 저장하고 복원하는 데 사용됩니다. 파일 제한) 파일을 저장하는 방법이지만 MonoDB 컬렉션에 저장됩니다. 확립된 복제 또는 샤딩 메커니즘을 직접 활용할 수 있으므로 파일 저장에 대한 장애 복구 및 확장이 쉽고 GridFS는 디스크 조각화를 생성하지 않습니다.

8. MinIO
MinIO는 Apache License v2.0 오픈 소스 프로토콜을 기반으로 하는 객체 스토리지 서비스입니다. Amazon S3 클라우드 스토리지 서비스 인터페이스와 호환되어 사진, 동영상, 로그 파일, 백업 데이터, 컨테이너/가상 머신 이미지 등 대용량 비정형 데이터를 저장하는 데 매우 적합하며, 객체 파일을 저장할 수 있습니다. kb에서 최대 5T까지 여러 범위에 이르는 모든 크기. 또한 다른 애플리케이션과 쉽게 결합할 수 있는 매우 가벼운 서비스입니다. MinIO는 단순성, 경량, 개발자 친화적, 낮은 학습 비용, 간단한 설치 및 작동, 즉시 사용 가능한 것이 특징입니다.

9. SeaweedFS
SeaweedFS는 go 언어를 기반으로 개발된 확장성이 뛰어난 오픈 소스 분산 스토리지 시스템으로, 수십억 개의 파일(결국 하드 디스크 크기에 따라 다름)을 저장할 수 있으며 속도가 빠르고 메모리를 거의 차지하지 않습니다. 시작하는 것은 fastDFS보다 훨씬 쉬우며 자체 Rest API가 함께 제공됩니다. 중소형 파일에 매우 효율적이지만 단일 볼륨의 최대 용량은 프로그램에 따라 30G로 제한되어 있으므로 100MB 이내의 파일을 저장하는 것이 좋습니다.

10. Ceph
Ceph는 Red Hat의 성숙한 분산 파일 시스템이자 엔터프라이즈급 기능을 갖춘 객체 스토리지 생태 환경이기도 합니다. 시스템은 고성능, 고가용성, 고확장성, 실시간 저장이라는 특징을 가지고 있습니다. ceph는 매우 강력하지만 배우는 데 비용이 많이 들고 설치 및 운영이 복잡합니다. Ceph는 C++로 작성되었으며, 저장 용량도 쉽게 PB 수준에 도달할 수 있습니다.

11. GlusterFS
GlusterFS는 미국 Gluster 사에서 개발한 POSIX 분산 파일 시스템(GPL 하의 오픈 소스)으로 주로 클러스터 시스템에 사용되며 고확장성, 고가용성, 고성능, 수평적 확장성의 특징을 가지고 있습니다. 그리고 메타데이터 서버 없이 설계되어 전체 서비스에 단일 장애 지점이 없습니다. 이 시스템은 주로 중형 및 대용량 파일용으로 설계되었으며 저장 용량은 쉽게 페타바이트에 도달할 수 있습니다. 확장 및 축소로 인해 많은 서버에 영향을 미치고 디렉터리에 있는 파일을 탐색하는 데 시간이 걸리며 작은 파일의 성능이 좋지 않다는 단점이 있습니다.

관련 추천: "Linux 비디오 튜토리얼"

위 내용은 Linux 분산 파일 시스템이란 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!