AI 대형 모델이 산업의 바다를 향해 항해하고 있고, 이를 길잡이로 삼을 고품질 데이터 '강'이 필요하다.

업계 정상회담에서 칭화대학교의 학자 과학자는 우리의 대형 AI 모델이 Wanka 클러스터에서 훈련되고 3시간마다 오류가 발생한다고 밝혔습니다. 좀 우스꽝스럽게 들리지만, 이것은 세계의 발전된 수준에 도달했습니다

전 세계적으로 인기를 끌고 있는 대형 AI 모델은 올해에도 단연 화제이며, 그 수는 계속해서 놀라운 수준에 도달하고 있습니다. “권력을 놓고 경쟁하는 수백 명의 경쟁자” 속에서 모두가 종종 중요한 문제를 간과합니다. 대규모 AI 모델이 가져오는 데이터의 급류는 상상보다 더 격동적입니다.

믿을 수 없을 만큼 엄청난 실패율처럼 들리는 “3시간에 한 번씩 오류가 발생한다”는 사실은 대형 모델 실무자, 심지어 “우등생”이 직면하는 표준입니다. 현재 업계의 일반적인 관행은 내결함성 체크포인트를 작성하는 것입니다. 3시간 이내에 오류가 보고되므로 2.5시간마다 중지하고 체크포인트를 작성하고 데이터를 저장한 후 다시 학습을 시작해야 합니다. 오류가 발생하면 작성된 체크포인트에서 복구하여 "처음부터 시작"하여 모든 작업을 헛되이 수행하는 것을 방지할 수 있습니다. 체크포인트는 많은 양의 데이터를 저장해야 하며 많은 시간을 소모합니다. 학술팀은 라마 2 아키텍처를 기반으로 대규모 모델을 개발했습니다. 데이터를 하드웨어에 한 번 저장하는 데는 10시간이 걸립니다. 저장 효율성은 개발 진행에 직접적인 영향을 미칩니다.

대규모 이기종 데이터가 마구 솟아오르는 급류라면, 스토리지 시스템은 데이터 흐름을 운반하는 강이다. 그 폭과 견고성이 데이터가 차단될지 아니면 정체할지를 직접적으로 결정하여 대규모 AI 모델의 생명선을 차단한다. 대형 모델 업계 전체의 생산성과 효율성은 스토리지에 따라 '상한'됐다고 할 수 있다.

이것이 AI 데이터 인프라로서 스토리지가 점점 더 주목받는 이유입니다.

11월 29일, '디지털 혁신 AI 미래' 2023년 중국 데이터 및 스토리지 서밋이 베이징에서 열렸습니다. 수곤스토리지가 대규모 AI 모델을 위한 스토리지 솔루션을 출시했다.

이번 기회를 통해 AI 대형 모델의 물결로 인해 스토리지에 발생한 부하 운반 문제와 수곤스토리지가 어떻게 지능형 산업을 선도하고 AI 대형 모델의 항해를 촉진하는지 알아보세요.

AI 대형 모델이 업계의 심해 영역에 진출하고 있으며 기존 저장 방식은 데이터 문제에 직면해 있습니다

최근 운남에 가보니 베이징, 상하이, 광저우 등 과학기술센터는 물론 쿤밍, 다리 등 2선, 3선 도시, 심지어 중국에서도 대형 모형 건설이 한창인 것을 알 수 있었습니다. 국경 지역, 대형 모형 산업 응용이 활발히 모색되고 있습니다.

모든 계층이 지능화를 향해 나아가면서 거의 모든 사람들이 대형 모델에 대한 뜨거운 관심을 불러일으켰습니다. 이때 대규모 AI 모델의 산업화 추세에 따라 스토리지 인프라 업그레이드가 필요하다는 핵심 이슈도 대두됐다.

모델 개발자가 훈련할 때마다 데이터는 스토리지 시스템에 다양한 문제를 제기합니다.

1. 데이터 홍수의 영향. 업계에서 대형 모델을 구현하면서 많은 산업에서 독점 모델을 훈련하기 시작했습니다. 대량의 업계 데이터, 독점 데이터 및 새로운 주석 데이터가 대형 모델에 공급됩니다. 저장 시스템. 운남성의 한 데이터 기술 회사는 대규모 산업 모델을 고품질 데이터 세트, 문서 및 고객 개인 데이터로 교육해야 한다고 언급했습니다. 비용도 증가합니다.

2. 데이터 혼잡의 족쇄. 매우 큰 규모의 데이터 전처리는 느리고 시간이 많이 걸립니다. 수집, 분류, 재배치 및 기타 프로세스는 시간이 많이 걸리고 힘듭니다. 저장 성능이 유지되지 않으면 대용량 파일의 처리량이 느려지고 읽기 작업이 늘어납니다. 글쓰기, 체크포인트 대기 시간이 길어져 개발 진행이 지연되고 개발 비용이 증가하게 됩니다.

3. 복잡한 데이터의 저류. 또한 대규모 AI 모델은 파일 형식이 복잡하고 데이터 세트 유형이 다양하며 데이터 볼륨이 급증하는 등 대량의 이기종 데이터를 사용합니다. 기존 스토리지는 데이터 복잡성 문제에 대처하기 어렵고 소화 불량 문제가 발생하기 쉽습니다. 결과적으로 모델의 운영 효율성이 감소하고 훈련 컴퓨팅 전력 소비가 증가하며 값비싼 GPU 컴퓨팅 리소스를 완전히 "압축"할 수 없습니다. 예를 들어 윈난(Yunnan)의 지역 태양 관측소는 AI 과학 컴퓨팅 모델을 사용하여 태양의 실제 모습을 표현하기 위해 대규모 이미지를 학습하고 매일 2TB의 이미지 데이터를 생성하며 현재 스토리지 처리량 효율성이 낮아 로딩 속도가 느려집니다. 훈련 세트와 긴 데이터 처리 주기로 인해 연구 프로세스가 느려집니다.

4. 데이터 보안 문제. 현재 대규모 AI 모델은 다양한 산업에 깊이 침투해 있으며, 산업 또는 개인의 민감한 정보가 포함된 데이터를 포함하여 교육, 개발 및 애플리케이션 구현 중에 대규모 데이터 지원이 필요합니다. 데이터 유출로 인해 산업과 개인에게 손실이 발생합니다. 동시에 모델 보안 위험도 심각하게 받아들여야 합니다. 예를 들어, 플러그인에는 유해한 콘텐츠가 이식되어 범죄자가 사기 및 "중독"을 저지르는 도구가 되어 사회 및 산업 보안을 위험에 빠뜨릴 수 있습니다.

AI 대형 모델이 산업의 심해 영역으로 향하고 있습니다. 만족스러운 점은 이러한 기술 혁신이 각계각층에 깊이 접목되어 지능의 요구를 충족시키고 활력이 넘친다는 것입니다. 그러나 몇 가지 우려 사항도 있습니다. 데이터 엔지니어링은 많은 양의 데이터가 필요한 데이터 수집, 정리, 교육, 추론 배포, 피드백 튜닝을 포함하여 대규모 모델의 전체 수명 주기에서 중요한 역할을 합니다. 그러나 스토리지 문제가 병목 현상이 되어 대형 AI 모델이 모든 단계에서 데이터 정체, 오류 및 비효율성에 직면할 수 있으며, 이로 인해 업계의 경제성을 넘어서는 개발 주기가 매우 길어지고 대형 모델의 포괄적인 비용이 발생하게 됩니다.

데이터 침묵을 방지하고 대규모 모델의 산업 발전을 지원 및 육성하려면 저장 "강"을 준설해야 합니다. 수곤스토리지는 우리에게 귀중한 참고 사례를 찾아준 새로운 솔루션을 제공했습니다

고품질 데이터 '채널', 대형 모델 업계의 해답을 제시하는 수곤스토리지

대형 AI 모델 개발자들과 소통한 후 저는 명확한 결론에 도달했습니다. 대규모 AI 모델에 적합한 새로운 스토리지 시스템을 구축하려면 더 이상 논의가 필요하지 않습니다. 핵심은 누가 먼저 솔루션 업그레이드를 완료하고 실용적인 솔루션을 제공할 수 있느냐 하는 것입니다.

수곤스토리지는 업계의 스토리지 요구 사항을 파악하고 ParaStor 대형 모델 전용 스토리지를 기반으로 AI 대형 모델 스토리지 솔루션을 만들고, 자체적인 답변을 작성했습니다.

Sugon Storage AI 대형 모델 스토리지 클러스터에는 이기종 융합, 최고의 성능 및 기본 보안이라는 세 가지 주요 기능이 있습니다.

우선 수천억 개의 파일 저장 서비스를 제공할 수 있고, 확장 규모도 무제한에 가깝습니다. 또한 데이터 액세스 프로토콜 다양성 문제를 구체적으로 해결하고 파일 및 개체와 같은 다중 스토리지 프로토콜을 지원하여 서로 다른 스토리지 시스템 간의 데이터 복사를 방지합니다

둘째, AI 대형 모델 개발 과정에서 데이터 처리 효율성에 대한 높은 요구에 부응하여 Sugon Storage AI 대형 모델 스토리지 클러스터는 다단계 캐시 가속, XDS 데이터 가속 및 지능형과 같은 다중 데이터 IO 성능 최적화 기능을 제공할 수 있습니다. 고속 라우팅.

전체 프로세스에서 데이터 보안을 보장하기 위해 Sugon 스토리지 노드는 칩 수준의 보안 기능을 제공하고 국가 비밀 명령어 세트를 지원합니다. 다단계 신뢰성을 통해 스토리지 클러스터가 교육 및 개발의 전체 주기에 걸쳐 정책 및 향후 보안 동향에 맞춰 안정적으로 작동하도록 보장할 수 있습니다

어떤 사람들은 시중에 너무 많은 스토리지 솔루션이 있다고 물을 수도 있고, 어떤 사람들은 모델 개발에 대한 전문적인 지원을 제공한다고 광고하기도 합니다. 수곤스토리지 솔루션의 차별화된 가치는 무엇인가요?

각 회사의 기술 용어와 제품 세부 사항이 헷갈린다면, 수곤 스토리지 AI 대형 모델 스토리지 클러스터의 차별화된 가치를 기억하기 위해 몇 가지 단어를 사용하는 것이 좋습니다.

1. 고급. 이종 융합, 최고의 성능, 칩 수준의 기본 보안은 Sugon Storage의 기술 발전을 보여주며 특히 대용량 데이터 볼륨, 복잡하고 다양한 데이터 형식, 낮은 처리 효율성, 긴 저장 및 계산 시간 문제를 해결합니다. 모델 개발의 실제 문제점.

2. 신뢰할 수 있습니다. 고성능 AI 데이터 인프라는 수곤스토리지의 자체 개발 혁신을 기반으로 정보혁신 정책과 미래 보안 트렌드에 맞춰 더욱 안정적이고 안전하게 구현되며, 국내 대형 모델 서비스 제공업체가 해외 공급망 리스크를 피할 수 있도록 지원합니다. , 공급망 보안, 데이터 보안 및 모델 안전 및 기타 측면에서 대형 모델 산업의 발전을 보호합니다.

3. 종합. Sugon Storage는 네트워크, 컴퓨팅 및 플랫폼을 포괄하는 전면적인 AI 솔루션을 만들어 훈련 및 개발 주기 전반에 걸쳐 안정적인 운영을 지원함으로써 전체 비용을 절감하고 대형 모델 개발자 및 업계 고객이 걱정 없이 나아갈 수 있도록 해줍니다.

정리하자면, 수곤스토리지가 구축한 고품질 '채널'에서는 대규모 데이터를 효율적으로 처리할 수 있고, 대규모 AI 모델 개발이 가속화될 수 있으므로, 산업계와 기업이 주도적으로 대형 모델을 심층적으로 통합할 수 있습니다. 수직적 시나리오와 비즈니스를 통해 지능형 시대로 나아가세요.

제5패러다임의 새로운 출발점, 도약과 번영을 위해 경쟁하는 수많은 기업의 모습을 관찰

Turing Award 수상자 Jim Gray는 데이터 기반이 핵심인 네 번째 패러다임을 제안한 적이 있습니다. 대규모 언어 모델에서 "지능의 출현"과 함께 "지능 중심"의 다섯 번째 패러다임은 데이터와 지능의 유기적 결합에 더 중점을 두고 과학 혁명과 산업 혁명을 지원하는 새로운 기본 논리가 됩니다.

과거의 모든 것은 프롤로그입니다. 인공지능도 마찬가지고, 스토리지도 마찬가지입니다

이 컨퍼런스에서 Sugon Storage Company의 Hui Runhai 사장은 AI 스토리지 기술 혁신, 액체 냉각 스토리지 연구 및 개발 및 기타 분야에서 20년간의 업계 경험과 선도적인 관행을 인정받아 '스토리지 개척자'라는 칭호를 받았습니다. 그의 리더십 하에 Sugon 분산 파일 스토리지는 시장 점유율 1위를 차지하며 수년 동안 계속해서 시장을 선도해 왔습니다. AI 대형 모델을 위한 데이터 스토리지 솔루션은 수곤스토리지를 다시 한번 시대의 선두로 끌어올렸습니다.

수곤스토리지의 AI 대형 모델 스토리지 클러스터는 새로운 데이터 패러다임에 적응하고 데이터 인프라 혁신을 통해 대형 모델 산업화의 활발한 발전을 촉진하기 위해 패러다임 전환을 적극적으로 실천하고 있습니다

다음으로, 스토리지 산업의 새로운 패러다임이자 새로운 출발점인 수곤스토리지의 고품질 데이터 '강'에서 스트림을 놓고 경쟁하는 수백 개의 대형 산업 모델, 수천 개의 돛을 경주하는 AI 애플리케이션, 그리고 스마트 차이나를 향해 속도를 내고 있다.

위 내용은 AI 대형 모델이 산업의 바다를 향해 항해하고 있고, 이를 길잡이로 삼을 고품질 데이터 '강'이 필요하다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!