목차
모든 것은 데이터에 관한 것입니다.
다음은 집중해야 할 세 가지 영역입니다.
지금 고려해야 할 데이터 관리 전략
기술 주변기기 일체 포함 데이터 관리가 생성 AI에 미치는 영향

데이터 관리가 생성 AI에 미치는 영향

Jun 07, 2023 am 11:15 AM
일체 포함 기술 데이터 거버넌스

2023년은 모두가 이야기하는 기술인 ChatGPT가 주도하는 AI 시대의 주류 시작으로 우리가 기억하는 해가 될 것입니다.

ChatGPT와 같은 생성적 AI 언어 모델은 처음으로 AI가 실제 사람처럼 우리에게 말하고 산문, 시 및 우리가 창의적인 새로운 콘텐츠라고 생각하는 기타 것들을 생성할 수 있다는 점에서 우리의 상상력을 사로잡았습니다. 생성적 AI 솔루션을 사용하면 혁신 속도, 생산성 및 가치 전달 효율성을 높일 수 있는 획기적인 잠재력이 있을 수 있습니다. 제한 사항에도 불구하고 데이터 개인 정보 보호 및 관리 모범 사례에 대한 인식이 개선될 여지가 많습니다.

최근 기술 및 보안 분야의 많은 사람들은 인공 지능 기술 사용에 대한 이해와 적절한 규제 가드 레일이 부족하다는 사실에 경종을 울렸습니다. AI 도구 출력의 신뢰성, 지적 재산권, 민감한 데이터 유출, 개인 정보 보호 및 보안 문제 위반에 대한 우려가 표명되었습니다.

삼성의 ChatGPT 사건은 거대 기술 기업이 실수로 ChatGPT에 비밀을 유출했기 때문에 헤드라인을 장식했습니다. 이러한 작업을 수행하는 회사는 삼성만이 아닙니다. Cyberhaven 연구에 따르면 직원 중 4%가 민감한 회사 데이터를 대규모 언어 모델에 입력한 것으로 나타났습니다. 많은 사람들은 엔터프라이즈 데이터를 사용하여 모델을 훈련할 때 AI 회사가 해당 데이터를 다른 경우에 재사용할 수 있다는 사실을 깨닫지 못합니다.

더 이상 사이버 범죄의 미끼가 필요하지 않은 것처럼 사이버 보안 정보 회사인 RecordedFuture는 다음과 같이 밝혔습니다. “ChatGPT가 출시된 지 며칠 만에 우리는 다크 웹과 특별 액세스 포럼에서 결함이 있지만 완전히 공유한 수많은 위협 행위자를 발견했습니다. 기능적 악성 코드, 사회 공학 튜토리얼, 돈 버는 계획 등 - 모두 ChatGPT를 사용하여 가능했습니다."

개인 인터넷 액세스 엔지니어링 이사인 Jose Blaya는 개인 정보 보호 측면에서 개인 정보 보호 측면에서 개인 정보 보호 측면에서 도구를 사용할 때 ChatGPT 등록과 마찬가지로 오늘날의 검색 엔진과 마찬가지로 IP 주소, 브라우저 설정 및 탐색 활동에 액세스할 수 있습니다. 그러나 개인의 동의 없이 정치적 신념이나 성적 취향이 드러날 수 있고 당황스럽거나 심지어 경력을 파괴하는 정보가 공개될 수 있기 때문에 위험은 더 높습니다.

분명히 이러한 새로운 AI 기술을 구현하려면 더 나은 규정과 표준이 필요합니다. 그러나 기업의 인공지능 도입과 안전한 사용에 핵심적인 역할을 할 수 있는 데이터 거버넌스와 데이터 관리의 중요한 역할에 대한 논의는 부족하다.

모든 것은 데이터에 관한 것입니다.

다음은 집중해야 할 세 가지 영역입니다.

독점적인 사전 훈련된 AI 모델 또는 대규모 언어 모델(LLM)과 관련하여 데이터 거버넌스 및 투명성의 핵심 문제는 다음에 있습니다. 훈련 데이터. llm을 사용하는 기계 학습 프로그램에는 다양한 소스의 대규모 데이터 세트가 포함되어 있습니다. 문제는 LLM이 블랙박스이고 소스 데이터에 대한 투명성을 거의 제공하지 않는다는 것입니다. 우리는 출처의 신뢰성에 대해 편견이 없고 편견이 없지만 불법적인 개인 식별 정보나 사기성 데이터를 포함하지 않습니다. 예를 들어 Open AI는 소스 데이터를 공유하지 않습니다. 워싱턴 포스트(Washington Post)는 1,500만 개의 웹사이트를 포함하는 Google의 C4 데이터 세트를 분석한 결과 선동적이고 개인 식별 정보 데이터와 기타 의심스러운 콘텐츠가 포함된 수십 개의 불쾌한 사이트를 발견했습니다. 데이터 거버넌스는 데이터 소스에 대한 투명성을 요구하며 이러한 데이터 소스에서 얻은 지식의 유효성과 신뢰성을 보장합니다. 예를 들어, AI 봇은 확인되지 않은 소스나 가짜 뉴스 사이트의 데이터에 대해 교육을 받았을 수 있으며, 현재 회사의 새로운 정책이나 R&D 프로그램의 일부인 지식을 편향시킬 수 있습니다.

현재 다양한 인공 지능 공급업체는 데이터 격리 및 데이터 도메인을 포함하여 사용자 데이터 개인 정보 보호를 처리하기 위한 다양한 전략을 가지고 있습니다. 직원이 자신도 모르게 LLM에 데이터를 제공할 수 있지만 이 데이터가 모델의 지식 기반에 통합된다는 사실을 알지 못할 수도 있습니다. 기업이 의도치 않게 영업 비밀, 소프트웨어 코드, 개인 데이터를 대중에게 유출할 수도 있습니다. 일부 AI 솔루션은 사전 훈련된 모델에서 데이터를 제외하여 데이터 개인 정보를 보호하는 API와 같은 해결 방법을 제공하지만 이상적인 사용 사례는 사전 훈련된 모델을 사례별 데이터로 강화하고 데이터를 비공개로 유지하는 것이므로 가치가 제한됩니다. 사전 훈련된 AI 도구가 데이터 "도메인"의 개념을 이해하도록 하는 것이 문제에 대한 한 가지 해결책입니다. 훈련 데이터의 "공통" 필드는 사전 훈련에 사용되고 엔터티 간에 공유되는 반면, "독점 데이터"를 기반으로 하는 훈련 모델 확장은 조직 경계 내에서 안전하게 제한됩니다. 데이터 관리를 통해 이러한 경계가 생성되고 보존됩니다.

AI 기반 파생 작업은 AI 프로세스 및 궁극적으로 데이터 소유자와 관련된 데이터 관리의 세 번째 영역을 다룹니다. 코딩 문제를 해결하기 위해 AI 봇을 사용한다고 가정해 보겠습니다. 일반적으로 무언가를 올바르게 처리하지 않으면 버그나 오류가 발생하기 때문에 조사하고 수정하는 책임이 누구에게 있는지 알 수 있습니다. 하지만 AI를 사용하면 내가 AI에게 수행하도록 요청한 작업으로 인해 발생하는 모든 오류나 부정적인 결과에 대해 우리 조직이 책임을 집니다. 프로세스나 원본 데이터에 대해 투명하지 않더라도 마찬가지입니다. 기계를 비난할 수는 없습니다. 어딘가에서 실수를 하거나 나쁜 결과를 낸 것은 인간이었습니다. IP는 어떻습니까? 생성 AI 도구를 사용하여 만든 작품의 IP를 법정에서 어떻게 방어합니까? Harvard Business Review에 따르면 이미 예술계는 소송을 제기하기 시작했습니다.

지금 고려해야 할 데이터 관리 전략

이러한 초기 단계에서 우리는 불량 데이터, 개인 정보 보호 및 보안, 지적 재산, 기타 민감한 데이터 세트의 위험을 포함하여 AI에 대해 무엇을 모르고 있는지 모릅니다. . 인공 지능은 또한 LLM, 논리 기반 자동화와 같은 다양한 접근 방식을 사용하는 광범위한 분야입니다. 이는 데이터 거버넌스 정책과 데이터 관리 관행을 결합하여 탐구하는 주제 중 일부일 뿐입니다.

  • 생성 AI 실험을 일시 중지 위험을 완화하고 결과를 검증하기 위한 감독 전략, 정책,

및 절차가 있습니다.

  • 통합 데이터 관리 가이드: 데이터가 어디에 있든 상관없이 데이터를 확실하게 이해하는 것부터 시작하세요. 민감한 개인 정보와 고객 데이터는 어디에 있습니까? 얼마나 많은 IP 데이터가 있고 이러한 파일은 어디에 있습니까? 이러한 데이터 유형이 실수로 AI 도구에 입력되지 않도록 하고 보안 또는 개인정보 침해를 방지할 수 있습니까?

AI 애플리케이션에 불필요한 데이터를 제공하지 말고 민감한 독점 데이터를 공유하지 마세요. IP 및 고객 데이터를 잠그거나 암호화하여 공유를 방지합니다.

  • AI 도구가 데이터 소스를 투명하게 공개할 수 있는 방법과 여부를 이해하세요.

공급업체가 귀하의 데이터를 보호할 수 있습니까? Google은 블로그에서 이 진술을 공유했지만 "어떻게"는 명확하지 않습니다. 더 넓은 기본 모델 훈련 자료에는 사용되지 않습니다. 귀하가 제공하는 데이터가 소유자 또는 위임한 사람 또는 부서의 파생 작업에 대한 데이터인지 여부를 주의 깊게 검토하십시오. 이는 회사에서 생산한 모든 작업에 대해 궁극적으로 책임을 질 수 있고 AI가 프로세스에 어떻게 통합되는지, 그리고 누가 하는지 알고 싶기 때문에 유용합니다. IP 및 식별 기능의 데이터를 제거하고 향후 사용을 위해 공통 교육 데이터 세트에 제공하려고 합니다. 이 프로세스의 자동화 및 추적이 가능합니다.

현재 진행 중인 모든 업계 규정 및 지침을 계속 확인하세요. 위험 완화 및 데이터 관리를 구현하는 방법을 이해하기 위해 다른 조직의 동료를 개발하고 대화하세요.

생성 AI 프로젝트를 시작하기 전에 법률 전문가와 상담하여 이벤트에서 따라야 하는 위험과 프로세스를 이해하세요. 데이터 침해, 개인 정보 보호 및 지적 재산권 위반, 악의적 행위자 또는 허위/거짓 결과

기업의 인공 지능 실용적인 접근 방식

인공 지능은 전례 없는 속도로 발전하고 있으며 지속적으로 혁신하고 비용을 절감하고 있습니다. 가장 강력한 도구와 마찬가지로 인공 지능도 적절한 상황에서 신중하게 적용되어야 하며 보안을 보장하기 위한 명확한 표준은 없습니다. 인공지능 데이터 관리 분야에 대한 지속적인 연구가 필요합니다. 기업은 인공지능 애플리케이션과 가능한 데이터 보안 위험을 사용하기 전에 주의를 기울이고 데이터 노출 및 데이터 침해를 완전히 이해해야 합니다.

위 내용은 데이터 관리가 생성 AI에 미치는 영향의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
1 몇 달 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
1 몇 달 전 By 尊渡假赌尊渡假赌尊渡假赌
Will R.E.P.O. 크로스 플레이가 있습니까?
1 몇 달 전 By 尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Bytedance Cutting, SVIP 슈퍼 멤버십 출시: 연간 연속 구독료 499위안, 다양한 AI 기능 제공 Bytedance Cutting, SVIP 슈퍼 멤버십 출시: 연간 연속 구독료 499위안, 다양한 AI 기능 제공 Jun 28, 2024 am 03:51 AM

이 사이트는 6월 27일에 Jianying이 ByteDance의 자회사인 FaceMeng Technology에서 개발한 비디오 편집 소프트웨어라고 보도했습니다. 이 소프트웨어는 Douyin 플랫폼을 기반으로 하며 기본적으로 플랫폼 사용자를 위한 짧은 비디오 콘텐츠를 제작합니다. Windows, MacOS 및 기타 운영 체제. Jianying은 멤버십 시스템 업그레이드를 공식 발표하고 지능형 번역, 지능형 하이라이트, 지능형 패키징, 디지털 인간 합성 등 다양한 AI 블랙 기술을 포함하는 새로운 SVIP를 출시했습니다. 가격면에서 SVIP 클리핑 월 요금은 79위안, 연간 요금은 599위안(본 사이트 참고: 월 49.9위안에 해당), 월간 연속 구독료는 월 59위안, 연간 연속 구독료는 59위안입니다. 연간 499위안(월 41.6위안)입니다. 또한, 컷 관계자는 "사용자 경험 향상을 위해 기존 VIP에 가입하신 분들도

Rag 및 Sem-Rag를 사용한 상황 증강 AI 코딩 도우미 Rag 및 Sem-Rag를 사용한 상황 증강 AI 코딩 도우미 Jun 10, 2024 am 11:08 AM

검색 강화 생성 및 의미론적 메모리를 AI 코딩 도우미에 통합하여 개발자 생산성, 효율성 및 정확성을 향상시킵니다. EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG에서 번역됨, 저자 JanakiramMSV. 기본 AI 프로그래밍 도우미는 자연스럽게 도움이 되지만, 소프트웨어 언어에 대한 일반적인 이해와 소프트웨어 작성의 가장 일반적인 패턴에 의존하기 때문에 가장 관련성이 높고 정확한 코드 제안을 제공하지 못하는 경우가 많습니다. 이러한 코딩 도우미가 생성한 코드는 자신이 해결해야 할 문제를 해결하는 데 적합하지만 개별 팀의 코딩 표준, 규칙 및 스타일을 따르지 않는 경우가 많습니다. 이로 인해 코드가 애플리케이션에 승인되기 위해 수정되거나 개선되어야 하는 제안이 나타나는 경우가 많습니다.

미세 조정을 통해 LLM이 실제로 새로운 것을 배울 수 있습니까? 새로운 지식을 도입하면 모델이 더 많은 환각을 생성할 수 있습니다. 미세 조정을 통해 LLM이 실제로 새로운 것을 배울 수 있습니까? 새로운 지식을 도입하면 모델이 더 많은 환각을 생성할 수 있습니다. Jun 11, 2024 pm 03:57 PM

LLM(대형 언어 모델)은 대규모 텍스트 데이터베이스에서 훈련되어 대량의 실제 지식을 습득합니다. 이 지식은 매개변수에 내장되어 필요할 때 사용할 수 있습니다. 이러한 모델에 대한 지식은 훈련이 끝나면 "구체화"됩니다. 사전 훈련이 끝나면 모델은 실제로 학습을 중단합니다. 모델을 정렬하거나 미세 조정하여 이 지식을 활용하고 사용자 질문에 보다 자연스럽게 응답하는 방법을 알아보세요. 그러나 때로는 모델 지식만으로는 충분하지 않을 때도 있으며, 모델이 RAG를 통해 외부 콘텐츠에 접근할 수 있더라도 미세 조정을 통해 모델을 새로운 도메인에 적응시키는 것이 유익한 것으로 간주됩니다. 이러한 미세 조정은 인간 주석 작성자 또는 기타 LLM 생성자의 입력을 사용하여 수행됩니다. 여기서 모델은 추가적인 실제 지식을 접하고 이를 통합합니다.

7가지 멋진 GenAI 및 LLM 기술 인터뷰 질문 7가지 멋진 GenAI 및 LLM 기술 인터뷰 질문 Jun 07, 2024 am 10:06 AM

AIGC에 대해 자세히 알아보려면 다음을 방문하세요. 51CTOAI.x 커뮤니티 https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou는 인터넷 어디에서나 볼 수 있는 전통적인 문제 은행과 다릅니다. 고정관념에서 벗어나 생각해야 합니다. LLM(대형 언어 모델)은 데이터 과학, 생성 인공 지능(GenAI) 및 인공 지능 분야에서 점점 더 중요해지고 있습니다. 이러한 복잡한 알고리즘은 인간의 기술을 향상시키고 많은 산업 분야에서 효율성과 혁신을 촉진하여 기업이 경쟁력을 유지하는 데 핵심이 됩니다. LLM은 자연어 처리, 텍스트 생성, 음성 인식 및 추천 시스템과 같은 분야에서 광범위하게 사용될 수 있습니다. LLM은 대량의 데이터로부터 학습하여 텍스트를 생성할 수 있습니다.

당신이 모르는 머신러닝의 5가지 학교 당신이 모르는 머신러닝의 5가지 학교 Jun 05, 2024 pm 08:51 PM

머신 러닝은 명시적으로 프로그래밍하지 않고도 컴퓨터가 데이터로부터 학습하고 능력을 향상시킬 수 있는 능력을 제공하는 인공 지능의 중요한 분야입니다. 머신러닝은 이미지 인식, 자연어 처리, 추천 시스템, 사기 탐지 등 다양한 분야에서 폭넓게 활용되며 우리의 삶의 방식을 변화시키고 있습니다. 기계 학습 분야에는 다양한 방법과 이론이 있으며, 그 중 가장 영향력 있는 5가지 방법을 "기계 학습의 5개 학교"라고 합니다. 5개 주요 학파는 상징학파, 연결주의 학파, 진화학파, 베이지안 학파, 유추학파이다. 1. 상징주의라고도 알려진 상징주의는 논리적 추론과 지식 표현을 위해 상징을 사용하는 것을 강조합니다. 이 사고 학교는 학습이 기존을 통한 역연역 과정이라고 믿습니다.

대형 모델에 대한 새로운 과학적이고 복잡한 질문 답변 벤치마크 및 평가 시스템을 제공하기 위해 UNSW, Argonne, University of Chicago 및 기타 기관이 공동으로 SciQAG 프레임워크를 출시했습니다. 대형 모델에 대한 새로운 과학적이고 복잡한 질문 답변 벤치마크 및 평가 시스템을 제공하기 위해 UNSW, Argonne, University of Chicago 및 기타 기관이 공동으로 SciQAG 프레임워크를 출시했습니다. Jul 25, 2024 am 06:42 AM

편집자 |ScienceAI 질문 응답(QA) 데이터 세트는 자연어 처리(NLP) 연구를 촉진하는 데 중요한 역할을 합니다. 고품질 QA 데이터 세트는 모델을 미세 조정하는 데 사용될 수 있을 뿐만 아니라 LLM(대형 언어 모델)의 기능, 특히 과학적 지식을 이해하고 추론하는 능력을 효과적으로 평가하는 데에도 사용할 수 있습니다. 현재 의학, 화학, 생물학 및 기타 분야를 포괄하는 과학적인 QA 데이터 세트가 많이 있지만 이러한 데이터 세트에는 여전히 몇 가지 단점이 있습니다. 첫째, 데이터 형식이 비교적 단순하고 대부분이 객관식 질문이므로 평가하기 쉽지만 모델의 답변 선택 범위가 제한되고 모델의 과학적 질문 답변 능력을 완전히 테스트할 수 없습니다. 이에 비해 개방형 Q&A는

SOTA 성능, 샤먼 다중 모드 단백질-리간드 친화성 예측 AI 방법, 최초로 분자 표면 정보 결합 SOTA 성능, 샤먼 다중 모드 단백질-리간드 친화성 예측 AI 방법, 최초로 분자 표면 정보 결합 Jul 17, 2024 pm 06:37 PM

Editor | KX 약물 연구 및 개발 분야에서 단백질과 리간드의 결합 친화도를 정확하고 효과적으로 예측하는 것은 약물 스크리닝 및 최적화에 매우 중요합니다. 그러나 현재 연구에서는 단백질-리간드 상호작용에서 분자 표면 정보의 중요한 역할을 고려하지 않습니다. 이를 기반으로 Xiamen University의 연구자들은 처음으로 단백질 표면, 3D 구조 및 서열에 대한 정보를 결합하고 교차 주의 메커니즘을 사용하여 다양한 양식 특징을 비교하는 새로운 다중 모드 특징 추출(MFE) 프레임워크를 제안했습니다. 조정. 실험 결과는 이 방법이 단백질-리간드 결합 친화도를 예측하는 데 있어 최첨단 성능을 달성한다는 것을 보여줍니다. 또한 절제 연구는 이 프레임워크 내에서 단백질 표면 정보와 다중 모드 기능 정렬의 효율성과 필요성을 보여줍니다. 관련 연구는 "S"로 시작된다

SK하이닉스가 8월 6일 12단 HBM3E, 321고 NAND 등 AI 관련 신제품을 선보인다. SK하이닉스가 8월 6일 12단 HBM3E, 321고 NAND 등 AI 관련 신제품을 선보인다. Aug 01, 2024 pm 09:40 PM

1일 본 사이트 소식에 따르면 SK하이닉스는 오늘(1일) 블로그 게시물을 통해 8월 6일부터 8일까지 미국 캘리포니아주 산타클라라에서 열리는 글로벌 반도체 메모리 서밋 FMS2024에 참가한다고 밝혔다. 많은 새로운 세대의 제품. 인공지능 기술에 대한 관심이 높아지고 있는 가운데, 이전에는 주로 NAND 공급업체를 대상으로 한 플래시 메모리 서밋(FlashMemorySummit)이었던 미래 메모리 및 스토리지 서밋(FutureMemoryandStorage) 소개를 올해는 미래 메모리 및 스토리지 서밋(FutureMemoryandStorage)으로 명칭을 변경했습니다. DRAM 및 스토리지 공급업체와 더 많은 플레이어를 초대하세요. SK하이닉스가 지난해 출시한 신제품

See all articles