모델이 충분히 크고 샘플이 충분히 크면 AI는 더 똑똑해질 수 있습니다!
AI 모델과 인간 두뇌의 수학적 메커니즘에는 차이가 없습니다.
모델이 충분히 크고 샘플이 충분히 크면 AI가 더 똑똑해질 수 있습니다!
chatGPT의 등장이 이를 실제로 입증했습니다.
1. AI와 인간 두뇌의 기본 세부 사항은 지능을 생성하는 기본 연산인 if else 문
논리 연산을 기반으로 합니다.
프로그래밍 언어의 기본 논리는 조건식을 기반으로 코드를 두 가지 분기로 나누는 if else입니다.
이를 바탕으로 프로그래머는 매우 복잡한 코드를 작성하고 다양한 비즈니스 로직을 구현할 수 있습니다.
인간 두뇌의 기본 논리도 if else입니다. if else라는 두 단어는 영어에서 유래되었으며 이에 해당하는 중국어 어휘는 if...else...
인간 두뇌도 생각할 때 이 논리 개념을 사용합니다. 문제는 컴퓨터와 별 차이가 없습니다.
if else 문, 로직의 핵심
AI 모델의 "if else 문"이 활성화 함수입니다!
AI 모델의 컴퓨팅 노드로, "뉴런"이라고도 부를 수 있습니다.
입력 벡터 X, 가중치 행렬 W, 바이어스 벡터 b 및 활성화 함수가 있습니다.
활성화 함수는 실제로 if else 문이고 선형 연산 WX + b는 조건식입니다.
활성화 후 AI 모델의 코드는 if 분기에서 실행하는 것과 동일하며, 활성화되지 않으면 else 분기에서 실행하는 것과 동일합니다.
다층 신경망의 다양한 활성화 상태는 실제로 샘플 정보의 이진 인코딩입니다.
딥 러닝은 샘플 정보의 이진 인코딩이기도 합니다.
AI 모델의 샘플 정보 인코딩은 CPU 코드처럼 정적 및 직렬이 아닌 동적 및 병렬이지만 기본 기반은 동일합니다. .
회로 수준에서는 구현이 어렵지 않고, 3극관으로 구현 가능합니다.
2. 인간의 뇌는 더 많은 정보를 얻기 때문에 컴퓨터보다 똑똑합니다.
인간의 뇌는 매 순간 외부 세계로부터 정보를 획득하고, 매 순간 자신의 "샘플 데이터베이스"를 업데이트하지만 프로그램 코드는 없습니다. 스스로 업데이트하기 때문에 컴퓨터는 많은 사람이 할 수 있는 일을 할 수 없습니다.
인간 두뇌의 코드는 살아있지만 컴퓨터의 코드는 죽었습니다.
물론 "데드 코드"는 "라이브 코드"보다 똑똑할 수 없습니다. "라이브 코드"는 "데드 코드"의 버그를 적극적으로 찾을 수 있기 때문입니다.
실수의 연속성에 따르면 "데드 코드"로 인코딩된 정보가 셀 수 있는 한 인코딩할 수 없는 버그 포인트가 항상 존재합니다.
이것은 Cantor의 3점 세트를 통해 수학적으로 뒷받침될 수 있습니다.
[0, 1] 간격의 실수를 인코딩하는 데 사용하는 삼진수 숫자에 관계없이 항상 인코딩할 수 없는 점이 하나 이상 있습니다.
그래서 두 사람이 논쟁을 벌이면 언제든지 논쟁할 지점을 찾을 수 있습니다.
하지만 컴퓨터 코드는 한번 작성되면 적극적으로 업데이트할 수 없기 때문에 프로그래머는 CPU를 속일 수 있는 다양한 방법을 고안할 수 있습니다.
예를 들어 Intel의 CPU는 원래 프로세스를 전환할 때 작업 게이트를 전환해야 했지만 Linux는 페이지 디렉터리와 RSP 레지스터만 전환하는 방법을 고안했습니다.
Intel CPU의 관점에서 Linux 시스템은 동일한 프로세스이지만 실제로는 그렇지 않습니다. 이를 프로세스 소프트 스위칭이라고 합니다.
그래서 CPU의 회로가 고정되어 있는 한 CPU에서 인코딩된 정보도 고정되어 있습니다.
CPU에 의해 인코딩된 정보는 고정되어 있으며, 인코딩할 수 없는 정보는 무제한이며 프로그래머가 사용할 수 있습니다.
프로그래머가 이런 정보를 활용할 수 있는 이유는 프로그래머의 두뇌가 살아있어 동적으로 샘플을 업데이트할 수 있기 때문입니다.
3. 신경망의 출현으로 이러한 상황이 바뀌었습니다.
신경망은 고정 회로에서 동적 정보 업데이트를 실현하는 정말 훌륭한 발명품입니다.
CPU 회로, 각종 시스템의 코드 등 작성된 모든 프로그램이 처리할 수 있는 정보는 고정되어 있습니다.
그러나 신경망의 경우에는 코드가 작성되어 있지만 모델의 논리적 컨텍스트를 변경하려면 가중치 데이터만 업데이트하면 됩니다.
실제로 새로운 샘플이 지속적으로 입력되는 한 AI 모델은 BP 알고리즘(경사하강 알고리즘)을 사용하여 가중치 데이터를 지속적으로 업데이트하여 새로운 비즈니스 시나리오에 적응할 수 있습니다.
AI 모델을 업데이트하는 데에는 코드 수정이 필요하지 않고 데이터 수정만 필요하므로 동일한 CNN 모델이라도 다른 샘플로 훈련하면 다른 객체를 인식할 수 있습니다.
이 과정에서 텐서플로우 프레임워크의 코드와 AI 모델의 네트워크 구조는 모두 변경되지 않습니다. 변경되는 것은 각 노드의 가중치 데이터입니다.
이론적으로 AI 모델이 네트워크를 통해 데이터를 크롤링할 수 있는 한 더 똑똑해질 수 있습니다.
이것은 사람들이 브라우저를 통해 사물을 보는 것과 근본적으로 다른 것입니까(그래서 더 똑똑해지는 것입니까?) 그렇지 않은 것 같습니다.
4. 모델이 충분히 크고 샘플이 충분히 크다면 ChatGPT가 실제로 인간의 두뇌에 도전할 수 있을 것입니다
인간의 두뇌에는 150억 개의 뉴런이 있으며 인간의 눈과 귀는 매 순간 새로운 데이터를 제공합니다. .AI 모델도 확실히 이 작업을 수행할 수 있습니다.
아마도 AI에 비해 인간의 장점은 '산업 사슬'이 짧다는 점
아기의 탄생에는 부모만 필요하지만, AI 모델의 탄생은 분명히 프로그래머 한두 명이 할 수 있는 일이 아닙니다. .
GPU 제조에만 수만 명 이상의 인력이 필요합니다.
GPU 위의 Cuda 프로그램은 작성하기 어렵지 않지만 GPU 제조 산업 체인이 너무 길고 인간의 탄생과 성장에 비해 훨씬 열등합니다.
이것이 인간에 비해 AI의 진정한 단점일 수도 있습니다.
위 내용은 모델이 충분히 크고 샘플이 충분히 크면 AI는 더 똑똑해질 수 있습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
뜨거운 주제
7677
15
1393
52
1207
24
91
11
73
19
MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다.
Jun 01, 2024 pm 10:03 PM
이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은
DPO를 완전히 능가함: Chen Danqi 팀은 단순 선호도 최적화 SimPO를 제안하고 가장 강력한 8B 오픈 소스 모델도 개선했습니다.
Jun 01, 2024 pm 04:41 PM
대규모 언어 모델(LLM)을 인간의 가치와 의도에 맞추려면 인간의 피드백을 학습하여 유용하고 정직하며 무해한지 확인하는 것이 중요합니다. LLM 정렬 측면에서 효과적인 방법은 인간 피드백 기반 강화 학습(RLHF)입니다. RLHF 방법의 결과는 훌륭하지만 몇 가지 최적화 문제가 있습니다. 여기에는 보상 모델을 훈련한 다음 해당 보상을 극대화하기 위해 정책 모델을 최적화하는 것이 포함됩니다. 최근 일부 연구자들은 더 간단한 오프라인 알고리즘을 탐구했는데, 그 중 하나가 직접 선호 최적화(DPO)입니다. DPO는 RLHF의 보상 기능을 매개변수화하여 선호도 데이터를 기반으로 직접 정책 모델을 학습하므로 명시적인 보상 모델이 필요하지 않습니다. 이 방법은 간단하고 안정적입니다.
OpenAI 데이터가 필요하지 않습니다. 대규모 코드 모델 목록에 참여하세요! UIUC, StarCoder-15B-Instruct 출시
Jun 13, 2024 pm 01:59 PM
소프트웨어 기술의 선두에 있는 UIUC Zhang Lingming 그룹은 BigCode 조직의 연구원들과 함께 최근 StarCoder2-15B-Instruct 대규모 코드 모델을 발표했습니다. 이 혁신적인 성과는 코드 생성 작업에서 획기적인 발전을 이루었으며 CodeLlama-70B-Instruct를 성공적으로 능가하고 코드 생성 성능 목록의 최상위에 올랐습니다. StarCoder2-15B-Instruct의 독창성은 순수한 자체 정렬 전략에 있습니다. 전체 훈련 프로세스는 개방적이고 투명하며 완전히 자율적이고 제어 가능합니다. 이 모델은 값비싼 수동 주석에 의존하지 않고 StarCoder-15B 기본 모델을 미세 조정한 것에 대한 응답으로 StarCoder2-15B를 통해 수천 개의 명령을 생성합니다.
Yolov10: 자세한 설명, 배포, 적용이 모두 한곳에!
Jun 07, 2024 pm 12:05 PM
1. 소개 지난 몇 년 동안 YOLO는 계산 비용과 감지 성능 간의 효과적인 균형으로 인해 실시간 객체 감지 분야에서 지배적인 패러다임이 되었습니다. 연구원들은 YOLO의 아키텍처 설계, 최적화 목표, 데이터 확장 전략 등을 탐색하여 상당한 진전을 이루었습니다. 동시에 사후 처리를 위해 NMS(비최대 억제)에 의존하면 YOLO의 엔드투엔드 배포가 방해되고 추론 대기 시간에 부정적인 영향을 미칩니다. YOLO에서는 다양한 구성 요소의 설계에 포괄적이고 철저한 검사가 부족하여 상당한 계산 중복이 발생하고 모델 기능이 제한됩니다. 이는 최적이 아닌 효율성을 제공하며 성능 향상을 위한 상대적으로 큰 잠재력을 제공합니다. 이 작업의 목표는 사후 처리와 모델 아키텍처 모두에서 YOLO의 성능 효율성 경계를 더욱 향상시키는 것입니다. 이를 위해
Tsinghua University가 인수하고 YOLOv10이 출시되었습니다. 성능이 크게 향상되어 GitHub 인기 목록에 올랐습니다.
Jun 06, 2024 pm 12:20 PM
표적 탐지 시스템의 벤치마크 YOLO 시리즈가 다시 한 번 대대적인 업그레이드를 받았습니다. 올해 2월 YOLOv9이 출시된 이후 YOLO(YouOnlyLookOnce) 시리즈의 지휘봉은 칭화대학교 연구진의 손에 넘어갔다. 지난 주말 YOLOv10 출시 소식이 AI 커뮤니티의 관심을 끌었다. 컴퓨터 비전 분야의 획기적인 프레임워크로 간주되며 실시간 엔드투엔드 개체 감지 기능으로 유명하며 효율성과 정확성을 결합한 강력한 솔루션을 제공함으로써 YOLO 시리즈의 유산을 이어갑니다. 논문 주소: https://arxiv.org/pdf/2405.14458 프로젝트 주소: https://github.com/THU-MIG/yo
Li Feifei는 '공간 지능'의 기업가적 방향을 밝힙니다. 시각화는 통찰력으로 바뀌고, 보는 것은 이해가 되고, 이해는 행동으로 이어집니다.
Jun 01, 2024 pm 02:55 PM
스탠포드 리 페이페이(Stanford Li Feifei)는 창업 후 처음으로 신개념 '공간지능'을 공개했다. 이는 그녀의 기업가적 방향일 뿐만 아니라 그녀를 이끄는 '북극성'이기도 하다. 그녀는 이를 '인공지능 문제를 해결하는 핵심 퍼즐 조각'이라고 생각한다. 시각화는 통찰력으로 이어지고, 보는 것은 이해로 이어지고, 이해는 행동으로 이어진다. 리페이페이(Li Feifei)의 15분간 TED 강연을 바탕으로 수억 년 전 생명진화의 기원부터 인간이 자연이 부여한 것에 만족하지 못하고 인공지능을 발전시키는 방법, 생명체를 만드는 방법까지 낱낱이 공개합니다. 다음 단계는 공간 지능입니다. 9년 전, Li Feifei는 같은 무대에서 새롭게 탄생한 ImageNet을 세상에 소개했습니다. 이는 이번 딥 러닝 폭발의 출발점 중 하나입니다. 그녀 자신도 네티즌들에게 “두 영상을 모두 보시면 지난 10년간의 컴퓨터 비전을 이해할 수 있을 것”이라고 격려하기도 했다.
Mistral AI는 몇 초 만에 GPT-4o를 제치고 Llama 3 70B를 22B로 제치고 첫 번째 코드 모델을 공개했습니다.
Jun 01, 2024 pm 06:32 PM
OpenAI를 겨냥한 프랑스 AI 유니콘 MistralAI가 새로운 행보를 보였습니다. 최초의 대형 코드 모델인 Codestral이 탄생했습니다. 코드 생성 작업을 위해 특별히 설계된 개방형 생성 AI 모델인 Codestral은 지침 및 완성 API 엔드포인트를 공유하여 개발자가 코드를 작성하고 코드와 상호 작용할 수 있도록 돕습니다. Codestral의 코딩 및 영어 능력을 통해 소프트웨어 개발자는 고급 AI 애플리케이션을 설계할 수 있습니다. Codestral의 매개변수 크기는 22B이며 새로운 MistralAINon-ProductionLicense를 준수하며 연구 및 테스트 목적으로 사용할 수 있지만 상업적인 사용은 금지됩니다. 현재 해당 모델은 HuggingFace에서 다운로드 가능합니다. 다운로드 링크
Google Gemini 1.5 기술 보고서: 수학 올림피아드 문제를 쉽게 증명할 수 있으며 Flash 버전은 GPT-4 Turbo보다 5배 빠릅니다.
Jun 13, 2024 pm 01:52 PM
올해 2월 Google은 엔지니어링 및 인프라 최적화, MoE 아키텍처 및 기타 전략을 통해 성능과 속도를 크게 향상시킨 다중 모드 대형 모델 Gemini 1.5를 출시했습니다. 더 긴 컨텍스트, 더 강력한 추론 기능, 교차 모달 콘텐츠 처리 능력이 향상되었습니다. 이번 금요일에 Google DeepMind는 Flash 버전과 기타 최신 업그레이드를 다루는 Gemini 1.5의 기술 보고서를 공식적으로 발표했습니다. 이 문서의 길이는 153페이지입니다. 기술 보고서 링크: https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf 이 보고서에서 Google은 Gemini1을 소개합니다.
