기사 소개：PLM(사전 학습된 언어 모델)에 풍부한 지식이 포함되어 있다는 사실이 점점 더 많은 연구를 통해 입증되었습니다. PLM을 활용하는 적절한 교육 방법을 사용하면 모델의 기능을 더 효과적으로 향상시킬 수 있습니다. Text-to-SQL 작업에서 현재 주류 생성기는 구문 트리를 기반으로 하며 SQL 구문용으로 설계되어야 합니다. 최근 NetEase Interactive Entertainment AI Lab은 광동외국어대학교 및 컬럼비아대학교와 협력하여 사전 학습된 언어 모델 T5의 사전 학습 방법을 기반으로 하는 2단계 다중 작업 사전 학습 모델 MIGA를 제안했습니다. MIGA는 사전 훈련 단계에서 세 가지 보조 작업을 도입하고 이를 모든 Text-to-SQL 데이터 세트를 통합할 수 있는 통합 생성 작업 패러다임으로 구성합니다.

2023-04-13 논평 0  1306

기사 소개：올해 대규모 언어 모델의 급속한 발전으로 인해 BERT와 같은 모델이 이제 "소형" 모델이라고 불리게 되었습니다. Kaggle의 LLM 과학 시험 대회에서 deberta를 사용하는 플레이어가 4위를 차지했는데, 이는 훌륭한 결과입니다. 따라서 특정 도메인이나 요구 사항에서 최상의 솔루션으로 대규모 언어 모델이 반드시 필요한 것은 아니며 작은 모델도 그 자리를 차지합니다. 따라서 오늘 소개할 내용은 Microsoft Research가 ACM에서 2022년에 발표한 논문인 PubMedBERT입니다. 이 모델은 도메인별 코퍼스를 사용하여 BERT를 처음부터 사전 학습합니다. 논문의 주요 내용은 다음과 같습니다. 처음부터 사전 훈련된 생물 의학과 같은 레이블이 지정되지 않은 텍스트가 많은 특정 도메인

2023-11-27 논평 0  1235

기사 소개：ChatGPTPHP 기술 분석: 사전 훈련된 모델을 사용하여 지능형 채팅 애플리케이션을 구축하는 방법 오늘날의 정보 시대에 지능형 채팅 애플리케이션은 일상 생활과 비즈니스에서 없어서는 안 될 부분이 되었습니다. 스마트 채팅 애플리케이션은 사용자가 자연어로 의사소통하는 데 도움이 되며 질문과 제안에 대한 실시간 답변을 제공할 수 있습니다. 최근 오픈 소스 ChatGPT 프로젝트는 지능형 채팅 애플리케이션을 구축하는 효과적인 방법을 제공합니다. 이 기사에서는 사전 훈련된 모델과 결합된 PHP 프로그래밍 언어를 사용하여 지능형 채팅 애플리케이션을 구축하는 방법을 자세히 소개하고

2023-10-24 논평 0  1098

기사 소개：Tensorflow에서 훈련된 모델 저장 및 복원 Tensorflow에서 모델을 훈련한 후에는 이를 보존하고 재사용하는 것이 중요합니다. 방법은 다음과 같습니다...

2024-12-14 논평 0  938

기사 소개：사전 훈련 시대에 돌입한 후 시각적 인식 모델의 성능은 빠르게 발전했지만, GAN(Generative Adversarial Network)과 같은 이미지 생성 모델은 뒤처진 것 같습니다. 보통 GAN 훈련은 비지도 방식으로 처음부터 진행되는데, 이는 시간이 많이 걸리고 노동집약적이다. 대규모 사전 훈련에서 빅데이터를 통해 배운 '지식'이 활용되지 않는다는 점이다. 더욱이, 이미지 생성 자체는 실제 시각 현상에서 복잡한 통계 데이터를 캡처하고 시뮬레이션할 수 있어야 합니다. 그렇지 않으면 생성된 이미지가 물리적 세계의 법칙을 따르지 않고 한눈에 "가짜"로 직접 식별될 것입니다. . 사전 훈련된 모델은 지식을 제공하고 GAN 모델은 생성 기능을 제공합니다. 문제는 사전 훈련된 모델과 이를 결합하는 방법이 GAN 모델의 생성 능력을 향상시킬 수 있느냐는 것입니다.

2023-05-11 논평 0  1467

기사 소개：Transformer는 현재 시퀀스 모델링 작업을 위한 가장 강력한 신경망 아키텍처라고 할 수 있으며 사전 훈련된 Transformer 모델은 프롬프트를 조건 또는 상황 내 학습으로 사용하여 다양한 다운스트림 작업에 적응할 수 있습니다. 대규모 사전 학습된 Transformer 모델의 일반화 능력은 텍스트 완성, 언어 이해, 이미지 생성 등 여러 분야에서 검증되었습니다. 작년부터 오프라인 강화 학습(오프라인 RL)을 시퀀스 예측 문제로 처리하여 모델이 오프라인 데이터로부터 정책을 학습할 수 있음을 입증하는 관련 연구가 있었습니다. 그러나 현재 접근 방식은 학습이 포함되지 않은 데이터에서 정책을 학습하거나

2023-04-12 논평 0  1848

기사 소개：Wav2vec 2.0 [1], HuBERT [2] 및 WavLM [3]과 같은 음성 사전 훈련 모델은 수만 시간의 레이블이 지정되지 않은 음성 데이터(예: Libri-light)에 대한 자기 지도 학습을 통해 자동 학습을 크게 개선했습니다. ASR(자동 음성 인식), TTS(텍스트 음성 변환) 및 VC(음성 변환)와 같은 음성 다운스트림 작업을 수행합니다. 그러나 이러한 모델에는 공개 중국어 버전이 없으므로 중국어 음성 연구 시나리오에 적용하기가 불편합니다. WenetSpeech [4] 예

2023-04-08 논평 0  1926

기사 소개：최근 Mininglamp Technology Group은 기계 학습 시각화 도구인 TensorBoard의 C++ 인터페이스를 구현하여 C++ 기반 대형 모델 프로젝트 도구 세트를 더욱 풍부하게 하여 대형 모델 사전 훈련 프로세스를 더욱 편리하고 효율적으로 모니터링하고 대규모 모델 사전 훈련 프로세스를 가속화합니다. 마케팅 분야의 사전 교육을 모델링합니다. 이 도구는 Github의 오픈 소스입니다. TensorBoard는 Google에서 개발한 머신러닝 시각화 도구로, 머신러닝 프로세스의 다양한 지표를 모니터링하는 데 자주 사용됩니다. Mininglamp Technology의 수석 기술 이사인 Zhao Liang은 다음과 같이 말했습니다. “대규모 모델 훈련 과정에서 데이터 모니터링은 중요한 차원이며 TensorBoard는 대규모 모델 훈련 중 손실 변경 및 검증 세트를 기록하는 등 모델의 다양한 매개변수 및 결과를 시각화합니다. 모델 훈련 과정.

2023-08-14 논평 0  821

기사 소개：북경대학교와 EVLO 혁신팀은 자율주행을 위한 4차원 시공간 사전 훈련 알고리즘인 DriveWorld를 공동으로 제안했습니다. 이 방법은 사전 훈련을 위해 세계 모델을 사용하고, 4차원 시공간 모델링을 위한 메모리 상태 공간 모델을 설계하고, 장면의 점유 그리드를 예측하여 자율주행이 직면하는 무작위 불확실성과 지식 불확실성을 줄입니다. 이 논문은 CVPR2024에 승인되었습니다. 논문 제목: DriveWorld: 4DPPre-trainedSceneUnderstandingviaWorldModelsforAutonomousDriving 논문 링크: https://arxiv.org/abs/2405.04390 1. 모션

2024-08-07 논평 0  841

기사 소개：퓨샷 및 제로샷 시나리오에서 ChatGPT의 놀라운 성능으로 인해 연구자들은 "사전 훈련"이 올바른 경로라는 확신을 갖게 되었습니다. 사전 훈련된 기초 모델(PretrainedFoundationModels,PFM)은 다양한 데이터 모드, 즉 대규모 데이터를 기반으로 BERT, GPT-3, MAE, DALLE와 같은 사전 훈련된 기본 모델에서 다양한 다운스트림 작업의 기초로 간주됩니다. E 및 ChatGPT는 훈련되어 다운스트림 애플리케이션에 대한 합리적인 매개변수 초기화를 제공합니다. PFM의 사전 학습 아이디어는 대규모 모델 적용에 중요한 역할을 합니다. 컨볼루션 및 재귀 모듈을 사용하는 이전의 특징 추출 방법과 달리 새로운 모델은

2023-04-15 논평 0  1458

기사 소개：1. 배경 GPT와 같은 대형 모델의 등장 이후 nexttoken을 예측하는 사전 학습 작업인 언어 모델의 Transformer + autoregressive 모델링 방식이 큰 성공을 거두었습니다. 그렇다면 이 자동회귀 모델링 방법이 시각적 모델에서 더 나은 결과를 얻을 수 있을까요? 오늘 소개하는 글은 최근 Apple에서 Transformer + autoregressive pre-training을 기반으로 한 시각적 모델 학습에 관해 발표한 글입니다. 이 작업을 소개하겠습니다. 그림 논문 제목: ScalablePre-trainingofLargeAutoregressiveImageModels 다운로드 주소: https://ar

2024-01-29 논평 0  1019

기사 소개：​이미지 검색에 어려움을 겪은 적이 있나요? 방대한 양의 이미지 중에서 원하는 이미지를 정확하게 찾는 것이 어렵거나, 텍스트 기반 검색에서는 만족스럽지 않습니다. 이 문제와 관련하여 Microsoft Research Asia와 Microsoft 클라우드 컴퓨팅 및 인공 지능 부서의 연구원은 경량 시각적 모델에 대한 심층적인 연구를 수행하고 시각적 Transformer 경량 배포 요구 사항을 실현하기 위한 시각적 사전 훈련 모델에 대한 일련의 설계 및 압축 방법을 제안했습니다. . 현재 이 방법과 모델은 Microsoft의 Bing 검색 엔진에 성공적으로 적용되어 수백억 개의 이미지에 대해 정확하고 빠른 추론과 검색을 달성하고 있습니다. 이 기사에서는 경량 시각적 사전 훈련 모델의 개발, 핵심 기술, 응용 및 잠재력뿐만 아니라 향후 기회와 과제에 대한 심층적인 설명을 제공할 것입니다.

2023-04-08 논평 0  1365

기사 소개：SAE的mysql数据库预定义SAE_MYSQL_HOST_M 等在那里定义了？

2016-06-23 논평 0  1527

기사 소개：인공 지능과 딥 러닝의 발전으로 사전 훈련 모델은 자연어 처리(NLP), 컴퓨터 비전(CV), 음성 인식 및 기타 분야에서 널리 사용되는 기술이 되었습니다. 현재 가장 인기 있는 프로그래밍 언어 중 하나인 Python은 사전 훈련된 모델을 적용하는 데 자연스럽게 중요한 역할을 합니다. 이 기사에서는 정의, 유형, 애플리케이션 및 사전 학습 모델 사용 방법을 포함하여 Python의 딥 러닝 사전 학습 모델에 중점을 둘 것입니다. 사전 훈련된 모델이란 무엇입니까? 딥러닝 모델의 가장 큰 어려움은 고품질의 수많은 데이터를 분석하는 것입니다.

2023-06-11 논평 0  2010

기사 소개：번역기 | 검토자 Zhu Xianzhong | Sun Shujuan 전이 학습은 훈련되거나 사전 훈련된 신경망에 적용되는 방법이며, 이러한 사전 훈련된 신경망은 훈련된 수백만 개의 데이터를 사용하여 구축됩니다. 포인트들. 현재 이 기술의 가장 잘 알려진 용도는 심층 신경망을 훈련하는 것입니다. 이 방법은 더 적은 데이터를 사용하여 심층 신경망을 훈련하는 데 좋은 성능을 보여주었습니다. 실제로 이 기술은 데이터 과학 분야에서도 유용합니다. 왜냐하면 대부분의 실제 데이터에는 일반적으로 강력한 딥 러닝 모델을 훈련하기 위한 수백만 개의 데이터 포인트가 없기 때문입니다. 현재 수백만 개의 데이터 포인트를 사용하여 훈련되고 최대 정확도로 복잡한 딥 러닝 신경망을 훈련하는 데 사용할 수 있는 많은 모델이 존재합니다.

2023-04-23 논평 0  1701

기사 소개：메타는 보다 효율적인 인공지능을 위한 경쟁에서 도전장을 던졌습니다. 거대 기술 기업은 수요일에 사전 훈련된 모델을 출시했습니다.

2024-07-17 논평 0  942

기사 소개：ChatGPTPython 모델 교육 가이드: 채팅 로봇 사용자 정의 단계 개요: 최근 몇 년 동안 NLP(자연어 처리) 기술의 발전이 증가함에 따라 채팅 로봇이 점점 더 많은 관심을 받고 있습니다. OpenAI의 ChatGPT는 다중 도메인 챗봇을 구축하는 데 사용할 수 있는 강력한 사전 훈련된 언어 모델입니다. 이 기사에서는 데이터 준비, 모델 훈련, 대화 샘플 생성을 포함하여 Python을 사용하여 ChatGPT 모델을 훈련하는 단계를 소개합니다. 1단계: 데이터 준비, 수집 및 정리

2023-10-24 논평 0  1334

기사 소개：Editor | Radish 핵심 사전 훈련된 언어 모델은 뉴클레오티드 서열 분석에 좋은 가능성을 보여줬지만, 다양한 작업에서 잘 수행되는 다기능 모델을 달성하기 위해 사전 훈련된 단일 가중치 세트를 사용하는 데에는 여전히 어려움이 있습니다. Baidu Big Data Lab(BDL)과 Shanghai Jiao Tong University 팀은 Transformer 아키텍처를 기반으로 하는 RNA 중심 사전 훈련 모델인 RNAErnie를 개발했습니다. 연구원들은 7개 데이터 세트와 5개 작업에 대해 모델을 평가하여 지도 학습과 비지도 학습 모두에서 RNAErnie의 우수성을 입증했습니다. RNAErnie는 분류 정확도를 1.8%, 상호작용 예측 정확도를 2.2%, 구조 예측 F1 점수를 3.3% 향상시켜 기준선을 넘어섰습니다.

2024-06-10 논평 0  599

기사 소개：BERT 이후 연구자들은 대규모 사전 훈련 모델의 잠재력을 발견했으며 다양한 사전 훈련 작업, 모델 아키텍처, 훈련 전략 등이 제안되었습니다. 그러나 BERT 유형 모델에는 일반적으로 두 가지 주요 단점이 있습니다. 하나는 레이블이 지정된 데이터에 과도하게 의존하고, 다른 하나는 과적합 현상입니다. 구체적으로 현재 언어 모델은 사전 학습 + 다운스트림 작업 미세 조정이라는 2단계 프레임워크를 갖는 경향이 있습니다. 그러나 다운스트림 작업을 위한 미세 조정 과정에서는 많은 수의 샘플이 필요합니다. 그러나 데이터 라벨링 비용이 높습니다. 레이블이 지정된 데이터도 제한되어 있으며 모델은 훈련 데이터 분포에만 적합할 수 있습니다. 그러나 데이터가 적으면 과적합이 발생하기 쉬워 모델의 일반화 능력이 저하됩니다. 대형 모델의 선구자로서 대규모 사전 학습된 언어 모델, 특히 GPT-3

2023-04-25 논평 0  1546

기사 소개：화학 반응은 약물 설계 및 유기 화학 연구의 기초입니다. 화학 반응의 기본 규칙을 효과적으로 포착할 수 있는 대규모 딥 러닝 프레임워크에 대한 연구 커뮤니티의 필요성이 커지고 있습니다. 최근 북경대학교 연구팀과 왕시 인텔리전스(Wangshi Intelligence) 연구팀은 반응 기반 분자 사전 훈련과 생성 작업 간의 격차를 해소할 수 있는 새로운 방법을 제안했습니다. 연구자들은 유기화학 메커니즘에서 영감을 받아 귀납적 편향을 모델에 통합할 수 있는 새로운 사전 훈련 프레임워크를 개발했습니다. 제안된 이 프레임워크는 까다로운 다운스트림 작업을 수행할 때 최첨단 결과를 달성합니다. 프레임워크는 화학 지식을 활용하여 소수의 반응 템플릿에 의존하는 현재 분자 생성 모델의 한계를 극복합니다. 광범위한 실험에서 이 모델은 고품질의 합성 가능한 약물 유사 구조를 생성했습니다.

2023-12-14 논평 0  620