AI 환경은 빠르게 진화하고 있으며, 더 작고 가벼운 모델은 효율성과 확장 성을 두드러지게됩니다. Google DeepMind가 27B 모델 Gemma 3을 출시 한 후 Mistral AI는 이제 24b 매개 변수의 Mistral 3.1 경량 모델을 출시했습니다. 이 새롭고 빠르며 사용자 정의 가능한 모델은 경량 모델이 할 수있는 일을 재정의하는 것입니다. 단일 프로세서에서 효율적으로 작동하여 소규모 팀과 조직의 속도와 접근성을 향상시킵니다. 이 Mistral 3.1 vs. Gemma 3 비교에서 우리는 그들의 기능을 탐색하고, 벤치 마크 테스트에서 성능을 평가하며, 더 나은 모델을 찾기 위해 실습 시험을 수행합니다.
Mistral 3.1은 Mistral AI의 최신 대형 언어 모델 (LLM)으로, 계산 요구 사항이 낮은 고성능을 제공하도록 설계되었습니다. 소형이지만 강력한 AI 모델로의 전환을 나타내므로 고급 AI 기능을보다 접근 가능하고 비용 효율적으로 만듭니다. 광범위한 자원이 필요한 대규모 모델과 달리 Mistral 3.1은 확장 성, 속도 및 경제성의 균형을 유지하여 실제 응용 프로그램에 이상적입니다.
Mistral 3.1은 여러 플랫폼을 통해 사용할 수 있습니다. Hugging Face를 통해 로컬로 다운로드하고 실행하거나 Mistral AI API를 사용하여 액세스 할 수 있습니다.
Mistral 3.1 Base 및 Mistral 3.1을 다운로드하여 포옹 얼굴에서 직접 사용하도록 지시 할 수 있습니다. 다음은 다음과 같은 방법입니다.
1 단계 : 야간 VLLM을 설치하십시오
터미널을 열고이 명령을 실행하여 vllm을 설치하십시오 (필요한 mistral_common 패키지도 설치) :
PIP 설치 vllm ---pre -extra-index-url https://wheels.vllm.ai/nightly -opgrade
실행하여 설치를 확인할 수 있습니다.
Python -c "import mistral_common; print (mistral_common .__ version__)"
2 단계 : 파이썬 스크립트를 준비하십시오
새 Python 파일 (예 : offline_inference.py)을 작성하고 다음 코드를 추가하십시오. Model_Name 변수를 올바른 모델 ID로 설정하십시오 (예 : "Mistralai/Mistral-Small-3.1-24B-Instruct-2503") :
Vllm import LLM에서
vllm.sampling_params에서 샘플링 파람을 가져옵니다
# 시스템 프롬프트 정의 (필요에 따라 수정할 수 있음)
System_prompt = "당신은 항상 요점에 직접 대답하는 대화 에이전트입니다. 항상 고양이의 ASCII 그림으로 정확한 응답을 끝내십시오."
# 사용자 프롬프트를 정의합니다
user_prompt = "프랑스어로 '나중에 뵙겠습니다'라고 말하는 5 가지 비공식 방법을 알려주세요."
# 대화의 메시지를 설정하십시오
메시지 = [
{ "역할": "System", "Content": System_Prompt},
{ "역할": "사용자", "내용": user_prompt},
]]
# 모델 이름을 정의하십시오 (필요한 경우 충분한 GPU 메모리가 있는지 또는 양자화를 사용하십시오)
model_name = "mistralai/mistral-small-3.1-24b-Instruct-2503"
# 지정된 모델 및 토 케이저 모드로 VLLM에서 LLM을 초기화합니다.
llm = llm (model = model_name, tokenizer_mode = "mistral")
# 샘플링 매개 변수 설정 (원하는대로 max_tokens 및 온도 조정)
Sampling_Params = SamplingParams (max_tokens = 512, 온도 = 0.15)
# 오프라인 모델을 실행하고 응답을 얻습니다
outputs = llm.chat (메시지, sampling_params = sampling_params)
# 모델의 응답에서 생성 된 텍스트를 인쇄하십시오
print (출력 [0] .outputs [0] .text)3 단계 : 스크립트를 오프라인으로 실행하십시오
이 모델은 로컬로로드하고 프롬프트에 따라 응답을 생성합니다.
API를 통해 Mistral 3.1에 액세스 할 수도 있습니다. 다음은 따라야 할 단계입니다.
이 API 키를 응용 프로그램에 통합하여 Mistral 3.1과 상호 작용할 수 있습니다.
Gemma 3은 Google DeepMind가 설계 한 최첨단 가벼운 개방형 모델로 효율적인 리소스 사용으로 고성능을 제공합니다. Gemini 2.0을 강화하는 동일한 연구 및 기술을 기반으로 한 고급 AI 기능을 컴팩트 한 형태로 제공하여 다양한 하드웨어의 기기 애플리케이션에 이상적입니다. 1b, 4b, 12b 및 27b 매개 변수 크기로 제공되는 Gemma 3을 통해 개발자는 빠르고 확장 가능하며 액세스 할 수있는 AI 기반 솔루션을 구축 할 수 있습니다.
Gemma 3은 Google AI Studio, Hugging Face, Kaggle 등과 같은 여러 플랫폼에서 쉽게 액세스 할 수 있습니다.
이 옵션을 사용하면 자신의 컴퓨터에 아무것도 설치하지 않고 사전 구성된 환경에서 Gemma 3과 상호 작용할 수 있습니다.
1 단계 : 웹 브라우저를 열고 Google AI 스튜디오로 이동하십시오.
2 단계 : Google 계정에 로그인하십시오. 하나가없는 경우 Google 계정을 작성하십시오.
3 단계 : 로그인하면 AI Studio의 검색 바를 사용하여 "Gemma 3"을 사용하는 노트북 또는 데모 프로젝트를 찾으십시오.
팁 : "Gemma 3"과 제목의 프로젝트를 찾거나 사전 구성된 데모가 종종 공유되는 "커뮤니티 노트북"섹션을 확인하십시오.
4 단계 : 아래 단계에 따라 데모를 시작하십시오.
5 단계 : 노트북의 지침을 따라 모델 사용을 시작하십시오. 로컬 설정없이 입력 텍스트를 수정하고 셀을 실행하며 모델의 응답을 실시간으로 볼 수 있습니다.
자신의 컴퓨터에서 Gemma 3을 사용하거나 프로젝트에 통합하는 것을 선호하는 경우 여러 소스에서 다운로드 할 수 있습니다.
1 단계 : 포옹을 방문하십시오.
2 단계 : 검색 창을 사용하여 "Gemma 3"을 입력하고 Gemma 3에 해당하는 모델 카드를 클릭하십시오.
3 단계 : "다운로드" 버튼을 사용하여 모델을 다운로드하거나 git을 통해 저장소를 복제하십시오.
Python을 사용하는 경우 Transformers 라이브러리를 설치하십시오.
PIP 설치 변압기
4 단계 : 코드에서 모델을로드하고 사용하십시오. 이를 위해 새 Python 스크립트 (예 : Gemma3_demo.py)를 만들고 아래 스 니펫과 유사한 코드를 추가 할 수 있습니다.
Transformers에서 AutoTokenizer의 AutomodElforcausAllm을 가져옵니다 model_id = "your-gemma3-model-id" # 껴안는 얼굴의 실제 모델 ID로 교체 model = automodelforcausallm.from_pretraind (model_id) Tokenizer = Autotokenizer.from_pretraind (model_id) 프롬프트 = "커피 한 잔을 즐기는 가장 좋은 방법은 무엇입니까?" 입력 = Tokenizer (프롬프트, return_tensors = "pt") outputs = model.generate (** 입력, max_new_tokens = 50) print (tokenizer.decode (출력 [0], skip_special_tokens = true))
Gemma 3과 상호 작용하려면 스크립트를 로컬로 실행하십시오.
1 단계 : 브라우저에서 Kaggle을 엽니 다.
2 단계 : Kaggle의 검색 표시 줄을 사용하여 "Gemma 3"을 검색하십시오. 모델이 사용되는 노트북 또는 데이터 세트를 찾으십시오.
3 단계 : 관련 노트북을 클릭하여 Gemma 3이 어떻게 통합되는지 확인하십시오. Kaggle의 환경에서 노트북을 실행하거나 노트북을 다운로드하여 지역 기계에서 연구하고 수정할 수 있습니다.
1 단계 : Ollama를 방문하여 Ollama 앱을 다운로드하십시오.
2 단계 : 시스템에서 Ollama 응용 프로그램을 시작하고 내장 검색 기능을 사용하여 모델 카탈로그에서 "Gemma 3"을 찾습니다.
3 단계 : Gemma 3 모델을 클릭하고 프롬프트를 따라 다운로드하여 설치하십시오. 설치되면 Ollama 인터페이스를 사용하여 프롬프트 및보기 응답을 입력하여 모델을 테스트하십시오.
이러한 자세한 단계를 수행하면 Google AI Studio에서 Gemma 3을 즉시 시도하거나 Hugging Face, Kaggle 또는 Ollama를 통해 개발을 위해 다운로드 할 수 있습니다. 워크 플로 및 하드웨어 설정에 가장 적합한 방법을 선택하십시오.
이제 기능부터 비교를 시작합시다. 다음은 사용 가능한 데이터를 기반으로 Gemma 3 및 Mistral Small 3.1의 특징에 대한 자세한 비교입니다.
| 특징 | 미스트랄 작은 3.1 | 젬마 3 |
| 매개 변수 | 24b | 1b, 4b, 12b 및 27b 변형으로 제공됩니다 |
| 컨텍스트 창 | 최대 128k 토큰 | 최대 128k 토큰 |
| 멀티 모달 기능 | 텍스트 및 이미지 입력을 모두 지원합니다 | 텍스트 및 이미지 입력을 모두 지원합니다 |
| 추론 속도 | 더 빨리 (초당 150 개의 토큰) | 미스트랄에 비해 느린 |
| 숨어 있음 | 낮은 대기 시간 (0.33에서 첫 토큰) | 더 높은 대기 시간 |
| 언어 지원 | 수십 개의 언어를 지원합니다 | 140 개가 넘는 언어를 가진 다국어 |
| 대화 스타일 | 건조한 대화 스타일이지만 시스템 프롬프트로 개선 될 수 있습니다. | 더 인간과 같은 채팅 스타일의 반응 |
| 추론 능력 | MMLU와 같은 추론 작업에서 Gemma 3보다 성능이 우수합니다 | 추론에서는 잘 수행하지만 최고 수준은 아닙니다 |
| 오픈 소스 | 예 (Apache 2.0 라이센스) | 예 |
이 섹션에서는 일부 실습 작업에서 Gemma 3과 Mistral 3.1을 비교하여 수행 방법을 확인할 것입니다. 공정한 비교를 위해, 우리는 두 모델 모두에 대해 동일한 프롬프트를 시험해 볼 것입니다. 다음은 시험해 볼 작업 목록이 있습니다.
시작합시다.
이 작업에서, 우리는 모델에 동물 상징이있는 사탕의 이미지를 제공하고 사탕에서 동물을 식별하도록 요청합니다.
프롬프트 : “이미지의 동물의 정체성”
입력 이미지 :
산출
| 미스트랄 3.1 | 젬마 3 |
| 이미지의 사탕은 M & M 인 것처럼 보이며, 그 위에 묘사 된 동물은 거북이입니다. 거북이 디자인은 파란색, 주황색 및 녹색 사탕에 보입니다. | 이미지의 사탕을 분석합시다! 사탕의 동물은 거북이입니다. 거북이의 껍질과 머리와 다리가 표면에 명확하게 각인되는 것을 볼 수 있습니다. |
두 모델 모두 이미지의 동물을 거북이로 정확하게 식별했습니다. 그러나 Mistral 3.1은 사탕을 M & M으로 식별하고 사탕의 색을 언급함으로써 추가 상황을 제공했습니다. 한편 Gemma 3은 거북이의 외모를보다 일반적인 방식으로 묘사했습니다.
평결 : 두 모델 모두 객체를 성공적으로 식별했지만 Mistral 3.1은 약간 더 자세한 문맥 정보를 제공했습니다. 따라서 Mistral 3.1이 이번 라운드에서 승리합니다.
점수 : Mistral 3.1 : 1 | 젬마 3 : 0
시각적 데이터 추출 기능의 모델을 테스트하기 위해 평면 이미지를 제공하고 차량 코드를 추출하도록 요청합니다.
프롬프트 : “차량의 코드는 무엇입니까?”
입력 이미지 :
산출:
| 미스트랄 3.1 | 젬마 3 |
| 비행기 인 차량의 코드는 "D-Eoju"입니다. | 이미지에 따라 차량은 Cessna 172 Skyhawk입니다. 꼬리의 등록 코드는 d-eoju입니다. |
Mistral 3.1과 Gemma 3은 비행기에서 등록 코드를 성공적으로 식별했습니다. 그러나 Gemma 3은 코드를 식별했을뿐만 아니라 항공기 모델과 같은 추가 세부 사항을 추가했습니다.
평결 : 두 모델 모두 코드를 정확하게 추출했지만 Gemma 3은 차량에 대한 더 많은 배경 세부 사항을 제공했습니다. 따라서 Gemma 3은 이것에 대한 요점을 얻습니다.
점수 : Mistral 3.1 : 1 | 젬마 3 : 1
마지막 작업을 위해 Wi -Fi 영수증 이미지를 제공하고 Wi -Fi 비밀번호를 추출하도록 요청합니다.
프롬프트 : “암호는 무엇입니까?”
입력 이미지 :
산출:
| 미스트랄 3.1 | 젬마 3 |
| 이미지에 제공된 비밀번호는 ** aaeu **입니다. 명확성을위한 이미지의 정보는 다음과 같습니다. - ** 사용자 이름 : ** FQPP - ** 비밀번호 : ** aaeu - ** 트래픽 : ** 1GB - ** 가격 : ** 0.00 - ** 유효성 : ** 1 주 - ** 시작 : ** 지금 - ** 공유 사용자 : ** 4 - ** 날짜와 시간 : ** 27/02/2019 11:03:15 |
이미지를 기반으로 암호는 Aaeu입니다 |
두 모델 모두 이미지에서 암호를 정확하게 추출했습니다. 또한 Mistral 3.1은 사용자 이름, 트래픽, 가격, 유효성 및 기타 관련 정보에 대한 추가 세부 정보를 제공하여 출력을보다 포괄적으로 제공했습니다.
평결 : Mistral 3.1은 구조화 된 데이터를 추출하고 제시하는 데 더 나은 성능을 발휘하여보다 유용한 컨텍스트를 제공했습니다. 따라서 Mistral 3.1 은이 작업의 또 다른 요점을 얻습니다.
점수 : Mistral 3.1 : 2 | 젬마 3 : 1
다음은 우리가 시도한 작업에서 두 모델의 성능에 대한 요약입니다.
| 일 | Mistral 3.1 성능 | 젬마 3 성능 | 우승자 |
| 물체 감지 | 동물 (거북이)을 올바르게 식별하고 추가 상황을 제공하여 사탕이 M & M이라는 것을 언급하고 색상을 지정했습니다. | 동물을 거북이로 올바르게 식별하고 외관을 설명했지만 추가 상황 세부 사항이 없습니다. | 미스트랄 3.1 |
| 시각적 데이터 추출 (차량 코드) | 비행기 이미지에서 등록 코드 ( "D-Eoju")를 성공적으로 추출했습니다. | 등록 코드를 정확하게 추출하고 항공기 모델 (Cessna 172 Skyhawk)도 식별했습니다. | 젬마 3 |
| 시각적 데이터 추출 (인쇄 텍스트) | Wi -Fi 비밀번호를 올바르게 추출하고 사용자 이름, 트래픽, 가격, 유효성 및 기타 세부 사항과 같은 추가 구조화 된 데이터를 제공했습니다. | Wi -Fi 비밀번호를 올바르게 추출했지만 추가 구조화 된 정보를 제공하지 않았습니다. | 미스트랄 3.1 |
이 비교를 통해, 우리는 Mistral 3.1이 구조화 된 데이터 추출과 간결하지만 유익한 응답을 제공하는 것을 보았습니다. 한편 Gemma 3은 객체 인식에서 잘 수행되며 경우에 따라 더 풍부한 상황에 맞는 세부 사항을 제공합니다.
빠르고 구조적이며 정확한 데이터 추출이 필요한 작업의 경우 Mistral 3.1이 더 나은 선택입니다. 컨텍스트 및 추가 설명 정보가 중요한 작업의 경우 Gemma 3이 우위에 있습니다. 따라서 최상의 모델은 특정 사용 사례에 따라 다릅니다.
이제이 두 모델이 다양한 표준 벤치 마크 테스트에서 어떻게 수행되었는지 살펴 보겠습니다. 이 비교를 위해, 우리는 텍스트, 다국어 컨텐츠, 멀티 모달 컨텐츠 및 장거리 컨텍스트를 처리 할 때 모델의 기능을 테스트하는 벤치 마크를 살펴볼 것입니다. 우리는 또한 사전 예방 된 성능 벤치 마크에 대한 결과를 살펴볼 것입니다.
Gemma 3과 Mistral Small 3.1은 모두 다양한 벤치 마크에서 평가 된 AI 모델입니다.
그래프에서 우리는 다음을 볼 수 있습니다.
그래프는 시각적으로 다음을 보여줍니다.
그래프에서 우리는 다음을 볼 수 있습니다.
다국어 성능 :
긴 상황 처리 :
이 그래프에서 우리는 다음을 볼 수 있습니다.
Mistral 3.1과 Gemma 3은 모두 강력한 경량 AI 모델이며 각각 다른 지역에서 우수합니다. Mistral 3.1은 속도, 낮은 대기 시간 및 강력한 추론 기능에 최적화되어 챗봇, 코딩 및 텍스트 생성과 같은 실시간 응용 프로그램에 선호되는 선택입니다. 효율성과 작업 전문화는 성능 중심 AI 작업에 대한 매력을 더욱 향상시킵니다.
반면, Gemma 3은 광범위한 다국어 지원, 멀티 모달 기능 및 경쟁적인 컨텍스트 창을 제공하여 글로벌 AI 애플리케이션, 문서 요약 및 다양한 언어의 컨텐츠 생성에 적합합니다. 그러나 Mistral 3.1에 비해 속도와 효율성을 상환합니다.
궁극적으로 Mistral 3.1과 Gemma 3 사이의 선택은 특정 요구에 달려 있습니다. Mistral 3.1은 성능 중심 및 실시간 응용 프로그램이 뛰어나며 Gemma 3은 다국어 및 멀티 모달 AI 솔루션에 이상적입니다.
A. 예, 두 모델을 모두 미세 조정할 수 있습니다. Mistral 3.1은 법적 AI 및 건강 관리와 같은 특정 도메인의 미세 조정을 지원합니다. Gemma 3은 최적화 된 효율을위한 양자화 된 버전을 제공합니다.
Q2. Mistral 3.1과 Gemma 3 중에서 어떻게 선택합니까?A. 빠른 추론, 코딩 및 효율적인 추론이 필요한 경우 Mistral 3.1을 선택하십시오. 다국어 지원 및 텍스트가 많은 응용 프로그램이 필요한 경우 Gemma 3을 선택하십시오.
Q3. Mistral 3.1과 Gemma 3의 건축의 주요 차이점은 무엇입니까?A. Mistral 3.1은 빠른 추론과 강력한 추론을 위해 훈련 된 조밀 한 변압기 모델이며, Gemma 3은 유연성을 위해 최적화 된 1b, 4b, 12b 및 27b 매개 변수 크기로 제공됩니다.
Q4. 이 모델은 멀티 모달 입력을 지원합니까?A. 예, 두 모델 모두 비전 및 텍스트 처리를 지원하므로 이미지 캡션 및 시각적 추론에 유용합니다.
Q5. Mistral 3.1은 어떤 유형의 모델입니까?A. Mistral 3.1은 빠른 추론과 강한 추론을 위해 설계된 조밀 한 변압기 모델로 복잡한 NLP 작업에 적합합니다.
Q6. Gemma 3의 사용 가능한 크기는 얼마입니까?A. Gemma 3은 1b, 4b, 12b 및 27b 매개 변수 크기로 제공되며 다양한 하드웨어 설정에서 유연성을 제공합니다.
Q7. 벤치마킹에서 Mistral 3.1의 강점과 약점은 무엇입니까?A. Mistral 3.1은 빠른 추론, 강력한 NLP 이해 및 낮은 자원 소비로 탁월하여 매우 효율적입니다. 그러나 멀티 모달 기능이 제한되어 있으며 장거리 텍스트 작업에서 GPT-4보다 약간 약한 성능을 발휘합니다.
위 내용은 Mistral 3.1 vs Gemma 3 : 더 나은 모델은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
