Xiao Zha는 공식적으로 Code Llama의 헤비급 업데이트를 발표하여 70B 버전을 추가했지만 여전히 용량 제한이 있습니다.

더 강력해진 Code Llama 70B 모델이 나왔습니다.

오늘 Meta는 Code Llama 시리즈 중 가장 크고 성능이 뛰어난 모델인 Code Llama 70B를 공식 출시합니다.

더 큰 70B 매개변수 모델을 포함하는 향상된 버전의 Code Llama를 오픈 소스로 제공하고 있습니다. 코드 작성 및 편집은 현대 인공 지능 모델의 가장 중요한 용도 중 하나가 되었습니다. AI 모델의 경우, 다른 분야의 정보를 보다 엄격하고 합리적으로 처리하려면 코드 작성 능력이 핵심인 것으로 나타났습니다. 저는 이 개발이 매우 자랑스럽고 이를 Llama 3 및 향후 모델에 통합할 수 있기를 기대합니다.

Code Llama 70B는 이전에 출시된 Code Llama 모델과 동일한 세 가지 버전으로 제공됩니다.

• CodeLlama - 70B, 기본 코드 모델
• CodeLlama - 7 0B - 파이썬, Python용 특수 70B;
• 코드 Llama - 70B - 자연어 지침을 이해하기 위해 미세 조정된 Instruct 70B입니다.

Code Llama는 원래 Meta가 2023년 8월에 출시한 도구였으며 연구 및 상업적 용도로 무료로 사용할 수 있습니다.

Meta AI 블로그 게시물에 따르면 Code Llama 70B는 다른 버전보다 더 많은 쿼리를 처리할 수 있습니다. 이는 개발자가 프로그래밍할 때 더 많은 힌트를 제공할 수 있고 더 정확할 수 있음을 의미합니다.

HumanEval 벤치마크에서 Code Llama 70B는 GPT-3.5의 48.1%보다 나은 53%의 정확도를 달성했으며 OpenAI 논문에서 보고된 GPT-4의 67%에 더욱 가깝습니다.

코드 Llama는 Llama 2를 기반으로 구축되었으며 개발자가 프롬프트를 기반으로 코드를 생성하고 사람이 작성한 코드를 디버깅하는 데 도움이 됩니다. 출시 초기에 Meta는 Code Llama의 오픈 소스 라이선스가 Llama 2와 동일하며 Code Llama 70B와 마찬가지로 연구 및 상업적 목적으로 무료라고 밝혔습니다.

당시 Code Llama 시리즈 모델에는 세 가지 버전이 있었는데, 매개변수 양은 각각 7B, 13B, 34B였습니다. 또한 Python, C++, Java, PHP, Typescript(Javascript), C# 및 Bash를 포함한 여러 프로그래밍 언어를 지원합니다.

Meta는 다음을 포함한 Code Llama 버전을 제공합니다.

• Code Llama, 기본 코드 모델
• Code Llama-Python, Python 미세 조정 버전; 램 아-인스트럭트 , natural 언어 명령의 미세 조정된 버전입니다.

그 중 후자의 두 모델은 특정 코딩 언어에 중점을 둡니다. 이제 Code Llama 70B가 이 모델 제품군에 추가되어 코딩 작업을 한 단계 더 발전시켰습니다.

Code Llama 70B는 코드 저장소 Hugging Face에 호스팅된 1TB의 코드 및 코드 관련 데이터에 대해 훈련되었습니다.

Meta는 더 큰 모델인 34B 및 70B 모델이 최상의 결과를 반환하고 더 나은 코딩 지원을 제공한다고 말합니다.

그러나 개발자의 경험에 따르면 Code Llama 70B에는 여전히 명백한 단점이 있습니다.

예를 들어 누군가 Code Llama 70B가 소수 생성 요청을 완료할 수 없다는 사실을 발견했습니다.

어떤 사람들은 이 제한이 다음과 같은 일부 나쁜 사용을 피하기 위한 것이라고 말합니다. 잘못된 소수를 생성합니다. 불법 소수는 소유 또는 배포가 금지된 자료를 나타내는 데 사용될 수 있으며, 이러한 프로그램의 배포는 미국 디지털 밀레니엄 저작권법에 따라 불법입니다.

^{참고링크: https://www.theverge.com/2024/1/29/24055011/meta-llama2-code-generator-generative-ai}

관련자료

• 게시됨 어느 날 Code Llama의 코딩 기능은 비약적으로 향상되었고 HumanEval의 미세 조정 버전은 GPT-4
• 공식 Code Llama 오픈 소스: 상업용으로 무료이며 신비한 버전은 GPT에 가깝습니다. -4

위 내용은 Xiao Zha는 공식적으로 Code Llama의 헤비급 업데이트를 발표하여 70B 버전을 추가했지만 여전히 용량 제한이 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!