watsonx를 사용하는 애플리케이션에 대한 모든 '샘플링 매개변수' 또는 '생성 매개변수'를 간단히 설정하는 방법은 무엇입니까?

소개

watsonx.ai LLM에 액세스하는 사용자에게 자주 묻는 질문은 "샘플링 매개변수를 어떻게 설정합니까?"입니다. !

사실 꽤 쉽습니다.

샘플링 매개변수(또는 생성 매개변수)

• watsonx.ai 인스턴스에 액세스하세요.

• '프롬프트 랩 열기'를 클릭하세요. 프롬프트 랩의 두 탭 중 하나에서 매개변수 아이콘(그림과 같이 맨 오른쪽에 있는 아이콘)을 클릭합니다.

설정된 LLM(기존에 사용하던 LLM 또는 기본으로 설정된 LLM)을 변경할 수 있습니다.

• 매개변수 대화 상자가 열리면 필요에 따라 설정할 수 있습니다.

• 매개변수가 설정되면 동일한 도구 아이콘 세트에서 '코드 보기'를 선택하세요.

인터페이스는 매개변수 구현을 포함하는 3가지 유형의 코드를 제공합니다. 아래 샘플은 Curl, Node.js, Python입니다.

curl "https://us-south.ml.cloud.ibm.com/ml/v1/text/generation?version=2023-05-29" \
  -H 'Content-Type: application/json' \
  -H 'Accept: application/json' \
  -H "Authorization: Bearer ${YOUR_ACCESS_TOKEN}" \
  -d '{
  "input": "<|start_of_role|>system<|end_of_role|>You are Granite, an AI language model developed by IBM in 2024. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.<|end_of_text|>\n<|start_of_role|>assistant<|end_of_role|>",
  "parameters": {
    "decoding_method": "sample",
    "max_new_tokens": 200,
    "min_new_tokens": 100,
    "random_seed": 42,
    "stop_sequences": [],
    "temperature": 0.7,
    "top_k": 50,
    "top_p": 1,
    "repetition_penalty": 1
  },
  "model_id": "ibm/granite-3-8b-instruct",
  "project_id": "the one you get"
}'

export const generateText = async () => {
 const url = "https://us-south.ml.cloud.ibm.com/ml/v1/text/generation?version=2023-05-29";
 const headers = {
  "Accept": "application/json",
  "Content-Type": "application/json",
  "Authorization": "Bearer YOUR_ACCESS_TOKEN"
 };
 const body = {
  input: "<|start_of_role|>system<|end_of_role|>You are Granite, an AI language model developed by IBM in 2024. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.<|end_of_text|>\n<|start_of_role|>assistant<|end_of_role|>",
  parameters: {
   decoding_method: "sample",
   max_new_tokens: 200,
   min_new_tokens: 100,
   random_seed: 42,
   stop_sequences: [],
   temperature: 0.7,
   top_k: 50,
   top_p: 1,
   repetition_penalty: 1
  },
  model_id: "ibm/granite-3-8b-instruct",
  project_id: "the-one-you-get"
 };

 const response = await fetch(url, {
  headers,
  method: "POST",
  body: JSON.stringify(body)
 });

 if (!response.ok) {
  throw new Error("Non-200 response");
 }

 return await response.json();
}

import requests

url = "https://us-south.ml.cloud.ibm.com/ml/v1/text/generation?version=2023-05-29"

body = {
 "input": """<|start_of_role|>system<|end_of_role|>You are Granite, an AI language model developed by IBM in 2024. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.<|end_of_text|>
<|start_of_role|>assistant<|end_of_role|>""",
 "parameters": {
  "decoding_method": "sample",
  "max_new_tokens": 200,
  "min_new_tokens": 100,
  "random_seed": 42,
  "temperature": 0.7,
  "top_k": 50,
  "top_p": 1,
  "repetition_penalty": 1
 },
 "model_id": "ibm/granite-3-8b-instruct",
 "project_id": "the-one-you-get"
}

headers = {
 "Accept": "application/json",
 "Content-Type": "application/json",
 "Authorization": "Bearer YOUR_ACCESS_TOKEN"
}

response = requests.post(
 url,
 headers=headers,
 json=body
)

if response.status_code != 200:
 raise Exception("Non-200 response: " + str(response.text))

data = response.json()

개발자가 조정해야 하는 유일한 정보는 액세스 토큰입니다.

그렇습니까?

결론

watsonx.ai 플랫폼을 사용하면 애플리케이션 개발자가 LLM 샘플링 매개변수 세트를 매우 쉽게 조정할 수 있습니다.

위 내용은 watsonx를 사용하는 애플리케이션에 대한 모든 '샘플링 매개변수' 또는 '생성 매개변수'를 간단히 설정하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!