Wie stellt man einfach alle „Sampling-Parameter' oder „Generierungsparameter' für Anwendungen mit Watsonx ein?

Einführung

Eine Frage, die Benutzern, die auf die watsonx.ai-LLMs zugreifen, sehr oft gestellt wird, lautet: „Wie stellen wir die Sampling-Parameter ein?“ !

Eigentlich ist es ganz einfach.

Abtastparameter (oder Generierungsparameter)

• Greifen Sie auf Ihre watsonx.ai-Instanz zu.

• Klicken Sie auf „Prompt Lab öffnen“. Klicken Sie im Eingabeaufforderungslabor auf beiden Registerkarten auf das Parametersymbol (das Symbol ganz rechts, wie abgebildet).

Sie können das eingestellte LLM ändern (das zuvor verwendete oder das standardmäßig eingestellte).

• Sobald das Parameterdialogfeld geöffnet ist, können Sie diese nach Bedarf einstellen.

• Sobald die Parameter festgelegt sind, wählen Sie auf denselben Werkzeugsymbolen „Code anzeigen “.

Die Schnittstelle bietet drei Arten der Code-Einbettungsimplementierung der Parameter; Curl, Node.js und Python wie in den Beispielen unten.

curl "https://us-south.ml.cloud.ibm.com/ml/v1/text/generation?version=2023-05-29" \
  -H 'Content-Type: application/json' \
  -H 'Accept: application/json' \
  -H "Authorization: Bearer ${YOUR_ACCESS_TOKEN}" \
  -d '{
  "input": "<|start_of_role|>system<|end_of_role|>You are Granite, an AI language model developed by IBM in 2024. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.<|end_of_text|>\n<|start_of_role|>assistant<|end_of_role|>",
  "parameters": {
    "decoding_method": "sample",
    "max_new_tokens": 200,
    "min_new_tokens": 100,
    "random_seed": 42,
    "stop_sequences": [],
    "temperature": 0.7,
    "top_k": 50,
    "top_p": 1,
    "repetition_penalty": 1
  },
  "model_id": "ibm/granite-3-8b-instruct",
  "project_id": "the one you get"
}'

export const generateText = async () => {
 const url = "https://us-south.ml.cloud.ibm.com/ml/v1/text/generation?version=2023-05-29";
 const headers = {
  "Accept": "application/json",
  "Content-Type": "application/json",
  "Authorization": "Bearer YOUR_ACCESS_TOKEN"
 };
 const body = {
  input: "<|start_of_role|>system<|end_of_role|>You are Granite, an AI language model developed by IBM in 2024. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.<|end_of_text|>\n<|start_of_role|>assistant<|end_of_role|>",
  parameters: {
   decoding_method: "sample",
   max_new_tokens: 200,
   min_new_tokens: 100,
   random_seed: 42,
   stop_sequences: [],
   temperature: 0.7,
   top_k: 50,
   top_p: 1,
   repetition_penalty: 1
  },
  model_id: "ibm/granite-3-8b-instruct",
  project_id: "the-one-you-get"
 };

 const response = await fetch(url, {
  headers,
  method: "POST",
  body: JSON.stringify(body)
 });

 if (!response.ok) {
  throw new Error("Non-200 response");
 }

 return await response.json();
}

import requests

url = "https://us-south.ml.cloud.ibm.com/ml/v1/text/generation?version=2023-05-29"

body = {
 "input": """<|start_of_role|>system<|end_of_role|>You are Granite, an AI language model developed by IBM in 2024. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.<|end_of_text|>
<|start_of_role|>assistant<|end_of_role|>""",
 "parameters": {
  "decoding_method": "sample",
  "max_new_tokens": 200,
  "min_new_tokens": 100,
  "random_seed": 42,
  "temperature": 0.7,
  "top_k": 50,
  "top_p": 1,
  "repetition_penalty": 1
 },
 "model_id": "ibm/granite-3-8b-instruct",
 "project_id": "the-one-you-get"
}

headers = {
 "Accept": "application/json",
 "Content-Type": "application/json",
 "Authorization": "Bearer YOUR_ACCESS_TOKEN"
}

response = requests.post(
 url,
 headers=headers,
 json=body
)

if response.status_code != 200:
 raise Exception("Non-200 response: " + str(response.text))

data = response.json()

Die einzige Information, die vom Entwickler angepasst werden sollte, ist das Zugriffstoken.

Et voilà ?

Abschluss

Die watsonx.ai-Plattform macht es Anwendungsentwicklern sehr einfach, den Satz von LLM-Sampling-Parametern anzupassen.

Das obige ist der detaillierte Inhalt vonWie stellt man einfach alle „Sampling-Parameter' oder „Generierungsparameter' für Anwendungen mit Watsonx ein?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!