OpenAI JSON 모드 및 JSON 스키마로 데이터 추출 단순화

ChatGPT-3.5가 출시된 후 처음 실험했을 때 다양한 애플리케이션에 대한 잠재력에 놀랐습니다. 그러나 큰 장애물에 직면했을 때 나의 흥분은 빠르게 사라졌습니다. 반환된 귀중한 정보는 매우 읽기 쉬웠지만 애플리케이션에서 안정적으로 수집할 수 있는 형식이 아니었습니다. 아이러니하게도 LLM은 구조화되지 않은 텍스트에서 정보를 추출하는 데 탁월하지만 구조화되지 않은 형식으로만 정보를 반환할 수 있습니다. 프로그래밍 방식으로 LLM에서 결과를 추출하려고 시도하는 것은 가장 맛있는 음식을 제공하는 놀라운 레스토랑에 있는 것처럼 느껴졌지만 아무런 도구도 없었습니다. 보고 냄새를 맡을 수는 있지만 접근할 수는 없습니다.

구조화된 데이터처럼 보이도록 책에 있는 모든 방법을 시도했습니다. “각 항목을 막대나 새 줄로 구분하고 설명은 건너뛰세요.”라고 간청했습니다. 때로는 효과가 있었고 때로는 그렇지 않았습니다. 때로는 의도는 좋지만 약간 혼란스러운 조수처럼 항목에 "유용하게" 번호를 매기거나 순서를 변경합니다. 다른 때에는 여전히 수다스러운 동료를 연상시키는 논평에 몰래 빠져들곤 했습니다. 나는 심지어 JSON을 반환할 것을 확실하지 않은 조건으로 요구했지만, 때로는 쉼표를 생략했습니다. 마치 수동-공격적 잽을 사용하는 것처럼 보였습니다. 결국 저는 포기하고 마지못해 덜 흥미롭지만 더 예측 가능한 기존 알고리즘의 영역으로 돌아왔습니다.

다행히도 몇 달 후 OpenAI는 LLM이 유효한 JSON을 반환하도록 강제하는 기능인 JSON 모드를 도입했습니다. 나는 이 기능을 사용해 보기로 결정했고 내 응용 프로그램에서 결과를 처리하는 데 훨씬 더 효과적이라는 것을 알았습니다. 다음은 JSON 모드가 활성화된 출력의 예입니다.

PROMPT:‍
Parse the following sentence into words and then return the results
as a list of the original word and the translation in English and
return the results in JSON.
-- sentence --
早安‍


RESULTS:
{
  "results": [
    {
      "original": "早安",
      "translation": "Good morning"
    }
  ]
}

이 결과는 확실히 개선되었습니다. 그러나 출력은 유효한 JSON이지만 프롬프트 내용에 따라 구조가 달라질 수 있습니다. 보다 예측 가능한 접근 방식은 원하는 반환 형식을 지정하는 것입니다. 이를 달성하는 한 가지 방법은 LLM이 따라야 할 샘플 JSON 구조를 제공하는 것입니다. 이 방법에는 예제를 만들고 이를 구문 분석하는 코드를 작성하는 작업이 포함됩니다. 구조가 변경되면 양쪽 모두 수정해야 합니다.

대체 접근 방식은 DTO(데이터 전송 개체)를 정의하여 결과를 보관하고 이를 사용하여 LLM에 지시하고 결과를 구문 분석하여 동기화 문제를 방지하는 것입니다. 먼저 DTO를 정의합니다. 예를 들면 다음과 같습니다.‍

record Entries(List<Entry> entries) {
    record Entry(String originalWord, String wordInEnglish, String pronunciation) {}
}

이제 DTO를 프롬프트 지침뿐만 아니라 구문 분석 코드에서도 사용할 수 있습니다.

// Construct the prompt with the output schema.
var prompt = MessageFormat.format("""
   Parse the following sentence into English and return the results
   in JSON according to the following JSON schema.

   人工智慧將引領未來，以智慧之光照亮人類無限可能的前程。
   --- output json schema ---
   {0}
   """, jsonSchemaOf(Entries.class));
   var result = sendPrompt(prompt, Entries.class);

Jackson JSON 스키마 생성기를 사용하는 코드는 다음과 같습니다.

PROMPT:‍
Parse the following sentence into words and then return the results
as a list of the original word and the translation in English and
return the results in JSON.
-- sentence --
早安‍


RESULTS:
{
  "results": [
    {
      "original": "早安",
      "translation": "Good morning"
    }
  ]
}

참고: 기본적으로 생성된 스키마에는 토큰을 낭비할 수 있는 참조에 사용되는 ID 필드가 포함됩니다. 사용되지 않는 ID를 제거하는 코드는 OpenAI JSON 모드 샘플 저장소를 참조하세요.

마지막으로 Azure OpenAI Java SDK를 사용하여 OpenAI에 프롬프트를 보내는 코드는 다음과 같습니다.

record Entries(List<Entry> entries) {
    record Entry(String originalWord, String wordInEnglish, String pronunciation) {}
}

대부분의 경우 솔루션이 잘 작동합니다. LLM은 JSON 스키마를 효과적으로 이해하지만 주의할 점이 있습니다. 가끔 잘못된 경우를 본 적이 있습니다. 예를 들어, 필드가 문자열이고 해당 이름이 복수형(예: "exampleValues")인 경우 LLM은 때때로 대신 문자열 배열을 반환해야 한다고 주장합니다.

LLM은 놀라운 성과를 창출할 수 있으며 때로는 일반인의 능력을 뛰어넘습니다. 그러나 적어도 현재로서는 생성된 출력물의 형식을 안정적으로 지정하는 보다 일상적인 작업에 어려움을 겪고 있다는 점이 흥미로웠습니다.

위 내용은 OpenAI JSON 모드 및 JSON 스키마로 데이터 추출 단순화의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!