OpenAI API를 사용하여 파이썬에서 데이터 분석을 수행하는 방법

코어 포인트

Python 및 OpenAI API를 사용하여 사용자는 과도하게 설계하거나 시간을 낭비하지 않고 귀중한 통찰력에 대한 데이터 세트를 체계적으로 분석하여 데이터 분석을위한 보편적 솔루션을 제공 할 수 있습니다.

OpenAI API 및 Python은 레코드에서 지정된 정보를 추출하여 인쇄하여 텍스트 파일 (예 : NVIDIA의 최신 수익 통화)을 분석하는 데 사용될 수 있습니다.

OpenAI API 및 Python은 CSV 파일 (예 : 중간 기사 데이터 세트)을 분석하여 각 게시물의 전체 톤, 주요 레슨/포인트 및 0에서 3까지의 "클릭 미끼 점수"를 찾을 수 있습니다 (0은 미끼를 클릭하십시오. , 3은 극단적 인 클릭 미끼를 의미합니다).
• 여러 파일을 자동으로 분석하려면 사용자는 한 폴더에 배치하고 Glob Library를 설치 한 후 루프를 사용하여 각 파일의 내용을 읽고 각 파일 분석의 출력을 별도의 파일 중간으로 저장할 수 있습니다.
• 이 튜토리얼을 사용하면 Python 및 OpenAI API를 사용하여 데이터를 분석하고 분석하는 방법을 안내합니다.
유용한 데이터를 추출하기 위해 수동으로 데이터 세트를 분석하거나 간단한 프로그램으로 동일한 작업을 수행하면 종종 복잡하고 시간이 많이 걸릴 수 있습니다. 다행스럽게도 OpenAI API 및 Python을 사용하면 데이터 세트를 지나치게 설계 코드와 시간을 낭비하지 않고 흥미로운 정보를 위해 체계적으로 분석 할 수 있습니다. 이는 데이터 세트에서 다양한 유형의 데이터 및 데이터 포인트를 분석하기 위해 다른 방법, 라이브러리 및 API를 사용하지 않고 데이터 분석을위한 범용 솔루션으로 사용될 수 있습니다.
• OpenAI API 및 Python을 사용하여 데이터를 분석하는 방법을 단계별로 배우자.
설정
OpenAI API를 사용하여 광산을 사용하고 파이썬을 통한 데이터를 분석하려면 OpenAI 및 Pandas 라이브러리를 설치하십시오.

이 작업이 완료된 후 새 폴더를 만들고 새 폴더에 빈 파이썬 파일을 만듭니다.

텍스트 파일을 분석

이 튜토리얼에서는 Python이 Nvidia의 최신 수입 전화를 분석하는 것이 흥미로울 것이라고 생각합니다.

Motley Fool에서 얻은 최신 NVIDIA 수익 전화를 다운로드하여 프로젝트 폴더로 옮깁니다.

그런 다음 빈 파이썬 파일을 열고이 코드를 추가하십시오.

이 코드는 다운로드 한 NVIDIA 재무 보고서 레코드를 읽고 발사 변수로 Extract_Info 함수로 전달합니다.

Extract_Info 함수는 프롬프트와 레코드를 사용자 입력으로 전달하고 온도 = 0.3 및 model = "gpt-3.5-turbo-16k"를 전달합니다. "GPT-3.5-Turbo-16K"모델을 사용하는 이유는이 레코드와 같은 큰 텍스트를 처리 할 수 ​​있기 때문입니다. 이 코드는 OpenAi.ChatCompletion.Create Endpoint를 사용하여 응답을 얻고 소품 및 전사 변수를 사용자 입력으로 전달합니다. 완전한 입력은 다음과 같습니다 이제 입력을 OpenAi.ChatCompletion.CatCompletion으로 전달하면 전체 출력이 다음과 같습니다.

pip3 install openai pandas

보시다시피, 텍스트 응답과 요청 된 토큰 사용량을 반환합니다. 이는 지출 및 최적화 비용을 추적하는 경우 유용합니다. 그러나 응답 텍스트에만 관심이 있으므로 완료를 지정하여 얻을 수 있습니다 [0] .message.content 응답 경로.

코드를 실행하면 아래 인용과 유사한 출력을 얻어야합니다.

<,> 텍스트에서 다음 정보를 추출 할 수 있습니다.

Nvidia의 수익 : 2024 회계 연도 2/4 분기에 Nvidia는 2 분기 미화 135 억 달러의 기록을 기록했으며, 한 달에 88% 증가한 전년 대비 101% 증가한 것으로 나타났습니다.

이번 분기에 Nvidia가 한 일 : Nvidia는 모든 분야에서 상당한 성장을 보였습니다. 데이터 센터 부문의 수익은 한 달에 141% 증가한 전년 대비 171%의 기록을 기록했습니다. 그들의 게임 부서는 또한 성장을 달성했으며, 매월 11%, 전년 대비 22%의 매출을 올렸습니다. 또한 전문 시각화 부서의 매출은 한 달에 28% 증가했습니다. 또한 Snowflake, Servicenow, Accenture, Hugging Face, VMware 및 SoftBank와 같은 회사와의 파트너십 및 파트너십을 발표했습니다.

AI에 대한 의견 : NVIDIA는 AI 플랫폼 및 가속화 된 컴퓨팅 솔루션에 대한 강력한 수요를 강조합니다. 그들은 HGX 시스템에서 주요 클라우드 서비스 제공 업체 및 소비자 인터넷 회사의 배치를 언급했습니다. 또한 마케팅, 미디어 및 엔터테인먼트와 같은 다양한 산업에서 생성 인공 지능의 적용에 대해 논의합니다. Nvidia는 새로운 시장 기회를 창출하고 다른 부문의 생산성을 향상시키기 위해 생성 인공 지능의 잠재력을 강조합니다.

보시다시피, 코드는 프롬프트에 지정된 정보 (Nvidia의 수익, NVIDIA가 이번 분기에 한 일, 인공 지능에 대한 의견)에 지정된 정보를 추출하고 인쇄합니다.
<<> CSV 파일을 분석
수익 통화 및 텍스트 파일 분석은 멋지지만 많은 양의 데이터를 체계적으로 분석하려면 CSV 파일을 사용해야합니다.
3. 작업 예제 로이 중간 기사 CSV 데이터 세트를 다운로드하여 프로젝트 파일에 붙여 넣으십시오.
CSV 파일을 보면 저자, 좋아요, 읽기 시간, 링크, 제목 및 텍스트와 같은 열이 있음을 알 수 있습니다. OpenAI를 사용하여 미디어 기사를 분석하려면 "제목"및 "텍스트"열만 필요합니다.

프로젝트 폴더에 새 Python 파일을 작성 하고이 코드를 붙여 넣습니다.

이 코드는 텍스트 파일을 분석하는 데 사용하는 코드와 약간 다릅니다. CSV를 라인별로 읽고 지정된 정보를 추출하여 새 열에 추가합니다.

이 튜토리얼에서는 Kaggle의 Hsankesara에서 얻은 중간 기사에 대한 CSV 데이터 세트를 선택했습니다. 이 CSV 분석 코드는 CSV 파일의 "제목"및 "기사"열을 사용하여 각 게시물의 전체 톤 및 주요 레슨/포인트를 찾습니다. 나는 항상 매체에서 클릭 베이트 기사를 만나기 때문에 각 기사 0 ~ 3“클릭 베이트 등급”을 제공함으로써 각 기사를 판단하게 할 것이라고 생각합니다 (0은 클릭 베이트가 없음을 의미합니다. 흥미로운.

전체 CSV 파일을 분석하는 데 너무 오래 걸리고 코드를 설명하기 전에 너무 많은 API 포인트를 소비 하므로이 자습서에서는 코드가 DF = DF [: 5]를 사용하여 처음 5 개의 기사를 분석하게 만들었습니다.

당신은 코드의 다음 부분에 의해 혼란 스러울 수 있으므로 다음과 같이 설명하겠습니다.

이 코드는 CSV 파일의 모든 기사 (줄)를 반복하고 각 반복에 대한 각 기사의 제목과 본문을 가져 와서 이전에 본 Extract_Info 함수로 전달됩니다. 그런 다음 다음 코드를 사용하여 Extract_Info 함수의 응답을 목록으로 변환 하여이 코드를 사용하여 다른 정보 스 니펫을 분리합니다.

다음으로, 각 정보를 목록에 추가하고 오류가 발생하면 (값이없는 경우) 목록에 "결과 없음"을 추가합니다.

마지막으로, for 루프가 완료된 후, 추출 된 정보가 포함 된 목록은 CSV 파일의 새 열에 삽입됩니다 : <🎜 🎜>

pip3 install openai pandas

보시다시피, "tone", "main_lesson_or_point"및 "clickbait_score"라는 새로운 CSV 열에 목록을 추가합니다.

그런 다음 index = false를 사용하여 CSV 파일에 첨부하십시오.

index = false를 지정 해야하는 이유는 새 열이 CSV 파일에 첨부 될 때마다 새 인덱스 열을 생성하지 않기 때문입니다.

completions = openai.ChatCompletion.create(
    model="gpt-3.5-turbo-16k",
    messages=[
        {"role": "user", "content": prompt+"\n\n"+text}
    ],
    temperature=0.3,
)

이제 Python 파일을 실행하면 CSV 파일 뷰어에서 CSV 파일을 완료하고 확인할 때까지 기다릴 때까지 기다리면 다음 이미지에 표시된대로 새 열이 표시됩니다.

<<>

<code>从文本中提取以下信息：
    英伟达的收入
    英伟达本季度做了什么
    关于人工智能的评论

英伟达财报记录在此处</code>

코드를 여러 번 실행하면 생성 된 답변이 약간 다릅니다. 코드는 온도 = 0.3을 사용하여 답변에 창의성을 추가하기 때문에 ClickBait과 같은 주관적인 주제에 매우 유용하기 때문입니다.

<🎜 🎜> <<> 여러 파일 처리

{
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "message": {
        "content": "实际响应",
        "role": "assistant"
      }
    }
  ],
  "created": 1693336390,
  "id": "request-id",
  "model": "gpt-3.5-turbo-16k-0613",
  "object": "chat.completion",
  "usage": {
    "completion_tokens": 579,
    "prompt_tokens": 3615,
    "total_tokens": 4194
  }
}

여러 파일을 자동으로 분석하려면 먼저 한 폴더에 파일을 배치하고 폴더에 관심있는 파일 만 포함되어 있는지 확인해야합니다. 그런 다음 PIP3 Glob를 설치하여 Glob Library를 설치하고 Import Glob를 사용하여 Python 파일로 가져 오십시오.

Python 파일 에서이 코드를 사용하여 데이터 폴더의 모든 파일 목록을 가져옵니다.

그런 다음 for 루프에서 분석을 실행하는 코드를 넣습니다.

for 루프에서 다음과 같은 텍스트 파일의 각 파일의 내용을 읽으십시오.

CSV 파일의 경우 다음과 같습니다

for di in range(len(df)):
    title = titles[di]
    abstract = articles[di]
    additional_params = extract_info('Title: '+str(title) + '\n\n' + 'Text: ' + str(abstract))
    try:
        result = additional_params.split("\n\n")
    except:
        result = {} 

또한 다음과 유사한 것을 사용하여 각 파일 분석의 출력을 별도의 파일에 저장하십시오.

결론

온도 매개 변수를 실험하고 사용 사례에 따라 조정해야합니다. AI가 더 창의적 인 답변을 생성하려면 온도 값을 높이려면 더욱 사실적인 답변을 생성하십시오.

OpenAI 및 Python 데이터 분석의 조합에는 기사 및 재무 보고서 통화 기록 분석 외에도 많은 응용 프로그램이 있습니다. 예를 들어, 뉴스 분석, 도서 분석, 고객 검토 분석 등! 즉, 대형 데이터 세트에서 파이썬 코드를 테스트 할 때 전체 데이터 세트의 작은 부분에서만 테스트하여 API 포인트와 시간을 절약하십시오.

파이썬 데이터 분석을위한 Openai API에 대한 자주 묻는 질문 (FAQ) OpenAI API는 무엇이며 어떻게 작동합니까?

OpenAI API는 개발자가 OpenAI 모델의 기능에 액세스하고 활용할 수있는 강력한 도구입니다. API 엔드 포인트에 요청을 보내어 작동하여 요청을 처리하고 출력을 반환합니다. API는 텍스트 생성, 번역, 요약 등 다양한 작업에 사용할 수 있습니다. 간단한 인터페이스와 명확한 문서로 사용하기 쉽도록 설계되었습니다. 데이터 분석에 OpenAI API를 어떻게 사용합니까? OpenAI API를 사용하면 기계 학습 기능을 활용하여 데이터 분석이 가능합니다. 예를 들어,이를 사용하여 텍스트 데이터를 분석하고 통찰력을 추출하며 예측할 수 있습니다. 데이터를 사용하여 API에 요청을 보낼 수 있으며 분석 결과를 반환합니다. API가 Python 통합을 지원하므로 Python을 사용하여 수행 할 수 있습니다.

데이터 분석을 위해 OpenAI API를 사용하면 어떤 이점이 있습니까?

데이터 분석을 위해 OpenAI API를 사용하면 많은 이점이 있습니다. 먼저, 자신의 모델을 구축하고 훈련시키지 않고 머신 러닝의 힘을 활용하여 시간과 자원을 절약 할 수 있습니다. 둘째, 많은 양의 데이터를 처리하고 수동으로 얻기 어려운 통찰력을 제공 할 수 있습니다. 마지막으로 유연하며 다양한 데이터 분석 작업에 사용할 수 있습니다.

OpenAI API를 Python과 어떻게 통합합니까?

OpenAI API를 Python과 통합하는 것은 매우 간단합니다. PIP를 사용하여 수행 할 수있는 OpenAI Python 클라이언트를 설치해야합니다. 설치가 완료되면 Python 스크립트에서 OpenAI 라이브러리를 가져와 API에 요청을 보낼 수 있습니다. 또한 OpenAI 웹 사이트에서 얻을 수있는 API 키를 설정해야합니다.

OpenAI API를 사용하여 어떤 작업을 수행 할 수 있습니까?

OpenAI API는 다양한 작업에 사용될 수 있습니다. 예를 들어, 텍스트 생성에 사용할 수 있으며, 이는 프롬프트를 기반으로 인간과 같은 텍스트를 생성 할 수 있습니다. 번역, 초록 및 감정 분석에도 사용할 수 있습니다. 데이터 분석의 맥락에서 텍스트 데이터를 분석하고 통찰력을 추출하며 예측하는 데 사용될 수 있습니다.

OpenAI API 사용의 한계는 무엇입니까?

OpenAI API는 강력하지만 몇 가지 제한 사항이 있습니다. 예를 들어, 분당 API로 보낼 수있는 요청 수에는 제한이 있습니다. 또한 API는 무료가 아니며 많은 데이터를 작업하면 비용이 증가 할 수 있습니다. 마지막으로, API는 일반적으로 정확하지만 완벽하지 않으며 결과는 광범위한 분석 전략의 일부로 사용해야합니다.

OpenAI API를 사용하여 어떻게 문제를 해결합니까?

OpenAI API를 사용하는 데 문제가있는 경우 몇 단계를 수행 할 수 있습니다. 먼저, 오류 메시지가 일반적으로 문제의 원인에 대한 단서를 제공하므로 오류 메시지를 확인하십시오. API 사용 방법에 대한 자세한 정보를 제공하고 자주 묻는 질문에 대한 문제를 해결하는 API 문서를 참조 할 수도 있습니다. 여전히 문제가있는 경우 OpenAI 커뮤니티에 문의하여 도움을받을 수 있습니다.

OpenAI API의 보안 수준은 얼마입니까?

OpenAI API는 보안을 염두에두고 설계되었습니다. API로 전송 된 모든 데이터는 전송 중에 암호화되며 OpenAI는 데이터를 보호하기위한 엄격한 정책이 있습니다. 그러나 모든 온라인 서비스와 마찬가지로 API를 책임감있게 사용하고 데이터 보안 모범 사례를 준수하는 것이 중요합니다.

상업용으로 OpenAI API를 사용할 수 있습니까?

예, 상업적 목적으로 OpenAI API를 사용할 수 있습니다. 그러나 API를 사용하면 비용이 발생하고 API의 서비스 약관을 검토하여 의도 된 사용이 요구 사항을 충족하는지 확인해야합니다.

OpenAi API의 미래는 무엇입니까?

OpenAi API의 미래는 밝습니다. OpenAI는 지속적으로 모델을 개선하고 API의 기능을 확장하고 있습니다. 기계 학습과 인공 지능의 지속적인 진화로 API가 더 강력하고 다재다능해질 것으로 기대할 수 있습니다.

위 내용은 OpenAI API를 사용하여 파이썬에서 데이터 분석을 수행하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!