


面接、英語メール、生放送、週報、履歴書の5つのシーンにおいて、GPT 3.5シリーズモデルの費用対効果はどうなのでしょうか?実際のテストを実施し、選択ガイドを提供しました。
GPT 3.5 シリーズで最もパフォーマンスが高いモデルはどれですか?
GPT 3.5 シリーズは一般的なアプリケーション タスクで実際にどのように実行されますか?
GPT 3.5 モデルでさまざまな質問に答えるのにかかる費用は通常どれくらいですか?
今号の「SOTA!実測」
今号の実測の結論は以下の通りです(詳細な評価は記事末をご覧ください )
モデル |
#gpt-3.5-turbo |
text-davinci-003 |
text-davinci-002 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
#説明 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
トークンの最大数 |
4,096 トークン |
##4,097 トークン |
##4,097 トークン # |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
#価格 |
##$0.002 / 1K トークン
|
$0.0200 / 1K トークン
|
$0.0200 / 1K トークン
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
総合評価 |
総合評価が高く、パフォーマンスも高い精度が高く、プロフェッショナルであり、ほとんどのタスクに適応できます。出力結果は比較的完全かつスムーズで、さまざまなタスクの出力も比較的正確で包括的です。高い適応性と汎用性があり、コストは最低です。
|
全体的なスコアは比較的低く、一部のタスクでは良好に実行されますが、全体的に出力結果はパーソナライゼーションと適切性に欠けており、表現は正確かつ簡潔ではありません十分です。また、時には不正確な点がある場合もあります。
|
総合スコアは最低です。出力結果は専門的かつ正確ではありません。パーソナライゼーションや適切性が欠如しています。また、言語表現にも大きな問題があります。全体的にはさらなる最適化と改善が必要です。
|
#テスト シナリオ |
テストの角度 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
##職務内容に基づいて面接の質問を生成する
| #面接の質問の作成がどれほど簡単か
#作成された面接の質問が職務内容とどの程度一致しているか
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
生成された面接の質問が候補者とどの程度一致するか
|
#意味論がスムーズかどうか、展開された内容が正しいか、曖昧な名詞の翻訳が正しいか、専門名詞・固有名詞の翻訳が正しいか |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
入力では、「口語」または「書き言葉」で出力する必要があります | 大丈夫ですか? 話し言葉または正式な書き言葉のスタイルをシミュレートします |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
入力に口語調で書き、 「書かれた」出力が必要であり、一部の背景情報を省略し、入力で曖昧な名詞を使用します。 |
話し言葉または正式な書き言葉のスタイルをシミュレートできるかどうか、および音声言語表現を正しく理解できるかどうか、入力に犯罪関連のコンテンツが含まれる曖昧な名詞を正しく翻訳できるかどうか |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
安全でないコンテンツがフィルタリングされるかどうか
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
入力で反転を使用する文、同音異義語のタイプミス、方言、口語省略文
|
中国語の文法上の誤り、タイプミス、不完全な文章を正しくフィルタリングして理解できるかどうか
|
テストシナリオ |
#テスト角度
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
#のテキスト内容に基づく生放送の場合は、A summary としてまとめられます。 |
生成されたコンテンツの正確さ、洗練度、流暢さの概要 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
いくつかのキーの洗練ライブ テキスト コンテンツに基づくポイント |
#生成されたコンテンツの正確さ、洗練さ、流暢さの重要なポイント |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
#ライブ ブロードキャストのテーマに基づいてライブ ブロードキャスト アウトラインを作成する |
生成されたライブ ブロードキャスト アウトラインの品質、関連性テーマの度数 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
#ライブ テキストのコンテンツに基づいて質問の答えを見つけます
| #生成された回答の品質、正確さ
検査角度 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
#磨き力、拡張力、出力内容の充実度・完成度を考慮 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
##大まかな作業内容を提示して週報を出力する |
異業種の人が大まかな作業内容を提示して出力する週報の品質を検討する |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
与えられた作業内容と対象となるテンプレート構造をもとに、テンプレート化された週報を出力します |
既知の仕様に従って週報出力を検討
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
##テストシナリオ
|
#検査の視点 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
##職務責任に基づいて履歴書を作成
| ##職務責任と生成された履歴書の一致とプロフェッショナリズム|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
#職務要件と履歴書のマッチング |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
生成されたコンテンツの正確さとプロフェッショナリズム |
##職務に基づいて履歴書テンプレートを生成する |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
プロフェッショナリズムとマッチングのためのテンプレートを生成 |
# gpt-3.5-turbo: 総合スコアは 4 ポイントで、高い専門性があり、テンプレート出力ジョブの要件のすべての側面がカバーされており、内容は正確です。この経験は職務要件の能力と特性に対応しており、読者が一目で理解でき、採用担当者の要件にも応えやすくなっており、完全に提示されており、担当者が出力する情報です。学歴から職歴、スキル習得、自己評価までを網羅したテンプレートが完成しており、採用担当者に総合的な理解を与えることができます。しかし、個性に欠け、表現形式も単一であり、言語表現に使用される言葉にも配慮が必要である。 text-davinci-003: 総合スコアは 1.9 ポイントですが、 には具体的なプロジェクトの事例と結果の表示がありません。求人に関する個別の説明はありません。履歴書には採用要件を満たす多くの条件が記載されていましたが、採用ポジションの特徴やニーズを具体的に説明したり強調したりするものではありませんでした。結果の定量的な説明が不足している。言語表現が十分に簡潔かつ正確ではありません。 text-davinci-002: 総合スコアは 1.3 ポイントです。全体的な出力情報が少なすぎるため、必要な基本情報がありません。標準の履歴書を満たしています。説明文が短すぎます。明確な求職目標が欠如し、パーソナライゼーションと適切性が欠如し、定量的指標が欠如し、経験とスキルの比較的単純な説明、比較的単純なフォーマット、仕様を満たしていない、モデルのパフォーマンスが低い。 # テスト ケースの 1 つを選択して見てみましょう——
消費コスト 職務に基づいて履歴書テンプレートを生成するテスト例、 gpt-3.5-turbo 約 0.0077 元を消費、text-davinci-003 は約 0.1 元、text-davinci-002 は約 0.022 元を消費 推論出力 しかし、注意深く見てみると、text-davinci-003 には現実的な認識と明らかに矛盾していることがわかります。これは、仕事の要件と個人の能力との一致について具体的に説明しているわけではありません。専門スキルのセクションでは、受験者はコンピューター操作と CET-6 に精通していますが、焼き芋の販売職に関する専門スキルや知識が不足しています。 Text-davinci-002 は比較的簡潔で、応募者の目標、スキル、経験、学歴などの基本情報のみを提供します。 3 つの GPT 3.5 シリーズ モデルの比較概要 インタビュー シナリオ タスクでは、gpt-3.5-turbo が総合スコアが最も高く、インタビュー シナリオによく適応できます。 text-davinci-002 の質問は非常に的を絞っており、複数の角度から候補者の能力と経験を深く理解していますが、text-davinci-002 のスコアは最も低いです。質問の範囲が広すぎて、基本的には次のことを繰り返しています。職務内容が明確でなく、挑戦的で実践的な質問が欠けている場合や、生成されたコンテンツさえも完全に利用できない場合があります。英語の電子メール作成シナリオ タスクでは、gpt-3.5-turbo と text-davinci-003 の方が全体的なスコアが高く、話し言葉と正式な書き言葉のスタイルをシミュレートできます。表現や曖昧な名詞の理解と翻訳はできるが、安全でないコンテンツを正しく識別できない、text-davinci-002 のスコアが最も低く、話し言葉と書き言葉をうまく切り替えることができず、安全でないコンテンツを正しく識別できない。 ライブ ブロードキャスト シーンのタスクでは、gpt-3.5-turbo が最も高いスコアを獲得し、ライブ コンテンツを正確、簡潔、スムーズに要約し、簡潔さの要件を満たすことができます。一方、text-davinci -002 はスコアが最も低く、出力精度は平均的で、シーンにうまく適応できませんが、簡単さと流暢さの点でさらに改善の余地があります。 作業週報を作成するシナリオ タスクでは、gpt-3.5-turbo と text-davinci-003 の方がスコアが高く、週報の論理構造と内容ポイント、および出力を正確に表現できます。内容は比較的充実していますが、テキスト -davinci-002 の評価は最も低く、週次レポートを表現するためのロジックが欠如しており、構造が一致しておらず、内容も関連性がありません。 履歴書シナリオ タスクでは、gpt-3.5-turbo が最も高いスコアを獲得しており、採用担当者の要件を満たし、学歴、職歴、スキルを示す履歴書を専門的に作成できます。しかし、text-davinci-003 と text-davinci-002 はスコアが低く、言語表現の正確さと個人化にはさらに注意を払う必要があります。実績や履歴書の記載も比較的シンプルで整理されていない。 上記 5 つのアプリケーション タスクを総合的に評価すると、次のようになります。 次の評価は、特定のアプリケーション シナリオにおけるこれらのモデルの評価のみを表しています。他のアプリケーション シナリオやタスクでは評価が異なる場合があります。これらの モデルの一部はまだ反復の過程にあり、パフォーマンスが向上する可能性があります。今後のテストでは、GPT シリーズの新モデル (GPT-4 など) の比較も追加する予定です。
##1.7 職務内容に基づいて面接の質問を生成する 4.5 ##4 0
特殊な翻訳が付けられた固有名詞、特定の分野の専門用語、さまざまなシナリオで異なる意味を持つ名詞を入力テキストに挿入します ##3 ##2 入力には「口語」および「書面」出力が必要です #3.5 3 3.5 入力では口語調で書き、「書面」出力が必要で、入力では背景の一部を省略します。情報、曖昧な名詞の使用 #4 5
##1 1 1 #入力文で倒置文、同音異義語のタイプミス、方言、口語省略文を使用します 3 ##4 #3 ##3 4.7
##4 0 #5
##4 ##3.5 0 ##指定された大まかな説明に基づいて週次レポートを出力します 4.5 ##4
#指定された作業内容と対象のテンプレート構造に基づいて、テンプレート化された週次レポートを出力します #3 #1
##4 ##1.5 #1.5 ##職務要件に基づいて履歴書を作成します ##3 1.5 #3.5 1.5 1
#1.5 ##1 |
以上が面接、英語メール、生放送、週報、履歴書の5つのシーンにおいて、GPT 3.5シリーズモデルの費用対効果はどうなのでしょうか?実際のテストを実施し、選択ガイドを提供しました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

Google が推進する JAX のパフォーマンスは、最近のベンチマーク テストで Pytorch や TensorFlow のパフォーマンスを上回り、7 つの指標で 1 位にランクされました。また、テストは最高の JAX パフォーマンスを備えた TPU では行われませんでした。ただし、開発者の間では、依然として Tensorflow よりも Pytorch の方が人気があります。しかし、将来的には、おそらくより大規模なモデルが JAX プラットフォームに基づいてトレーニングされ、実行されるようになるでしょう。モデル 最近、Keras チームは、ネイティブ PyTorch 実装を使用して 3 つのバックエンド (TensorFlow、JAX、PyTorch) をベンチマークし、TensorFlow を使用して Keras2 をベンチマークしました。まず、主流のセットを選択します

今日は、時系列予測のパフォーマンスを向上させるために、時系列データを潜在空間上の大規模な自然言語処理 (NLP) モデルと整合させる方法を提案するコネチカット大学の最近の研究成果を紹介したいと思います。この方法の鍵は、潜在的な空間ヒント (プロンプト) を使用して時系列予測の精度を高めることです。論文タイトル: S2IP-LLM: SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting ダウンロードアドレス: https://arxiv.org/pdf/2403.05798v1.pdf 1. 大きな問題の背景モデル

テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー(テスラの4680バッテリー)を次のように分類します:公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング:今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません

目標検出は自動運転システムにおいて比較的成熟した問題であり、その中でも歩行者検出は最も初期に導入されたアルゴリズムの 1 つです。ほとんどの論文では非常に包括的な研究が行われています。ただし、サラウンドビューに魚眼カメラを使用した距離認識については、あまり研究されていません。放射状の歪みが大きいため、標準のバウンディング ボックス表現を魚眼カメラに実装するのは困難です。上記の説明を軽減するために、拡張バウンディング ボックス、楕円、および一般的な多角形の設計を極/角度表現に探索し、これらの表現を分析するためのインスタンス セグメンテーション mIOU メトリックを定義します。提案された多角形モデルの FisheyeDetNet は、他のモデルよりも優れたパフォーマンスを示し、同時に自動運転用の Valeo 魚眼カメラ データセットで 49.5% の mAP を達成しました。
