Hello folks，我是 Luga，今天我们来聊一下人工智能(AI)生态领域相关的技术 - GPT-4o 模型 。
在2024年5月13日，OpenAI创新性地推出了其最先进、最前沿的模型GPT-4o，这是标志着人工智能聊天机器人和大型语言模型领域实现重大突破的举措。预示着人工智能能力的新时代，GPT-4o拥有显着的性能增强，在速度和多功能性方面都超越了其前身GPT-4。
这一突破性的进步解决了经常困扰其前身的延迟问题，确保了无缝且响应迅速的用户体验。
2024年5月13日，OpenAI发布了其最新、最先进的人工智能模型GPT-4o，其中的"o"代表"omni"，意为"所有"或"通用"。这款模型是基于GPT-4 Turbo构建的新一代大语言模型。与之前的模型相比，GPT-4o在输出速度、回答质量和支持的语言种类等方面有了显著的提升，并且在处理输入数据的格式上进行了革命性的创新。
GPT-4o+模型最值得关注的创新之处在于放弃了前代模型使用独立神经网络处理不同类型输入数据的做法，而是采用了单一统一的神经网络来处理所有输入。这一创新设计赋予了GPT-4o+前所未有的多模态融合能力。 多模态融合是指将不同类型的输入数据（如图像、文本、音频等）整合在一起进行处理，以获得更全面、准确的结果。以往的模型在处理多模态数据时需要分别设计不同的网络结构，耗费大量的计算资源和时间。而GPT-4o+通过使用统一的神经网络，实现了不同类型输入数据的无缝衔接，极大地提高了处理效
传统的语言模型通常只能处理纯文本输入，无法处理语音、图片等非文本数据。然而，GPT-4o 不同寻常，它能够同时检测和解析语音输入中的背景噪音、多重声源、情感色彩等非文本信号，并将这些多模态信息融合到语义理解和生成过程中，从而产生更丰富、更符合上下文的输出内容。
除了处理多模态输入，GPT-4o+在生成多语种输出时也展现了出色的出色的出色的输出能力。它不仅在英语等主流语言上输出质量更高、语法更正确、表述更简洁，而且对于非英语的其他语种场景输出，GPT-4o+也能保持同样的水准。这确保了无论是英语用户还是其他语种用户，都能享受到 GPT-4o+ 超越的自然语言生成能力。
总的来说，GPT-4o+的最大亮点在于突破了单一模态的局限，实现了跨模态的综合理解和生成能力。借助创新的神经网络架构和训练机制，GPT-4o+不仅能够从多种感官通道获取信息，还能在生成时融会贯通，产生与上下文高度贴合、更加个性化的响应。
GPT-4是OpenAI最新推出的多模态大模型，其性能与前代GPT-4 Turbo相比，具有质的飞跃。在这里，我们可以对以下关键方面对两者进行对比分析。 首先，GPT-4和GPT-4 Turbo在模型规模上存在差异。GPT-4相比于GPT-4 Turbo拥有更大的参数量，意味着它可以处理更复杂的任务和更大规模的数据集。这使得GPT-4在语义理解、文本生成等方面具有更高的准确性和流畅度。 其
根据 OpenAI 公布的数据，在相同硬件条件下，GPT-4o 的推理速度是 GPT-4 Turbo 的两倍。这种显著的性能提升主要归功于其创新的单一模型架构，避免了模态切换所带来的效率损失。单一模型架构不仅简化了计算流程，还大幅减少了资源开销，从而使得 GPT-4o 能够更快速地处理请求。更高的推理速度意味着 GPT-4o 可以以更低的延迟为用户提供响应，显著提升了交互体验。无论是在实时对话、复杂任务处理，还是在高并发环境下的应用中，用户都能感受到更加流畅和即时的服务响应。这种性能优化不仅提高了系统的整体效率，还为各种应用场景提供了更可靠和高效的支持。
GPT-4o 与 GPT-4 Turbo 延迟对比
众所周知，早期的 GPT 模型在吞吐量方面表现有点滞后。例如，最新的 GPT-4 Turbo 每秒只能生成 20 个令牌。然而，GPT-4o 在这方面取得了重大突破，每秒能够生成 109 个令牌。这一改进使得 GPT-4o 在处理速度上有了显著提升，为各种应用场景提供了更高的效率。
尽管如此，GPT-4o 依然不是速度最快的模型。以在 Groq 上托管的 Llama 为例，它每秒可以生成 280 个令牌，远超 GPT-4o。然而，GPT-4o 的优势不仅仅在于速度。其先进的功能和推理能力使其在实时 AI 应用中脱颖而出。GPT-4o 的单一模型架构和优化算法不仅提升了计算效率，还显著降低了响应时间，使其在交互体验上具有独特的优势。
GPT-4o 与 GPT-4 Turbo 吞吐量对比
通常而言，GPT-4o 和 GPT-4 Turbo 在处理不同类型任务时，由于架构和模态融合能力的差异性使得表现也存在明显区别。这里，我们主要从数据提取、分类以及推理等3个代表性任务类型来具体分析两者之间的差异。
在文本数据提取任务上，GPT-4 Turbo 依赖其强大的自然语言理解能力可以取得不错的表现。但当遇到包含图像、表格等非结构化数据的场景时，其能力便显得有些捉襟见肘。
相比之下，GPT-4o 能够无缝融合不同模态的数据，无论是在结构化的文本中，还是图像、PDF 等非结构化数据里，都可以高效地识别和提取所需信息。这一优势使得 GPT-4o 在处理复杂混合数据时更具竞争力。
这里，我们以某司的合同场景为例，数据集包括公司与客户之间的主服务协议(MSA)。合同的长度各不相同，有些短至5页，有些长于50页。
在本次评估中，我们将提取总共12个字段，如合同标题、客户名称、供应商名称、终止条款的详细信息、是否存在不可抗力等。通过对10份合同的真实数据收集，并使用设置了 12 个自定义评估指标。这些指标用于将我们的真实数据与模型生成的 JSON 中的每个参数的 LLM 输出进行比较。随后，我们对 GPT-4 Turbo 和 GPT-4o 进行了测试，以下是我们的评估报告结果：
针对每个 Prompt 所对应的12个指标评估结果
在上述的对比结果中，我们可以得出：在这12个字段中，GPT-4o 在6个字段上表现优于 GPT-4 Turbo，在5个字段上结果相同，而在1个字段上表现略有下降。
从绝对角度来看，GPT-4 和 GPT-4o 在大多数领域仅正确识别了60-80%的数据。在需要高准确性的复杂数据提取任务中，这两种模型的表现都未达到标准。通过使用先进的提示技术，如几发提示或链式思维提示，可以获得更好的结果。
此外，GPT-4o 在 TTFT(第一个令牌的生成时间)上比 GPT-4 Turbo 快50-80%，这使得 GPT-4o 在直接比较中占据优势。最终结论是，GPT-4o 由于其更高的质量和更低的延迟表现优于 GPT-4 Turbo。
分类任务往往需要从文本、图像等多模态信息中提取特征，再进行语义级别的理解和判断。在这一点上，由于 GPT-4 Turbo 受限于只能处理单一文本模态，分类能力相对有限。
而 GPT-4o 则可以将多模态信息融合，形成更加全面的语义表征，从而在文本分类、图像分类、情感分析等领域展现出卓越的分类能力，尤其是在一些高难度的跨模态分类场景中。
在我们的提示中，我们提供了客户票何时关闭的明确说明，并添加了几个示例，以帮助解决最困难的案例。
通过运行评估，以测试模型的输出是否与100个标记测试用例的地面真值数据相匹配，以下是相关结果：
分类分析评估参考
GPT-4o 无疑展现出了压倒性的优势。通过一系列针对各类复杂任务的测试和对比，我们可以看到，GPT-4o 在整体精确度上均远超其他竞品模型，从而令它成为诸多应用领域中不二的首选之作。
然而，倾向于 GPT-4o 作为通用解决方案的同时，我们也需要谨记，选择最佳 AI 模型并非一蹴而就的决策过程。毕竟，AI 模型的表现往往取决于具体的应用场景及对精度、召回率和时间效率等不同指标的权衡偏好。
推理是人工智能系统的一项高阶认知能力，需要模型从给定的前提条件中推导出合理的结论。这对于逻辑推理、问答推理等任务都至关重要。
GPT-4 Turbo 在文字推理任務上已經表現出色，但遇到需要多模態資訊融合的情況時，其能力就受到了一定限制。
而 GPT-4o 則不存在此限制。它能夠自如地融合文本、圖像、語音等多種模態的語義訊息，在此基礎上進行更複雜的邏輯推理、因果推理和歸納推理，從而賦予人工智慧系統更加"人性化"的推理判斷能力。
還是基於上述場景，我們來看一下兩者在推理層面的對比，具體可參考如下所示：
16個推理任務的評估參考
根據GPT-4o 模型的範例測試，我們可以觀察到它在以下推理任務中表現越來越出色，具體如下：
以上是一文讀 GPT-4o vs GPT-4 Turbo的詳細內容。更多資訊請關注PHP中文網其他相關文章！
