Mollick介绍了新图像生成模型的含义

近期，谷歌和OpenAI发布的全新图像生成模型引发广泛关注，其核心技术与以往模型截然不同。 Ethan Mollick在One Useful Thing发表的文章深入探讨了这些新模型的工作机制及其对人类用户的影响。本文将对Mollick的观点进行解读。

多模态图像生成的潜力

Mollick指出，传统的图像生成系统是多个模型协同工作的产物，并非单一模型完成所有任务。

他写道：“以往，大型语言模型（LLM）生成图像并非由LLM直接完成。AI会将文本提示发送给独立的图像生成工具，然后显示结果。AI负责创建文本提示，而另一个能力较弱的系统负责生成图像。”

扩散模型已成过去式

旧模型主要依赖扩散模型工作。扩散模型的工作原理是：将图像引入噪声，进行抽象处理，然后再去除噪声，生成与计算机已知图像库中匹配提示的图像。

然而，这种方法的局限性在于：生成的图像缺乏模型自身的推理和判断，只是对现有图像库的简单组合，无法提供有价值的信息。

多模态控制的优势

如今，多模态控制技术的出现彻底改变了这一现状。

Mollick举例说明：提示模型生成“没有大象的房间，并标注原因”。传统模型会生成包含大象的图像，因为它无法理解提示的语境。生成的文本也可能毫无意义甚至包含虚构字符，因为模型对字母的理解也源于训练数据。

而多模态模型则能精准地生成符合要求的图像，并添加注释，例如“门太小”，解释为什么房间里没有大象。

传统模型的提示挑战

传统模型的一个显著缺陷是：一旦要求其排除某个元素，它反而会包含该元素，因为它无法理解指令。此外，每次修改或调整都会改变图像的基本结构。例如，修改人物的帽子可能会导致人物形象完全改变。

多模态图像生成模型则能够在保留原有结果的基础上进行细微调整。

环境的保持

Mollick还展示了另一个例子：一只手里拿着特定物品的水獭，然后在不同环境和不同风格的背景下出现。这展现了多模态图像生成器的精细整合能力。

完整的演示文稿

Mollick还展示了如何利用多模态模型设计完整的演示文稿，例如关于鳄梨酱的推介。只需提供简单的指令，模型就能搜索互联网上的相关信息，进行整合，并生成最终结果。

正如Mollick所言，这将迅速导致许多人类工作被取代。我们需要认真考虑建立相应的框架。

以上是Mollick介绍了新图像生成模型的含义的详细内容。更多信息请关注PHP中文网其他相关文章！