鞭牛士 10月12日消息,近日,智谱AI&清华KEG于魔搭社区发布并直接开源了多模态大模型——CogVLM-17B。据悉,CogVLM是一个强大的开源视觉语言模型,利用视觉专家模块深度整合语言编码和视觉编码,在14项权威跨模态基准上取得了SOTA性能。
CogVLM-17B是目前多模态权威学术榜单上综合成绩第一的模型,在14个数据集上取得了最先进的或者第二名的成绩。CogVLM的效果取决于“视觉优先”的思想,即在多模态模型中将视觉理解放在更优先的位置。它使用了5B参数的视觉编码器和6B参数的视觉专家模块,总共有11B参数来建模图像特征,甚至比文本的7B参数还要多
以上是智谱AI与清华KEG合作,发布了名为CogVLM-17B的开源多模态大模型的详细内容。更多信息请关注PHP中文网其他相关文章!