给小伙伴汇报一下 LLM 创业第一年的进展、纠结和反思。在 Amazon 呆到第五年的时候就想着创业了，但被疫情耽搁了。到第 7 年半的时候，觉得太痒了，就提了离职。现在想来，如果有什么事这一辈子总要试下的，就蹭早。因为真开始后会发现有太多新东西要学，总感叹为啥没能早点开始。名字：BosonAI 的来源创业前做了一系列用 Gluon 命名的项目。在量子物理里，Gluon 是把夸克绑在一起的一种玻色子，象征这个项目一开始是 Amazon 和 Microsoft 的联合项目。当时项目经理拍拍脑袋名字就出来了，但取名对程序员来说很困难，我们每天都在纠结各种文件名和变量名。最后新公司干脆就用玻色子（Boson）来命名了。希望大家能 get 到 “Boson 和费米子组成了世界” 这个梗时会会心一笑。但没料到很多人会看成 Boston。“我来波士顿了，找个时间碰碰？” “哈？可我在湾区呀?”融资：签字前一天领投方跑路22 年年底的时候想到两个用大语言模型（LLM）做生产力工具的想法。碰巧遇到张一鸣，就向他请教。讨论之后他反问：为什么不做 LLM 本身呢？我的下意识退缩：我们之前在 Amazon 的团队做了好几年这个，得上万张卡，和 blabla 这么一大堆困难。一鸣呵呵表示：这些都是短期困难，眼光得看长远点。我的优点是听劝，真就去做 LLM 了。凑齐了数据、预训练、后训练、和架构各方向负责人的创始团队，就去融资了。运气不错，很快拿到了种子投资。但钱还不够买卡，得去拿第二轮。这一轮领头是一家非常大的机构，做了几个月文档、商讨条款。但在签字前一天，领头说不投了，直接导致了跟投的几家退出。很感激剩下的投资方，还是做完了这一轮，拿到了做 LLM 的入场券。今天反思的话，当时蹭着资本市场热情还在，其实可以继续融资，说不定也跟其他友商一样，现在十亿现金在手。当时担心融资太多，会不好退出，或者被架到天上去了。现在想来，创业就是想逆天改命，想什么退路呢？机器：第一批吃螃蟹的人有了钱后就去买 GPU。问各个供应商，统一回复是 H100 交货得一年以后了。灵机一动，直接给老黄写邮件。老黄秒回说他来看下。一个小时后超微的 CEO 就打电话过来了。多付了些钱，插了个队，20 天后拿到了机器。很荣幸早早的吃到了螃蟹。螃蟹吃到怀疑人生，遇到了各种匪夷所思的 bug。例如 GPU 供电不足导致不稳定，后来靠超微工程师修改 bios 代码打上补丁；例如光纤的切开角度不对，导致通讯不稳定；例如 Nvidia 的推荐网络布局不是最优，我们重新做一个方案，后来 Nvidia 自己也采用了这个方案。至今我都不理解，我们就买了不到一千张卡，算小买家吧。但我们遇到的这些问题，难道大买家没遇到吗，为啥需要我们的 debug？同时我们还租了同样多的 H100，一样是各种 bug，GPU 每天都出问题，甚至怀疑是不是这个云上就我们一个吃螃蟹的。后来看到 Llama 3 的技术报告说他们改用 H100 后，训练一次模型被打断几百次，对字里行间的痛苦，很是共情。如果对比自建和租卡的话，租三年成本和自建成本差不多。租卡的好处是省心。自建的好处有两个。一是三年后如果 Nvidia 技术还遥遥领先，那么它能控制价格使得 GPU 仍然保值?。另一个是自建的数据存储成本低。存储需要跟 GPU 比较近，不管是大云还是小 GPU 云，存储价格都高。但一次模型训练可以用几 TB 空间存 checkpoint，训练数据存储是 10PB 起跳。如果用 AWS S3 的话，10PB 一年两百万。这钱用来自建的话，可以上 100PB。商业：感恩客户，第一年收支平衡非常幸运的，我们第一年收入和支出是打平的。我们支出主要在人力和算力上，感谢 Openai 的财力和 Nvidia 的遥遥领先，这两项支出都挺大的?。我们的收入来源是给大客户做定制的模型。很早就上 LLM 的公司大都是因为 CEO 非常有决策力，他们没被高昂的算力和人力成本吓到，果断的去推动内部团队配合尝试新技术。非常感恩客户给了我们喘气的时间，不然这个几个月我又是奔波在各个投资人那里。接下来应该会有更多公司才尝试使用 LLM，不论是自己产品的升级，还是降本增效。原因是一方面技术成本在降低，另一方面行业领先者（例如我们客户）会陆续放出基于 LLM 的产品出来，把行业卷了起来。我们也在关注 LLM 在 toC 上的落地。上一波顶流例如 c.ai 和 perplexity 还在找商业模式，但也有小十来家 LLM 原生应用收入还不错。我们给一家做角色扮演的创业公司提供了模型，他们主打深度的玩家，打平了收入和支出，也是厉害的。模型能力还在进化，更多模态（语音、音乐、图片、视频）在融合，相信接下来还会有更有想象力的应用出现。整体来说行业和资本还是急躁的。今年好几家成立一年多但融资上十亿的公司选择退出。从技术到产品就是一个很长的过程，花 2、3 年实属正常。算上用户的需求的涌现，可能得花更长时间。我们专注当下在迷雾中探路，对未来保持乐观。技术：LLM 认知的四个阶段对 LLM 的认知经历了四个阶段。第一阶段是 Bert 到 GPT3，感受是新架构，大数据，这个可以搞。我们在 Amazon 的时候也是第一时间进去做了大规模的训练和在产品上的落地。第二阶段是刚创业的时候 GPT4 了放出来，大受震撼。大半原因来自技术不公开了。根据小道消息估算一次模型训练一个亿，标数据成本几千万。很多投资人问我复现 GPT4 成本得多少，我说 3-4 亿要把。后来他们中一家真一把投了大几亿出去。第三阶段是创业的第一个半年。我们做不动 GPT4，那就想着从具体的问题出发吧。于是开始找客户，有游戏的、教育的、销售的、金融的、保险的。针对具体的需求去训练模型。一开始市面上没有好的开源模型，我们就从头训练，后来很多很好的模型出来了，降低了我们成本。然后针对业务场景设计评估方法，标数据，去看模型哪些地方不行，针对性提升。23 年年底时，惊喜发现我们的 Photon（Boson 的一种）系列模型在客户应用上的效果都打赢 GPT4 了。定制模型的好处是推理成本是调用 API 的 1/10。虽然今天 API 已经便宜很多，但我们自己技术也同样在进步，仍然是 1/10 成本。另外，QPS，延时等都更好控制。这个阶段的认知是对于具体应用，我们是可以打赢市面最好模型的。第四阶段是创业的第二个半年。虽然客户拿到了合同里要的模型，但还不是他们理想中的东西，因为 GPT4 还远不够。年初时发现针对单一应用训练，模型很难再次飞跃。回过头想，如果 AGI 是达到普通人类水平，客户要的是专业人士的水平。游戏要专业策划和专业演员、教育要金牌老师、销售要金牌销售、金融保险要高级分析师。这都是 AGI 加上行业专业能力。虽然当时我们内心对 AGI 充满敬畏，但感觉是避不开的。年初我们设计了 Higgs（上帝粒子，Boson 的一种）系列模型。主打通用能力紧跟最好的模型，但在某个能力上突出。我们挑选的能力是角色扮演：扮演虚拟角色、扮演老师、扮演销售、扮演分析师等等。24 年年中的时候迭代到第二代，在测试通用能力的 Arena-Hard 和 AlpacaEval 2.0 上，V2 跟最好的模型打得有来有回，在测试知识的 MMLU-Pro 上也没差很远。
1. Higgs-V2 是基于 Llama3 base，进行了完整的 post-training。
- 我们无法像 Meta 那样大量标注数据，因此 V2 比 Llama3 Instruct 更好，主要归功于算法创新。
- 随后，我们创建了一个角色扮演评估数据集，包含基于角色和场景的扮演。
- 令人惊讶的是，自己的模型在自己的排行榜上排名第一。然而，模型训练中未接触过评估数据。
- 此评估数据集最初是为自用而设计的，旨在真实反映模型能力，避免出现过度拟合。
- 尽管如此，负责评估的同学还是发布了技术报告。值得注意的是，角色扮演测试样本源自 c.ai，但其模型能力却垫底。
第四阶段认知
好的垂直模型通用能力也需较强，例如推理、指令遵循等垂直所需能力。长远来看，通用和垂直模型都朝着 AGI 发展。垂直模型可偏科较明显，专业突出，通用能力尚可，研发成本较低，研发方式亦有别。
第五阶段认识
目前正在进行中，期待尽快分享。
愿景：人类陪伴
我们追求愿景为“人类陪伴的智能体”，高情商、高智商，相当于一个专业团队。例如，它能陪伴玩耍（策划 + 演员）、运动（鼓励师 + 运动教练）、学习（辅导讲授）。模型陪伴长久，深入了解用户，可“真心为用户着想”。
团队：有挑战的事情得靠团队
创业后才真正体会到团队的重要性。团队成员如螺丝，构成整辆“车”，灵活应对各种情况，承载重任。公司成立初期团队人数较少，成员都很重要，没有冗余，一人不力即可能影响整体运作。我以前选项目会选自己能主导开发的，但这也意味着问题挑战性不大。创业选择了一个很大的问题去做，只能全靠团队。本文虽大量使用“我”，但工作都是团队完成的。
个人追求：名还是利？
我根据内心声音做决定，读博、做视频、创业皆是如此。创业需要强烈动机支撑，才能克服困难。我深层的动机来自对生命可能没有意义的恐惧。我选择“上进”，提升创造价值能力；选择录视频、写教材，创造教育价值；选择写工作、创业总结，创造事例价值；选择创业，团结力量创造更大价值。
最后广告下我司的招聘信息
（湾区和温哥华）https://jobs.lever.co/bosonai
有做出海应用的小伙伴也请联系我们 api@boson.ai
以上是李沐：创业一年，人间三年的详细内容。更多信息请关注PHP中文网其他相关文章！
