云从科技欲募资36亿投大模型：“强者恒强”游戏里如何与巨头竞争？

中国游戏论坛 · 发表于 2023-4-16 18:22:48

日前，云从科技发行定增预案，公司欲募集资金36.35亿游戏币，用于云从“行业精灵”大模型研发项目。其中，场地购置及装修费5.54亿游戏币，研发设备购置费20.94亿游戏币，人力资源成本7.60亿游戏币，其他费用2.27游戏币。◎目前云从科技已被列入实体清单。这意味着公司采购海外厂商生产的高端AI芯片存在限制，比如目前最火热的AI芯片当属英伟达A100和H100。对此，《每日经济新闻》记者4月13日致电云从科技。其工作人员表示，（上述芯片）此前有一点库存，公司也在与国内厂商合作。

每经记者朱成祥每经编辑杨夏

ChatGPT的火热，让国内不少互联网、AI企业纷纷加码大模型。比如云从科技（SH688327，股价41.95游戏币，市值310.71亿游戏币）近期就拟募集36亿游戏币投向“大模型”。
曾经的AI，是CV（计算机视觉）的天下。就国内而言，最受瞩目的AI公司当属“CV四小龙”商汤科技（HK00020，股价2.93港游戏币，市值980.64亿港游戏币）、旷视科技、云从科技和依图科技。ChatGPT的横空出世，令AI产业的焦点迅速从视觉转为语言，从CV转为NLP（自然语言处理）。
在语言大模型时代，CV四小龙之一的云从科技又将何去何从？特别是大模型追求“强者恒强”，可能将是少数巨头的游戏。在算力“军备竞赛”中，云从科技能否跟上巨头的脚步？
值得注意的是，云从科技已被列入实体清单。这意味着公司采购海外厂商生产的高端AI芯片存在限制，比如目前最火热的AI芯片当属英伟达A100和H100。对此，《每日经济新闻》记者4月13日致电云从科技。其工作人员表示，（上述芯片）此前有一点库存，公司也在与国内厂商合作。

3951c935-11d8-4d1c-937e-73850eb1234c?nbddata-height=550&nbddata-width=750.jpg

少数玩家的游戏互联网、移动互联网的兴盛，使得各行各业崛起了一大批细分领域的巨头。AI的兴起，同样在各细分领域百花齐放。比如CV（计算机视觉）领域的“四小龙”；语音领域的科大讯飞（SZ002230，股价59.18游戏币，市值1374.80亿游戏币）、思必驰。
而大模型时代，游戏规则骤然改变。算力的“军备竞赛”，导致大模型成本高企，可能仅有少数巨头能够负担。
据国盛证券计算机团队测算，以英伟达A100芯片、DGX A100服务器、现阶段每日2500万访问量等假设为基础，估算得出：在初始算力投入上，为满足ChatGPT当前千万级用户的咨询量，投入成本约为8亿美游戏币，对应约4000台服务器；在单日运行电费上，参考美国平均0.08美游戏币/kwh工业电价，每日电费约为5万美游戏币，成本相对高昂。
此次云从科技欲募集资金36.35亿游戏币，用于云从“行业精灵”大模型研发项目。其中，场地购置及装修费5.54亿游戏币，研发设备购置费20.94亿游戏币，人力资源成本7.60亿游戏币，其他费用2.27游戏币。

投资明细。图片来源：云从科技定增预案截图

算力投入应属于研发设备购置费。照此计算，云从科技欲投入不超过20.94亿游戏币用于算力投入。
截至2022年三季度末，云从科技货币资金12.47亿游戏币。2022年第三季度，上市公司营收6479.03万游戏币，同比下降80.07%；归母净利润-2.64亿游戏币。2022年前三季度，上市公司营收4.55亿游戏币，同比下降41.53%；归母净利润-5.89亿游戏币，经营性现金流净额-5.29亿游戏币。
从云从科技财务数据看，初始投入之后的训练费用、运行电费对其也是较沉重的负担。据国盛证券计算机团队，基于参数数量和token数量估算，GPT-3训练一次的成本约为140万美游戏币；对于一些更大的LLM模型（如拥有2800亿参数的Gopher和拥有5400亿参数的PaLM），采用同样的计算公式，可得出，训练成本介于200万美游戏币至1200万美游戏币之间。
据天风计算机团队，参考GPT-3的发展历程，OpenAI从45TB的文件中过滤出570GB的数据集，仅训练费用就高达1200万美金，随后OpenAI经过约3年时间不断探索，中途有InstructGPT、davinci不同版本的尝试，最终在2023年发布了GPT-4，打造一个有竞争力的大模型需要数据、算法等资源的持续投入。
强者恒强那么，云从科技是否可以与巨头进行差异化竞争，做一个“小而美”的垂直行业领军者？
在信达证券看来，参数量超级庞大的模型在任何垂直领域都具备优势，垂直细分的小模型难有生产空间。因此，信达证券认为在大模型格局未完全形成之前，参数量的无上限堆砌是各家企业发力的焦点，故算力的“军备竞赛”无可避免。
据天风计算机团队统计，百度Ernie大模型参数量约为2600亿，京东言犀、商汤商量SenseChat参数量为千亿级别，腾讯混游戏币AI大模型参数量为万亿级别。华为盘古α参数量为2000亿。
据云从科技公告，2020年，OpenAI发布的NLP大模型GPT-3，实现了千亿级数据参数，大模型也成为了超大规模预训练模型的代名词。2022年，ChatGPT的出现更进一步确定了大模型作为人工智能主流技术路线的趋势。
可以看出，各大巨头的参数级别为千亿级乃至万亿级。

图片来源：天风计算机团队公众号“牛骨挖掘机”

为何各家都在比拼参数量？信达证券认为，从论文研究来看，参数量的提升有助于构建语言预测模型的精确度，同时提高泛化能力。泛化能力的提升意味着一个参数量超级庞大的大模型，其在垂直细分领域的预测能力可超过针对垂直领域开发的中等参数量模型。
这意味着，做大模型似乎只有成为巨头，才能避免被边缘化。
天风计算机团队也认为，拥有一个大模型并不难，但是持续打造一个有竞争力的大模型难度很大。虽然国内有众多厂商推出了大模型，但从终局的角度看，大模型终将收敛并稀缺。参考OpenAI在海外的发展历程，大模型需要连同生态一起进化，形成强者恒强的格局。
芯片何来？中航证券研究所认为，在ScalingLaw的框架下，只要追加数据与算力，大模型的能力就能持续增强。对OpenAI而言，目前大模型的最大限制是数据和算力的总量。
或许，大模型之间的竞争，已经转为对数据与算力资源的争夺。
对于云从科技而言，由于公司被纳入美国“实体清单”，购买模型训练用的高端芯片面临限制。即使资金充足，能否成功获取庞大算力所需芯片呢？
云从科技定增预案显示，2020年5月至今，美国商务部宣布将包括公司在内的多家中国公司及机构列入“实体清单”，该行为不会对公司日常对外销售、客户拓展等产生重大不利影响，但可能对公司研发和项目交付过程中采购境外厂商的芯片、服务器等器件产生一定限制，尽管公司已制定国产器件替代的产品方案，但由于方案落地需要一定验证时间、客户对使用替代器件的产品认可具有不确定性等因素，可能会对公司的生产经营产生一定影响。
简而言之，对销售影响不大，影响主要是采购境外厂商芯片、服务器。
对于芯片问题，《每日经济新闻》记者4月13日致电云从科技，其工作人员表示：“首先有一部分库存，然后我们和国产芯片供应商之前也完成深度适配。”
该工作人员也表示，具体芯片问题公司在2月份投资者活动记录表有回复。记者查询后了解到，云从科技芯片的采购分两类。第一类：公司过去向英伟达采购部分芯片用以训练侧方面，公司具有一定量的库存储备且国产化的训练芯片水平也已经在快速提升中。第二类：过去两年中，公司在国产化硬件适配方面稳扎稳打，已与华为、寒武纪（SH688256，股价195游戏币，市值782亿游戏币）、曙光等提供芯片和服务器的厂商完成了深度适配。
值得一提的是，云从科技一度研发过AI芯片，如承担工信部“基于自研SoC芯片的高准确度人脸识别产业化应用”等国家级重大项目建设任务。
而根据云从科技招股书，其表示公司所处的人工智能行业尚处于发展初期，未来发展趋势存在较大不确定性，相关技术及各应用场景的定制化解决方案迭代速度快，技术的产品化和市场化亦具有一定的不确定性。2020年，由于芯片设计成果未达预期，且EDA软件和生产流片遭遇限制，公司终止了“人工智能SOC芯片研制及结合高准确度人脸识别技术的产业化应用”项目。
也就是说，云从科技终止了自研人工智能SOC芯片。