云从科技欲募资36亿投大模型：“强者恒强”游戏里如何与巨头竞争？

投资明细。 图片来源：云从科技定增预案截图[游戏论坛大全align]算力投入应属于研发设备购置费。照此计算，云从科技欲投入不超过20.94亿游戏币用于算力投入。
截至2022年三季度末，云从科技货币资金12.47亿游戏币。2022年第三季度，上市公司营收6479.03万游戏币，同比下降80.07%；归母净利润-2.64亿游戏币。2022年前三季度，上市公司营收4.55亿游戏币，同比下降41.53%；归母净利润-5.89亿游戏币，经营性现金流净额-5.29亿游戏币。
从云从科技财务数据看，初始投入之后的训练费用、运行电费对其也是较沉重的负担。据国盛证券计算机团队，基于参数数量和token数量估算，GPT-3训练一次的成本约为140万美游戏币；对于一些更大的LLM模型（如拥有2800亿参数的Gopher和拥有5400亿参数的PaLM），采用同样的计算公式，可得出，训练成本介于200万美游戏币至1200万美游戏币之间。
据天风计算机团队，参考GPT-3的发展历程，OpenAI从45TB的文件中过滤出570GB的数据集，仅训练费用就高达1200万美金，随后OpenAI经过约3年时间不断探索，中途有InstructGPT、davinci不同版本的尝试，最终在2023年发布了GPT-4，打造一个有竞争力的大模型需要数据、算法等资源的持续投入。
强者恒强[游戏论坛大全b]那么，云从科技是否可以与巨头进行差异化竞争，做一个“小而美”的垂直行业领军者？
在信达证券看来，参数量超级庞大的模型在任何垂直领域都具备优势，垂直细分的小模型难有生产空间。因此，信达证券认为在大模型格局未完全形成之前，参数量的无上限堆砌是各家企业发力的焦点，故算力的“军备竞赛”无可避免。
据天风计算机团队统计，百度Ernie大模型参数量约为2600亿，京东言犀、商汤商量SenseChat参数量为千亿级别，腾讯混游戏币AI大模型参数量为万亿级别。华为盘古α参数量为2000亿。
据云从科技公告，2020年，OpenAI发布的NLP大模型GPT-3，实现了千亿级数据参数，大模型也成为了超大规模预训练模型的代名词。2022年，ChatGPT的出现更进一步确定了大模型作为人工智能主流技术路线的趋势。
可以看出，各大巨头的参数级别为千亿级乃至万亿级。

[attach]14944[游戏论坛大全attach][游戏论坛大全align]

图片来源：天风计算机团队公众号“牛骨挖掘机”[游戏论坛大全align]为何各家都在比拼参数量？信达证券认为，从论文研究来看，参数量的提升有助于构建语言预测模型的精确度，同时提高泛化能力。泛化能力的提升意味着一个参数量超级庞大的大模型，其在垂直细分领域的预测能力可超过针对垂直领域开发的中等参数量模型。
这意味着，做大模型似乎只有成为巨头，才能避免被边缘化。
天风计算机团队也认为，拥有一个大模型并不难，但是持续打造一个有竞争力的大模型难度很大。虽然国内有众多厂商推出了大模型，但从终局的角度看，大模型终将收敛并稀缺。参考OpenAI在海外的发展历程，大模型需要连同生态一起进化，形成强者恒强的格局。
芯片何来？[游戏论坛大全b]中航证券研究所认为，在ScalingLaw的框架下，只要追加数据与算力，大模型的能力就能持续增强。对OpenAI而言，目前大模型的最大限制是数据和算力的总量。
或许，大模型之间的竞争，已经转为对数据与算力资源的争夺。
对于云从科技而言，由于公司被纳入美国“实体清单”，购买模型训练用的高端芯片面临限制。即使资金充足，能否成功获取庞大算力所需芯片呢？
云从科技定增预案显示，2020年5月至今，美国商务部宣布将包括公司在内的多家中国公司及机构列入“实体清单”，该行为不会对公司日常对外销售、客户拓展等产生重大不利影响，但可能对公司研发和项目交付过程中采购境外厂商的芯片、服务器等器件产生一定限制，尽管公司已制定国产器件替代的产品方案，但由于方案落地需要一定验证时间、客户对使用替代器件的产品认可具有不确定性等因素，可能会对公司的生产经营产生一定影响。
简而言之，对销售影响不大，影响主要是采购境外厂商芯片、服务器。
对于芯片问题，《每日经济新闻》记者4月13日致电云从科技，其工作人员表示：“首先有一部分库存，然后我们和国产芯片供应商之前也完成深度适配。”
该工作人员也表示，具体芯片问题公司在2月份投资者活动记录表有回复。记者查询后了解到，云从科技芯片的采购分两类。第一类：公司过去向英伟达采购部分芯片用以训练侧方面，公司具有一定量的库存储备且国产化的训练芯片水平也已经在快速提升中。第二类：过去两年中，公司在国产化硬件适配方面稳扎稳打，已与华为、寒武纪（SH688256，股价195游戏币，市值782亿游戏币）、曙光等提供芯片和服务器的厂商完成了深度适配。
值得一提的是，云从科技一度研发过AI芯片，如承担工信部“基于自研SoC芯片的高准确度人脸识别产业化应用”等国家级重大项目建设任务。
而根据云从科技招股书，其表示公司所处的人工智能行业尚处于发展初期，未来发展趋势存在较大不确定性，相关技术及各应用场景的定制化解决方案迭代速度快，技术的产品化和市场化亦具有一定的不确定性。2020年，由于芯片设计成果未达预期，且EDA软件和生产流片遭遇限制，公司终止了“人工智能SOC芯片研制及结合高准确度人脸识别技术的产业化应用”项目。
也就是说，云从科技终止了自研人工智能SOC芯片。