火山引擎大模型应用启动邀测，抖音十多个业务团队已试用|环球热讯

2023-06-30 12:02:03 来源 : 南方都市报

6月28日，火山引擎发布大模型服务平台“火山方舟”，面向企业提供模型精调、评测、推理等全方位的平台服务（MaaS，即Model-as-a-Service）。目前，“火山方舟”集成了百川智能、出门问问、复旦大学MOSS、IDEA研究院、澜舟科技、MiniMax、智谱AI等多家AI科技公司及科研院所的大模型，并已启动邀测。

(资料图片)

“未来的大模型市场将是百花齐放的多模型生态，在这个生态系统中，将同时并行存在几个少数的超大规模的大模型、多个中等规模的大模型和更多个行业的垂直模型”，火山引擎总裁谭待在会上透露了对未来大模型市场的判断，“在未来，企业自身对于大模型的应用，将会是‘1 + N’的应用模式，即企业通过自研或者与三方模型服务商的深度合作，形成企业自身的1个主力模型；在这个主力模型之外，在不同的场景中，企业还会同时应用N个外部模型。”

“企业使用大模型，首先要解决安全与信任问题”，谭待表示，“火山方舟”实现了大模型安全互信计算，为企业客户确保数据资产安全。基于“火山方舟”独特的多模型架构，企业可同步试用多个大模型，选用更适合自身业务需要的模型组合。

火山引擎总裁谭待

抖音内部十多个业务团队已试用火山方舟

据火山引擎智能算法负责人吴迪介绍，对模型提供方来说，火山方舟能够帮助企业以更低的成本触达海量客户，用更小的代价在ToB市场规模化。对模型使用者来说，“可以便捷地接触到众多高质量的基座模型。透过火山方舟平台和统一的工作流，一站式对接多家模型提供商，为不同场景选择最合适的模型。”

火山引擎智能算法负责人吴迪

在模型精调方面，吴迪表示，“大家可以在火山方舟上不断积累精调数据集，方便地对一个模型或多个基座模型同时发起训练任务，模型精调的效果指标和运行情况，也将被实时追踪。”

在安全性上，目前“火山方舟”已上线了基于安全沙箱的大模型安全互信计算方案，利用计算隔离、存储隔离、网络隔离、流量审计等方式，实现了模型的机密性、完整性和可用性保证，适用于对训练和推理延时要求较低的客户。

据吴迪透露，抖音集团内部已有十多个业务团队试用“火山方舟”，在代码纠错等研发提效场景，文本分类、总结摘要等知识管理场景，以及数据标注、归因分析等方面探索，利用大模型能力促进降本增效。这些内部实践在快速打磨“火山方舟”，推动平台能力的进一步完善。

对于这些应用，谭待解释称，有些应用用户是无感知的，但体验感会有提升，“比如在客服的场景，客服该怎么回答，他以前需要检索，现在可以通过大模型获得一些提示。跟消费者对话的还是那个客服，但是他的效率就高了很多。所以很多大模型应用场景，对终端的C端客户是无感知的，只是感觉好像服务质量更好了一些，但并不是明显看到后面有一个大模型。”

此外，谭待还透露，火山方舟是个开放的平台，“字节内部其他团队，如果做好了模型，大概也会上到方舟平台上对外提供，它在方舟上就是众多模型中的一个，就是这个关系。”

平台服务费相当长时间位设置为0

吴迪称，训练大模型很昂贵，但是从长期来看，模型的推理开销会超过训练开销。 “我们相信，到2024年秋天之后，以推理为主的大模型应用消耗，将超过预训练消耗的60%，并且在2025年的某个时刻，超越预训练算力消耗。”

在吴迪看来，降低推理成本会是大模型应用落地的重要因素，“一个经过良好精调的中小规格模型，在特定工作上的表现可能不亚于通用的、巨大的基座模型，而推理成本可以降低到原来的十分之一。”

对于火山方舟的价格体系，吴迪解释称，“火山引擎会把资源供应给大模型提供方，在供应里面就有一定的IaaS层面的利润。然后大模型供应方会刨除基本成本，在他们的基本成本上再叠加一个他们认为的合理利润，成为他们大模型在火山方舟上的定价。”

而对于下游客户使用大模型时的费用，吴迪表示，“付钱是两部分，第一个是模型服务费。第二个是平台服务费，平台服务费在相当长的时间我们都会设置成零。”

ChatGLM是智谱AI推出的千亿基座认知模型，其开源版本在大模型开源领域极具影响力，近期智谱AI还对ChatGLM做了新升级，大幅提升了模型能力。在火山方舟上，智谱AI提供大模型，火山引擎提供高性价比资源、针对不同行业的精调能力及综合解决方案，共建安全可靠的第三方MaaS服务，合力推动各行业的智能化发展。据智谱AI CEO张鹏介绍，智谱AI在火山引擎平台上解决了千亿模型训练的稳定性、性能优化等挑战。

“每一次技术的大变革，都会带来体验创新的新机会”，谭待坦言，“火山方舟”还在起步阶段，工具链和下游应用插件需要持续完善。平台还将接入更多大模型，并逐步扩大邀测范围，与企业客户共建开放合作的多模型生态，加速大模型在各行各业的应用落地。

采写：南都记者汪陈晨

标签：