一家做户外品牌的公司,今年三月上线了一个导购助手,用的是当时最好的一家模型。上线效果不错,业务部门满意。五月,另一家模型降价一半,能力接近。七月,第三家出了一个更适合中文场景的版本。这家公司一次都没换,因为换不动。提示词写在前一家平台上,评测样本也在上面,接口按它的格式封死了。
吴恩达在今年的一场技术大会上讲过这个场景。大意是,你公司里进驻了某家厂商的一小撮前沿部署工程师,把所有东西都绑定在同一个模型上,两三年之后你的可选性会被削减。
这句话被很多人当成对供应商的批评。它其实是在说企业自己的选择。绑定很少是被强迫的,多数时候是一步步图省事答应下来的。
今年五月到七月,海外几家公司的动作可以连起来看。Anthropic 在五月四日与黑石、高盛、Hellman & Friedman 成立面向中型企业的 AI 服务合资公司,用的是驻场模式。OpenAI 在五月十一日成立控股公司,TPG 领投,同一天收购英国的 AI 咨询公司 Tomoro,一次性收编约一百五十名资深工程师。AWS 在六月底到七月初宣布投入十亿美元搭建自己的驻场组织。微软在七月二日成立 Frontier Company。四家在同一季度做同一件事,说明驻场交付已经成了标准配置。
标准配置的另一面是标准绑定。供应商越强,绑得越深,因为它给的东西确实好用。企业每次图省事少写一层抽象,就多欠一笔迁移费。
这笔费用可以算。迁移成本大致由四块组成。提示词和工具定义要重写,评测样本要重建,接口要重接,业务部门的习惯要重新养一遍。四块里最贵的是最后一块,前三次换系统时业务部门还配合,第四次就开始抵触。
见过一种做得对的安排。一家鞋服集团在合同里写了一条,模型调用必须经过一层自研的适配层,任何场景不允许直接调用厂商接口。这条要求当时被供应商说成多此一举,多花了两周。今年他们换模型,只改适配层,两周跑通,业务部门没感觉。
还有一种做得更彻底。企业自己维护一套评测集,两百条真实问题,每条有标准答案和评分标准,每季度跑一次。换模型的时候不看厂商的榜单,看自己的两百条。这套东西花不了多少钱,但它把选择权留在了自己手里。
评测集的题要业务部门出,技术部门答不了这个问题。一家企业如果连两百条真实问题都凑不出来,说明它对这套系统到底要干什么还不清楚。凑得出来、并且每条都有标准答案的,通常已经在天天用它了。
希纪在给服装企业做增长诊断时,会问一句,如果明年模型价格降一半,你们能多快用上。回答两周的,通常有适配层和评测集。回答要评估的,通常两样都没有。
可以带走的是一张解绑清单。第一条写模型调用走适配层,不直连。第二条写评测集自持,两百条起步,业务部门出题。第三条写提示词和工具定义归企业,存在自己的代码库里。第四条写合同里加一句,供应商不得以技术理由拒绝接入其他模型。四条做到三条,绑定风险就可控。
还有一个测试很便宜。让技术团队花一天时间,把一个场景换到另一家便宜的模型上,看要多久跑起来。一天能跑通的,说明结构是活的。要一个月的,说明结构是死的。这个测试一年做一次,比任何架构评审都有用。
回到那家户外品牌。他们今年十月开始补适配层,代价是把已经上线的助手停了两周。负责人在内部会上说了一句,早知道多花那两周。
一句话留给董事长。今天省下的迁移设计费,是两年后换模型的过路费。
一个马上能做的检验,问技术负责人一句,我们的提示词存在谁的系统里。答案在供应商那边的,先把这个搬回来。
希纪 · 服装产业观察