做AI产品一年烧掉30万,我才明白:大模型成本根本不是技术问题

一位产品经理复盘首款AI产品烧掉30万的教训:90%的API成本浪费在产品决策阶段就已注定。从提示词废话、模型错配、输入偷懒到失败重试和成本盲区,五个产品层面的开关让成本从峰值6.8万降至1万出头,用户量却翻了五倍。这不是技术优化,而是产品经理必须算清的账。

我是个产品经理,去年我们团队凑了点钱做第一款AI产品。

现在回头看,我犯的最蠢的错误,就是把API成本当成了技术问题——觉得只要算法好、工程师厉害,成本自然就降下来了。结果是钱烧了三十万,换来的全是产品决策上的教训。

说实话,写这篇的时候我挺不好意思的,因为这些坑说穿了都是常识,但当时真的是当局者迷。如果你也在做AI产品,或者准备做,希望能帮你少交点学费。

账单发群里那天,没人说话

我们做的是面向C端的AI内容助手,说白了就是用户输需求,AI帮写东西。技术选型没什么好犹豫的,直接上当时市面上效果最好的那款模型,觉得效果好体验就不会差,先跑起来再说。

第一个月账单3200,我还在群里发了个红包说挺便宜。第二个月8700,觉得正常,用户涨了嘛。第三个月18500,开始有点肉疼,但DAU在涨,安慰自己这是必经阶段。第四个月42000,我把账单截图发群里,群里安静了五分钟没人说话。

最讽刺的是什么?我们当时的DAU才不到两千。两千个用户,一个月烧四万多API费,算下来每个用户每月给我们贡献两块钱,我们在他身上花二十一块。这生意怎么做都是亏的。

技术负责人说要换模型、要做量化、要搭缓存。我当时还挺生气,觉得为什么早不想着优化,现在账单炸了才说。后来才明白,这事真不能怪技术。

第一个开关:我自己塞进去的废话

最先砍掉的30%成本,不是技术优化出来的,是我自己从提示词里抠出来的。

说出来丢人,最开始的系统提示词写了快两千字,什么”你是一个专业的助手””请用友好的语气回答””请注意排版格式””请分点作答”……这些废话每一次请求都会完整传给模型,一个字不少收钱。

我当时还觉得这是”产品细节”,觉得提示词写得越全,模型表现越好。直到技术负责人给我算了笔账:光这些没用的套话,每个月就烧掉我们一万多块钱。

那天我坐在工位上对着提示词删了一下午,边删边心疼。什么”你是世界上最棒的AI助手”,我当时怎么想的写出这种东西。最后系统提示词从两千字压到三百字,核心约束一条没少,那些自我感动的废话全删了,成本当天就掉了三分之一。

后来我养成一个习惯,提示词里每加一句话,都要算一下这句话每个月要花多少钱。大部分听起来很美好的”产品细节”,根本不值那个价。

第二个开关:80%的请求根本不需要顶配模型

这个认知是被CTO骂醒的。

有天晚上他把我叫到工位上,给我看后台的请求日志:”你自己看,70%的请求是’帮我润色一下这句话”帮我把这段话改短一点”帮我写个朋友圈文案’,这种活你给它用最好的模型干嘛?七块钱一百万字的模型干这个活都嫌浪费。”

我当时还反驳,说不同模型切换会影响体验,用户能感觉到。他没跟我吵,直接做了个AB测——简单请求切到便宜模型,复杂请求留顶配,跑了一周,用户留存和满意度一点变化都没有,成本直接砍了一半。

我后来总结了一个特别傻的原则:先判断这个请求值多少钱,再决定用什么模型。

用户让你写个朋友圈,五毛钱的模型足够了;用户让你写一份完整的商业计划书,再给它用贵的模型。不要为了”体验统一”这种政治正确的话,把钱浪费在根本不需要的地方。这件事想明白之后,我们做了三层路由:打招呼、谢谢、你好用最便宜的模型,简单改写润色用中等模型,复杂推理和长文生成才上顶配。光这一件事,成本又掉了40%。

我知道很多产品经理会说”这样体验不一致怎么办”。说实话,用户根本感知不到。他只关心结果好不好,不关心你后台用的是哪个模型。你把所有请求都用顶配模型,用户不会因此多给你一分钱,但账单会真真切切地教你做人。

第三个开关:我们在为自己的偷懒付钱

有一段时间我们发现一个特别诡异的事:有些用户的单次请求成本高得离谱,是普通用户的十几倍。查日志才发现,这些用户每次都把几万字的文档粘贴进来,然后问”帮我总结一下”,而我们的系统老老实实地把几万字全文传给模型,包括用户粘贴进来的大段广告、页眉页脚、重复的空行。

技术说这是输入没做预处理。我当时第一反应是:这种事不是应该技术主动做的吗?后来才想明白,产品经理不提这个需求,技术怎么知道你要预处理什么?

我们加了三个特别简单的产品逻辑,效果立竿见影:

  • 超过2000字的输入先压缩,去掉重复内容和无意义字符再传给模型
  • 同一个用户半小时内问同一个问题,直接返回缓存结果,不重复调用
  • 用户打过来的内容里有大段乱码、广告、测试文字,直接拦截提示用户,不传给模型

这三个功能加起来,代码没写超过两百行,成本又掉了15%。

我后来反思,很多成本浪费根本不是技术问题,是产品经理偷懒——觉得”反正传给模型它能处理”,就不去做输入约束,最后账单上的每一分钱,都是在为你的懒付钱。

第四个开关:让失败早点结束

这个坑踩得最疼,而且是钱花出去了我都不知道怎么花的。

有一次模型服务商那边接口不稳定,大量请求超时。我们的重试机制写得特别”健壮”——失败了就自动重试三次。结果就是:一个请求失败,重试三次,四次全算钱,用户那边还是没拿到结果。最夸张的一天,光失败重试就花了八千多块,什么都没干成。

还有一种更隐蔽的浪费:用户已经把页面关了,请求还在后台跑,模型生成完了结果没人看,钱照扣。我们统计过,这种”幽灵请求”占了总调用量的12%——八分之一的钱,花给了已经离开的用户。

后来我们改了两个规则:第一,超时10秒直接返回失败,绝对不重试;第二,用户断开连接立刻终止生成,不做无用功。就这两条,成本又降了10%,而且用户体感反而更好了——以前转半天告诉你失败,现在直接说”网络不好请重试”,用户感知反而更快。

这件事给我的教训是:不要追求技术上的“完美可靠”,要学会让失败早点结束。花出去的钱拿不回来,及时止损比什么都重要。

第五个开关:把账单贴在每个产品经理脸上

最后一件事,也是我觉得最重要的:我们把API成本拆到了每一个功能、每一个按钮上。

以前只有财务月底看账单的时候知道花了多少钱,产品经理和工程师根本没概念。改完之后,后台能看到每一个功能花了多少钱:润色功能一个月花多少,写文案花多少,聊天对话花多少,哪个按钮带来的收入覆盖不了它的成本,一目了然。

不看不知道,一看吓一跳:有一个我们花了很多精力做的”风格切换”功能,每个月烧掉六千多块钱,使用率不到3%,带来的收入连零头都不够。第二个礼拜我们就把这个功能入口藏到了二级菜单,默认关闭,成本瞬间省下来。

现在我们团队有一条不成文的规矩:任何新功能上线,必须同时带上它的成本预估和计量埋点。你说你要加一个功能,先告诉我这个功能每个月大概要花多少钱,能带来多少价值,说不清楚就别做。

很多产品经理做功能的时候只看DAU、看使用率、看留存,从来不算这个功能花了多少钱。在AI产品里,一个使用率不高但调用成本很高的功能,分分钟能把你整个产品拖垮。

写在最后

现在回过头看,我们从第一个月的3200,到峰值的68000,再到现在稳定在一万出头,用户量是当时的五倍,成本反而只有峰值的六分之一。这中间没有什么了不起的技术突破,全是产品层面的一个个小决定堆出来的。

我之前总觉得,成本是技术问题,是工程师要去解决的事。现在才明白,90%的成本浪费,在产品经理画原型、写需求文档的时候就已经决定了。你加一个输入框、写一段提示词、做一个功能按钮,每一个决定最后都会变成账单上的数字。技术能帮你优化20%、30%,但剩下的大部分,真的是产品自己的事。

当然,如果自己不想从零搭这套路由、缓存、计费的逻辑,也可以直接用现成的聚合API平台,我们现在用的是LONG AI,模型选择多、价格是官方一折起,不用自己折腾这些基础设施,能省不少事。但不管用不用第三方,上面这五个产品层面的开关,你早晚都得自己想明白。

做AI产品这一年,最大的感触是:这行当和以前做互联网产品真的不一样。以前做产品,边际成本几乎是零,一个功能做出来,一万个人用和十万个人用,成本差不了多少。但AI产品不是,每一次调用都是真金白银流出去,你一个错误的产品决策,烧掉的钱是看得见摸得着的。

别等账单炸了才想起算成本,那个时候已经晚了。希望做AI产品的各位产品经理,都能早点想明白这件事。

本文由 @LONG AI 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

内容来自 人人都是产品经理,版权归原作者所有。

阅读原文 ↗

把喜欢的内容,留在你的新标签页。

打开我的订阅