AI技术落地之不得不进行的AI技术产品经理能力迭代

本文系用户投稿，不代表机核网观点

⚠️ 未经作者授权禁止转载

我们说了很久：现在最稀缺的是AI技术产品经理。随着业务越发深入，这种痛点越明显。而将这些痛点细化，发现“AI技术产品经理“也需要面向业务做很多多个细分。一切的根源在于AI模型是个不稳定的黑盒，而这个叫做模型的东西，需要专门的人进行孵化和驯养。而需要有人对孵化和驯养的方式和成果做验收。
传统的互联网业务或者游戏业务，产品或者业务输出需求，技术人员只需要指哪打哪就好了。而人工智能发展到当下这个尴尬的阶段，仿佛它能干很多事，但是真把它往业务里搁就发现，这个叛逆的小东西不一定胜任的了这些有明确“规矩“的事情。
大部分Prompt工程师或者优化师都是从ChatGPT开始入手的。而作为目前地表最强的LLM之一，它能干的好的，别的模型不一定干得好。它能勉强干得了的，别的模型大概率勉强都干不了。尤其能对ChatGPT进行FT之后，这种差异变得更加明显。
国产模型厂商也突飞猛进，基本上几个主流大模型厂都能有至少一个还算勉强通用的大模型。虽然参差比较明显，但是都自称有几个国家级的或者SP级的厂商在后面为他们站台。而时至今日，这些厂商开始开始纷纷主动降维，希望可以面向实际行业应用去做垂类小模型。这些小模型训练快，价格低，更容易被在意成本的B端用户接受。

此时此刻，问题出现了：
AI服务提供商大多是由技术人员主导的，商务和销售虽然可以协助市场开拓，但并不能主导核心技术的倾向。这就导致了现在的AI产品主要集中在技术层面，技术即产品，产品即技术。而技术体现在每一款模型的通用能力上。至于是否可以解决业务需求，并不在模型训练师本来的考虑范围内。这就导致销售或者业务端越来越直观的感受到需求的断层：自己对模型能干什么并不了解，导致自己不知道该拿模型怎么办。技术人员也发现自己仿佛不着地：自己往往不知道自己的模型能解决什么业务，举出来的例子并不能让业务端的人产生有用的联想。       最近几个月，随着我们的游戏业务不断趋于落地，我们和模型厂商的对接也越来越多。因为我们开始在追求效果的同时开始追求成本，合作伙伴也开始纷纷给出一些小模型希望我们尝试。这就导致原有的Prompt很可能无法直接在小模型上使用。因为Prompt在一定程度上属于商业机密，所以我们不会把业务的Prompt直接给到模型厂商。所以我们就会询问对方：请问这款模型擅长什么？不擅长什么？如果我们有一个这样这样的需求，你们希望我们如何组织Prompt？这个问题往往会让对方措手不及。
反之，模型厂商直接面向业务的时候，大量的专业名词和与业务毫不相干的知识会让游戏研发团队的同学一头雾水，他们只想知道：我想要这个结果，有没有现成Demo吧？没有匹配的，那你就说需要我等夺久吧，能不能保证效果？
而两边的老板也是一样的，业务的老板想知道这东西对ROI有多大增益，有多少各种成本？模型的老板想知道你们业务需要我们多少QPS，日常使用量能有多大，我要为你们额外做多少定制开发？于是双方进入一种非常尴尬的博弈：如果模型不能为业务直接解决问题，业务就不愿意投入人力去做开发。如果垂类业务不愿意为模型研发买单，那么模型厂商就不愿意为定制需求做开发。这种情况最终会导致业务和技术进行“亲切而友好的交流，双方充分的交换了意见”之后，散场。散场之后互相埋怨。

于是，我们开始优化AI技术应用管线：游戏项目团队的策划与技术与我们的Prompt工程师、AI技术策划对接；Prompt工程师和模型产品经理对接；模型产品经理与模型厂商和模型训练团队对接，对前者提供的模型进行能力评测，对后者提出训练或微调需求。
这样，就对产品经理来说，他们可以将项目对AI模型的能力进行拆解，并且分难度梳理测试Case。单项测试通过之后，可以将单项测试Case进行组合，面向项目可能的需求模拟复合测试Case。
这些测试Case经过产品经理的梳理后，已经从游戏项目脱敏，可以提供给模型训练团队和第三方，并且可以接受不同模型提供方提供的解决方案。
逐渐的，就像前一段为场景美术搭建的SD管线一样：一个业务的流程可能会用到多个Ckpt和多个LoRA，而每个模型在什么时机生效由产品和实际应用者在逻辑里编辑好。SD的定制化管线，每个项目的不同点有技术美术团队搞定。LLMs的定制化方案由技术策划团队搞定。而通用能力和通用解决方案，交给产品经理来解决。产品经理团队一方面负责寻找契合业务能力需求的模型及模型用法，一方面探索用更低的成本和更高的效率满足项目需求。 

这里就衍生出对于产品经理能力与工作范围边界的重新制定：
1、 重新明确自己的用户是谁。AI技术本身的用户很可能不是ToC也不是传统意义上的ToB，而是成为一个已经成型的产品中第一个零件。这个零件可大可小，可核心可周边。所以狭义的AI技术产品经理必须明确每一个AI技术的“用户”到底是谁。以及对这个AI技术的要求到底是什么。当然，现在面临的情况可能是原来业务的产品经理需要从产品商业化与体验设计层下沉，直面AI能力的应用策略设计。
2、 Prompt能力。比如说：我们希望模型根据所给的条件进行推理，并给出答案。如果产品经理本身的Prompt能力不够，那么可能在他眼里，某些模型就是无法使用的。而众所周知，Prompt优化能力是一定要面向业务才能得到提高的。所以产品经理必须参与实际业务落地，而不能完全脱离业务。
3、 功能边界的判断能力。一个需求，到底用逻辑做好，还是用AI来处理好？同一个AI能力的需求，是需要Chat能力，还是用Embedding能力就够了？有逻辑加入是否会更省？如果逻辑和AI同时参与，那么我们对AI的能力需求是否会发生改变？这同样需要产品经理了解业务需求，并且面向业务需求做多种尝试。
4、 迭代、沟通和抗压能力。一个诉求实现之后，还要不断迭代。这种迭代有可能是因为业务提高标准，导致的需求变更，也有可能是ROI的压力导致需要对现在的实现方案做优化。这需要产品经理时刻保持对各种测试Case的拓展和测试，还需要让产品经理有能力推动业务里的设计师、程序员以及内部的训练师、优化师配合自己进行尝试。这一定会带来额外的工作量，甚至有可能在测试开发周期内会导致效果的不稳定，甚至产生负优化。
5、 抽象与间接需求提取能力。与产品功能开发不同，对“模型训练”提需求是一件有点“抽象”的事情。让一个模型拥有一个专项能力是一种训练需求，而让一个模型拥有“理解一类专项指令”的训练需求就不那么好提。而每一种训练，都要和训练师一起设计训练集。而训练集的质量直接导致了训练结果的好坏。虽然训练集的设计本身不一定要由产品经理来做，但是我想说的是从需求的产生，到训练成果的呈现，都是没有太多可借鉴的。
6、 程序知识、服务结构设计能力和更高的协调能力。与传统产品功能开发不同，AI+的应用，如果将AI能力放在整个业务流程中间，那么上游业务的输出和下游业务的输入都与AI的部分关联。那么此时，产品经理需要统合上下游和AI部分的数据结构，根据业务需求和模型能力调整上下游的接口。
7、 在浪漫的战略与谨慎的战术之间，把脚放在刹车上时刻准备来一脚的认怂能力。这一点，需要产品经理时刻保持清醒：产品是给人用的；功能开发是开发任务；模型训练是科研任务。什么意思？如果一个科研任务的结果无法预估，那么就不要着急决定把这个科研任务的结果放进产品中的时间。如果一个科研任务产生的成本（不管是金钱成本、人力成本还是时间成本）已经超过了这个产品本身的ROI限度，那么就要及时止损。

现在，只盼望各个行业（尤其是类似游戏、小说这种内容直接变现的领域），都能做出新的有价值的革新产品，可以体现AI对营收与利润扩大的直接作用。