rio柚木提娜 AI居品司理必修课：你必应知说念的Token重心

这是一份写给非手艺岗的居品司理/运营的token应用指南。不错在了解token认识的同期rio柚木提娜，也概况知说念想象居品时和token有关的闪耀点。

自从2022年末OpenAI推出通用大说话模子ChatGPT后，这两年各式大说话模子日出不穷，眼花头昏。可能你们公司也撺拳拢袖，“咱们也要作念AI+居品！”。接着你场所的居品部门喜获一个Epic，“推敲如何引入AI升级正本的居品”或者“推敲引入AI是否不错找到新的增长点”。

这个时候还没怎么了解AI的你，会怎么迈出第一步？你可能仍是是LLM的重度使用者，也可能是刚刚体验的小白。但本着居品司理特有的酷好心，你可能起首想知说念的是，大说话模子究竟有什么魔法，果然不错“听”懂咱们的问题，并给出稳健的回答，惟恐候给到的回答以致还满让东说念主惊喜的。接着可能就会想考，那咱们到底不错怎么使用大说话模子这个万能型”机“才呢？

Token当作大说话模子最基本的认识之一，可能很容易在你搜索有关府上的时候频繁出现。

在这里小小剧透一下，token不仅是了解大说话模子时起首战役到的基本认识之一，它也很有可能从此颠覆你某些居品妙技，从交易分析到居品订价，从用户体验到居品决议，王人可能因为这个小小的认识让你居品妙技的作念法或过程变的很不相似。

一、Token的基本认识

那到底什么是token呢？Token等于指文本中最小的有道理的单元。是不是有点详细？咱们来通过一个浅显的例子看下大说话模子是怎么回答咱们的问题，并解析token到底是什么。

1. 大说话模子怎么回答咱们的问题？

当大说话模子收到咱们一个问题，它的运作道理其实很浅显，用一个我很心爱的训诫说的一个很形象的比方，等于在作念翰墨接龙游戏。也等于给它一个莫得完成的句子，它帮你补完。在补句子的过程中，它会测度接下来接哪个字是最合理的。

比如问大说话模子，“中国的王人门在那儿？”，它会认为可能接“北”最合理，然后把输出的内容接在你的问题背面，是以此次的输入就酿成，”中国的王人门在那儿？北“，这个时候它会认为接”京“最合理。接下去近似上一个表率，然后发现接好”京“之后看起来没什么好接的了。就认为这句句子补结束。那”北京“等于它回答的谜底。

2. Token到底是什么

咱们给大说话模子一个未完成的句子，背面不错接的字有许多不同的可能。比如输入上海大，可能是上海大学，可能是上海大楼，可能是上海大师赛等等等等。

现实上大说话模子的输出等于给每一个不错接的象征一个机率。”学“是一个象征，”楼“是一个象征，”师“亦然一个象征。是以它的输出其实等于一个几率散播，即给每一个不错选拔的象征一个机率。然后按照这个几率散播投骰子，投到哪个象征，阿谁象征就会被输出出来。这些象征又叫作念token。

这等于咱们频频所说的，大说话模子的骨子上等于在测度下一个token出现的概率。也恰是因为这么，即使问大说话模子疏浚的问题，每次产生的谜底可能也王人是不相似的。因为每次的回答王人是有当场性的。

就如同咱们想象MVP居品的时候，最用功的事情不等于怎么界说这个Minimum么？那”文本中最小的有道理的单元“里的“最小”指的是什么呢？一个字？一个词？

这件用功的事情在磨练说话模子时就交给了模子开发者，模子开发者会事先设定好token，用于均衡计算复杂度和说话信息的秘籍，是以这里的“最小”可能是一个单词，可能是一个子词，也可能是一个字符。

正因为每个模子在开发的时候会设定好token，是以

不同的说话模子，界说的token可能不相似华文的说话模子和英文的说话模子界说的token可能也不相似

接下来，每个token王人会被转机成一串对应且不变的数字，因为基于神经集会的说话模子弗成解析文本，只可解析数字。

是以，一个模子的token总量不错解析为这个模子的词汇表。而每个token王人是一连串的数字，且这个数字是不变的。

二、大说话模子中token长度收敛

模子概况同期料理token的数目，叫作念token的长度。这个长度是有收敛的。比如咱们使用一个模子，它的token收敛是4096个token，这就意味着你在一次申请中，输入和输出的总token数弗成杰出4096个。

Token长度收敛很容易和潦倒文窗口收敛浑浊。

淫乱电影

潦倒文窗口收敛指的是模子在一次交互中不错”记着“几许信息，也等于在通盘对话过程中不错使用的最大token数。潦倒文窗口决定了模子对输入内容的解析深度和生成输出的才能。比如，模子的潦倒文窗口大小是4096 token，那么不管你对模子输入几许次信息，悉数这些输入和生成的内容加起来弗成杰出4096 token。一朝杰出，最早输入的内容可能会被”淡忘“，从而无法用于生成新的输出。

归来来说，

token长度收敛指模子一次输入或输出的总token收敛数。潦倒文窗口收敛指通盘对话过程中，模子概况料理悉数token的最大数目。

举个例子

假定咱们在玩传纸条游戏，咱们只可在纸条上写下4096个字符的内容，也等于说咱们之间悉数的交流内容弗成杰出这个长度。这个等于“潦倒文窗口收敛”。一朝纸条上的内容杰出了4096个字符，就必须把最早的内容擦掉一些，才能写下新的内容。而“token收敛”等于咱们每次传纸条最多能写的字符，比如咱们开拓了咱们每次传递最多只可写200个字符。那若是在一次传递中我仍是写了180个字符，你就只可写20个字符。

三、想象居品时，token会给到你的”惊喜”和”惊吓”

“惊吓”：token 从手艺单元转换为计费单元，况兼可能比你想象的更贵！

影响：引入大说话模子后，当咱们分析ROI时，若是莫得把token的使用资本筹商进入，不仅弗成为公司产生利润，还可能赔钱。有些时候，token的使用资本以致可能改变居品的订价计策。

例如：

企业有一个线上模拟锻真金不怕火的居品，成心为用户提供在特定场景下的妙技锻真金不怕火，从而让用户通过刻意锻真金不怕火后在现实使命中也能褂讪的施展所需的妙技。平常当咱们分析这个居品的ROI时，资本这边可能最大的过问是一次性的研发资本以及后续的软件改换资本。

企业想要引入大说话模子升级这个模拟锻真金不怕火居品，这么不错让用户有更确实的体验从而达到更好的锻真金不怕火后果。当咱们分析这个居品的ROI时，不仅要筹商研发资本等，还需要计算出用户每锻真金不怕火一次token所产生的资本，这个资本不单是是居品发布后用户使用时会产生的，在居品研发测试、GTM的过程中王人可能产生。而这些资本不仅会影响GTM Stragety，也会影响到后续的居品订价。

居品司理只须把token有关的影响身分王人充分筹商后，才能晋升用户体验的同期还能保证居品盈利。

“惊吓“：更好的体验？呃，也许没那么好意思好。

影响：咱们王人知说念在互联网时期性能体验有一个原则是2-5-10原则，也等于当用户概况在2秒以内取得反适时，会嗅觉系统的反应很快，而在2-5秒间会认为还不错，在5-10秒间认为对付不错承袭，然而当杰出10s时，用户会因为嗅觉糟透了而离开你的居品。然而当咱们引入大说话模子后，咱们很有可能为了更好的功能用了很长的提醒词，用户很有可能因为恭候时刻过长径直离开了居品，以致王人莫得契机体验到AI带来的功能晋升。

例如：如故上头阿谁例子，企业想要引入大说话模子升级模拟锻真金不怕火居品，这个模拟锻真金不怕火中有一个NPC会和用户互动。为了让NPC概况凭据用户的输入给到更精确的反馈，咱们给到NPC一个至极详备的脚本，包含了方方面面的考量。NPC照实概况至极精确的回话用户每次的输入，然而用户每一次输入之后王人需要恭候10秒以上，若是这个锻真金不怕火的互动是许多轮次的，那显著用户是莫得这个耐性完成锻真金不怕火的。

居品司理找到准确性和用户体验的最好均衡点，才能让用户感受到AI带来的更好的体验。

”惊喜“：后果太差？不，只是token收敛了模子施展。

影响：在互联网时期，一朝咱们想象居品功能莫得达到咱们的后果，或者手艺完结资本过高或有用功的时候，咱们需要沿途扣问并修改通盘居品。而当你的想要达到的功能是基于大模子时，惟恐候你只需要作念一个动作，等于换一个大预言模子，居品功能就达到咱们的预期后果了。

例如：

企业想要把特有常识库搬进大模子，这么凡是之后用户问到和这个领域有关的问题，AI就能施展的至极专科。然而有些常识库至极庞杂的。在前边token长度咱们了解到，大说话模子关于token是有收敛的，若是咱们选拔了一个模子，它的token收敛是4096，然而可能其中一个常识库本人的量级仍是占用了3000个token，再加上有关的提醒词所需要的token数，常识库的3000个token在2500个token的时候就被截断。这个时候当用户问到有关常识的时候，准确率只须60%。然而当咱们换了一个模子，它的token收敛是8192，那么准确率一下子就飙升到92%并达到了居品想象时的期待。

四、结语

Token是说话模子中一个至极伏击的基本认识，咱们越了解token，就不错越灵验地哄骗大说话模子，从而匡助咱们在想象AI+居品时愈加的登堂入室！

本文由 @AI 实行干货 原创发布于东说念主东说念主王人是居品司理。未经作家许可，退却转载

题图来自Unsplash，基于CC0公约

该文不雅点仅代表作家本东说念主rio柚木提娜，东说念主东说念主王人是居品司理平台仅提供信息存储空间做事