我的 Token，越吐越慢

瑞文 · 2026年10月18日

上周和一位老朋友吃饭。他问起我这些年在忙什么，我放下筷子，想好好讲一讲。那是我做了很多年的事，按理说，闭着眼睛也能讲上半个小时。可话一出口，就开始打结。一个再熟悉不过的词，明明就在舌尖上，却怎么也落不下来，像一尾游到岸边的鱼，尾巴一摆，又回了深水。我只好绕着它说：“就是那个……你知道的，那种……”三个“那个”之后，朋友体贴地点点头，替我把话接了过去。那一刻，锅里的热气还在往上冒，我却觉得背后有点凉。这几年，我每天都在和 AI 说话。它们说话的样子，我再熟悉不过：问题丢进去，屏幕那头略一停顿，字便一个接一个地流出来，均匀，笃定，从不卡壳。工程师们把这些字拆成最小的单位，叫作 Token。衡量一个模型，常要看它每秒能吐出多少个 Token，看第一个 Token 要等多久才出现——后者有个很好听的名字，叫“首字延迟”。那天回家的路上，我忽然想，要是也给自己测一测，大概会是一份很难看的报告：首字延…