美國晶片巨頭Nvidia上星期舉行年度人工智能（AI）盛會GTC，行政總裁黃仁勳表示，在AI時代，智能詞元/TOKEN是新貨幣，這是繼全球首富馬思克指能源是AI時代貨幣外，另一個計價單位。

Token是一個電腦領域的多義詞，早年在虛擬貨幣中以「代幣」含義出現在入眾眼前，比如比特幣、以太坊等都屬於Token。隨著人工智能時代來臨，Token不再是虛擬貨幣，近日改成為詞元，相當於大語言模型處理、理解和生成文本的最小基本計算單位。若以人類自然語言為例，我們講的語言最小單位通常是單字，而在電腦語言中，Token就相當於人類的單字，當然並非是一個字等於一個Token，而是介乎「字」和「詞語」之間的計算單元。

一個Token可以拆分成幾個字，主要視乎AI大模型配套的分詞器（Tokenizer）決定，不同語言、不同模型拆分結果會有差異。例如中文「人工智能」四個字，有些大模型拆分成「人工」和「智慧」兩個Token，有些把「人工智能」視為一個Token。所以即命是同一段文字，不同大模型採用不同的分詞器規則，Token數量可能天差地別，OpenAI、Meta、阿里巴巴等都有專門的分詞器規則，隨著多模態大模型發展，圖像、音訊、視頻等非文本內容，也會被模型拆分為對應的視覺Token、音訊Token，好方便處理，但其分詞邏輯基本一致，都是將非結構化的資料，拆分成可計算的最小單元。通常來說，大模型在單次對話中能夠處理的Token數量越高，大模型能力也越強。

近日隨著OpenClaw「龍蝦」爆紅，Token消耗量呈幾何級數式增長，由於OpenClaw的每一項任務，都會分解成不同的指令，指令並行時會消耗大量的Token，因此有些高頻「養蝦」的開發者發現每月帳單支出可達上萬元人民幣。2024年內地整體日均Token消耗量約1000億個，今年2月，這日均消耗量已飆升至180萬億個。隨著大模型正從聊天AI，向自主執行複雜任務的AI智能體發展，Token消耗量呈現出幾何級增長趨勢。不少行業人士認為，全球大模型行業正在邁向Token經濟，即大模型的價值不再只以前沿推理能力作為單一指標，而是加入『以Token計價』的商業經濟指標。故此上星期阿里巴巴更宣佈成立Alibaba Token Hub事業群，以創造Token、輸出Token、應用Token為目標。

近日OpenAI客戶要若要使用最先進的模型，就須支付15美元以購買100萬個Token。NVidia的黃仁勳指，在電力受限的AI基礎設施中，最好確保架構被盡量優化，因為AI推理是工作負載，Token是新的商品，算力是新收入。故此未來每家公司都要思考他們的Token工廠生產效率。當然他亦不忘賣賣廣告，指NVidia在軟件架構上做了提升，在更新前，平均大約每秒產出700個Token，現在達到將近5,000個，提高了7倍，適合各巨頭公司應用。

編寫、報道：勞家樂