完成したメイクを見ると、一つのスタイルに見えます。
でも細かく見ると、ベース、眉、アイシャドウ、まつげ、チーク、リップなど、いくつもの要素に分けられます。
大型言語モデル（Large Language Model, LLM） が文字を扱うときも、文章全体をそのまま最小単位として読むわけではありません。
文字を小さな単位に分けます。その単位が Token（トークン） です。
Tokenは必ず「一文字」「一単語」ではない
英語のよくある単語が1 Tokenになることもあれば、長い単語が複数に分かれることもあります。日本語、漢字、記号、数字もモデルによって切り方が変わります。
だから「500文字」と「500 Tokens」は同じ意味ではありません。
なぜわざわざ小さく分けるの？
モデルには、言語を扱うための安定した単位が必要です。文字列をTokenに分ける仕組みは Tokenizer（トークナイザー） と呼ばれます。
文章全体を一つの単位にすると、世の中にある文章の組み合わせはほぼ無限です。
小さく分ければ、同じ部品を何度も組み合わせられます。白いシャツが何通りものコーデに使えるのと同じです。
Tokenを知ると何がわかる？
一般利用で毎回数える必要はありません。でも三つ役立ちます。
- モデルが一度に扱える文章量には上限がある。
- AIのAPIでは、入出力のToken数で料金が決まることが多い。
- モデルが人間とまったく同じ方法で文章を読んでいるわけではないとわかる。
ChatGPTもTokenを一つずつ出しているの？
基本的には、前の文脈（Context）から次に来そうなTokenを予測し、それを繰り返して文章を生成します。
だから画面上で文章が少しずつ出てくるのは、単なる演出ではありません。
今日覚えることは一つだけ
Tokenは、言語モデルが文字を処理するときに使う小さな単位。文章はいくつものTokenに分けられてから扱われる。
次は、あなたがAIに渡す「Prompt」を見ていきます。