読み込み中

トークン:一部の入力が他より高くつく理由

Claudeの使用量はトークンで計測されます。利用料金を確認する場合でも、レート制限がいつ発動するか気になる場合でも、トークンが計測の単位となります。トークンとは何か、あるテキストがどれくらいのトークンを使うかを予測する方法、そしてトークンがどのように意味を符号化するかを学びます。

15 分

多くのLLMが「strawberry」にrがいくつ含まれているか答えられなかった時代を覚えているかもしれません。しかし、なぜそのようなことが起こるのでしょうか?その答えは、言語モデルが何を得意とし、何を苦手とし、どのように数学を使ってテキストを生成するかについて、驚くほど多くのことを説明してくれます。また、使用量がどのように計算されるかも説明してくれます。これはレート制限にどれだけ早く達するか、APIの請求額がどうなるかに影響します。

まずは役割を逆転させてみましょう。

これはウォームアップの質問なので、気軽に推測してみてください。

クイックチェック

「Hello Claude」と入力して送信ボタンを押すと、モデルに何が届くと思いますか?

テキストを表現する3つの方法

この3文字の文字列について考えてみましょう:"Hi!"。では、この情報を言語モデルに渡す3つの異なる方法について考えてみます。

  1. 見たままの方法。 文字列として:"Hi!"。
  2. 文字のリストとして。 ['H', 'i', '!']。角括弧[ ]はリストを意味します。この特定のリストには3つの項目が含まれています。
  3. 1文字につき1つの数値として。 すべての文字は標準的な数値に対応付けることができます:'H'は72、'i'は105、'!'は33です。
string:      "Hi!"
characters:  [ 'H', 'i', '!' ]
numbers:     [ 72,  105, 33  ]

これら3つのアプローチはすべてコードの中で用途がありますが、言語モデルは4つ目の、より戦略的なことを行います。届くのは依然として数値のリストですが、固定された表から1文字につき1つの数値を取るのではなく、モデルが学習した語彙から、テキストのチャンクごとに1つの数値を取るのです。

数値IDを持つテキストのチャンクはトークンと呼ばれます。

トークン

下のウィジェットには、トークン化できる複数のテキストが含まれています。例をクリックして順に進み、それぞれをトークン化して、自分の目で確かめてみましょう:トークンは単語とどう違うのでしょうか?

読み込み中

多い?少ない?

トークンがどのようなものか分かったところで、次の文字列をトークン化すると何個のトークンが生成されるか、予測できるか試してみましょう。

読み込み中

なぜサブワードなのか?

もしかすると、なぜ1文字につき1トークン、あるいは1単語につき1トークンにしないのだろうと疑問に思うかもしれません。

トークナイザーが生成できる一意なトークンIDの集合は語彙(vocabulary)と呼ばれます。ちょうどよいトークンサイズと語彙サイズを決めることは、いまだにある程度の探求と研究の対象ですが、ほとんどの公開トークナイザーはゴルディロックスゾーン(ちょうどよい範囲)を目指しています。「The tokenizer rocks.」という文が、3つの異なるトークナイザーによって3通りに分割される様子を見てみましょう。

極小のトークン(1文字につき1トークン)では、この文は20トークンかかります。これでは処理が遅くコストもかかってしまいます!

[T] [h] [e] [ ] [t] [o] [k] [e] [n] [i] [z] [e] [r] [ ] [r] [o] [c] [k] [s] [.]

大きなトークン(1単語につき1トークン)では、この文はわずか4トークンで済みますが、モデルは「tokenizer」のようなニッチな単語を知るために巨大な語彙を学習しなければなりません:

[The] [ tokenizer???] [ rocks] [.]

中間的な方法(1単語またはサブワードにつき1トークン)では、この文は5トークンで済み、語彙に多数の専門的な単語を含める必要もありません:

[The] [ token] [izer] [ rocks] [.]

トークナイザーの語彙はモデルに焼き付けられており、訓練後に変更することはできません。特定のモデルは「トークナイザーに固定されている(locked to a tokenizer)」と言われます。なぜなら、そのモデルはtoken 4062が何を意味するかしか学習しておらず、"quick"が何を意味するかは学習していないからです。

出力をデコードする

ここまでで、モデルに送るテキストは処理される前にトークンIDのリストになることが分かりました。モデルの出力も同様にトークンIDのリストです。この返答をデコードしてみましょう。

読み込み中

トークンから意味へ

トークン化によって、すべてのテキストのチャンクには数値が割り当てられますが、9906や9907のようにIDが似ているトークン同士が関連しているわけではありません。単にリストの中で隣り合っているだけです。モデルには、たとえ語彙の中でIDが大きく離れていても、catとkittenが意味的に近いことを知る方法が必要です。モデルはこれを、各トークンに多次元のスコアを割り当てることで実現しています。

まずは2次元のスコアリングシステムから始めましょう。

読み込み中

埋め込み(エンベディング)

LLMの埋め込みは、先ほど行ったスコアリングと同じ仕組みで機能します。各単語(実際には各トークン)が1つの点になり、似た単語(トークン)は近くに配置されます。実際の埋め込みは、2つの点でより複雑です:

  1. LLMの埋め込みは数千の次元を持ちます。2次元だけではありません。たとえば「危険さ」という軸を追加すれば、虎と子猫を区別するのに役立つかもしれない、というように想像できます。
  2. 1つの次元に捉えられている意味にはラベルが付いていません。実際には、人間の言葉でうまく表現できないような何かを意味している場合すらあります。「かわいさ」はどこかに存在していますが、「かわいさ」と明示的に名付けられた軸があるわけではありません。モデルは訓練中に次元を発明あるいは発見し、それらが何を意味するのかを解読するプロセスは、解釈可能性(interpretability)研究の焦点の1つです。

「cat」を2次元、3次元、そして数千次元で調べてみる

2 dimensions       "cat" = [ 8.0,  3.5 ]                                cute, big
3 dimensions       "cat" = [ 8.0,  3.5,  1.0 ]                          cute, big, dangerous
4,096 dimensions   "cat" = [ 0.031, -0.184, 0.772, …, -0.094 ]          (no labels)

The exact number of dimensions varies by model. 4,096 is a common size in open-weight models.

埋め込みについてさらに探求したいですか?Claudeにビジュアライゼーションを作ってもらいましょう:

埋め込みについて学んでいます。トークンが多くの次元を持つ空間の中の1つの点になること、似たトークンが互いに近くに配置されること、そしてその次元が人間の言葉でラベル付けされていないことは理解しています。インタラクティブなビジュアライゼーションを作って、直感を養う手助けをしてください:小さな埋め込み空間に日常的な単語を20〜30個ほど配置し、任意の単語を選んでその最も近い隣人を見られるようにし、さらに自分の単語を追加してそれがどこに配置され、なぜそうなるのかを見られるようにしてください。

まとめ

ここまでで、LLMに送るテキストが一連のトークンになり、トークンが埋め込みになることが分かりました。

text:        "Hi"
token:       [ 13347 ]
embedding:   [ 0.12, -0.48, 0.91, …, 0.07 ]

おめでとうございます!これは言語モデルの仕組みを理解するための大きな一歩です。

埋め込みに捉えられている情報(物事がどれだけかわいいか、大きいか、あらゆる側面において)が、言語モデルが入力を理解し適切な出力を選ぶ上で大きな役割を果たしていると、すでに直感的に感じているかもしれません。もしそうなら、その直感は正しいです!

次の4つの文が正しいと感じられるなら、このレッスンが教えようとしていたことを習得できたということです。

  • 100文字のURLが100文字の文章よりも多くのトークンを消費する理由を説明できる。
  • あるテキストのチャンクがおおよそ何トークンになるかを予測できる。
  • モデルがなぜトークナイザーに固定されているのか、そしてなぜ珍しい単語が分割されるのかを理解している。
  • 「スコア」「次元」「近い」という言葉を使って、埋め込みとは何か、なぜそれが重要なのかを説明できる。

次へ:コンテキストがClaudeのパフォーマンスとコストに与える影響 · 適切なClaudeモデルを選ぶ · Claudeで作業量レベルを選ぶ · Claude Codeで

さらに詳しく:AIの仕組み · AIの能力と限界