トークンとは?AI料金の基本をやさしく解説

トークンとは「AIが文章を数える単位」

トークンとは、AIが文章を処理するときの最小の単位です。人間は文章を「文字」や「単語」で数えますが、AIは独自の区切り方で文章を細かく分解し、その一つひとつを「トークン」として扱います。そして、AIのAPI(開発者向けの利用方法)の料金は、このトークンの数に応じて課金されます。つまり、トークンを理解することが、AIの料金を見積もる第一歩になります。

日本語だと1文字あたり何トークン?

英語では「1単語 ≒ 1トークン強」ですが、日本語は文字ごとに細かく分割されやすく、感覚が異なります。当サイトが公式のトークナイザー(AIの分割ツール)で実際に測ったところ、日本語は平均しておよそ1トークンあたり1.3〜1.4文字でした。言い換えると、1文字はおよそ0.7〜0.8トークンです。

たとえば「今日はいい天気です。」という文(10文字)は、GPT系のトークナイザーでは約6トークンになります。ひらがな中心のやわらかい文章はトークンが少なめ、漢字や記号・英数字が多い文章はやや多めになる傾向があります。実際の文章で正確に数えたい場合は、日本語トークンカウンターにテキストを貼り付ければ、その場で確認できます(GPT系は公式トークナイザーによる実測値が出ます)。

なぜ「文字数」ではなく「トークン」で課金するのか

AIは内部で文章をトークンに変換してから処理します。処理する量(=トークン数)がそのまま計算コストになるため、料金もトークン数で決めるのが自然なのです。文字数で課金すると、言語や記号の違いで不公平が生じますが、トークンならその違いを吸収できます。日本語・英語・記号が混ざった文章でも、トークン数を基準にすれば一貫した料金計算ができる、というわけです。

「入力トークン」と「出力トークン」の違い

料金を考えるうえで大切なのが、トークンには入力(あなたがAIに送る文章)と出力(AIが返してくる文章)の2種類があり、それぞれ単価が違うことです。多くのサービスでは、出力の単価は入力の数倍に設定されています。つまり「AIにたくさん喋らせる」ほど、料金は膨らみやすくなります。料金の詳しい計算方法はAI API料金の仕組みと計算方法の記事で解説しています。

トークンが分かると、できるようになること

トークン数の見当がつくと、次のようなことができます。

• 記事1本・メール1通あたりのおおよその費用が事前に分かる
• 長い文書が、モデルの一度に扱える上限(コンテキスト長)に収まるかを判断できる
• 料金の安いモデルで足りるか、上位モデルが必要かをコスト目線で選べる

まずは実際のテキストで測ってみるのがおすすめです。文字数からざっくり換算したい場合は文字数⇔トークン換算、料金まで出したい場合はAPI料金シミュレーターをご利用ください。

関連ツール・記事

• 日本語トークンカウンター テキストのトークン数を実測
• AI API料金の仕組みと計算方法 トークンから月額を求める