トークンと単語

トークンと単語

単語は人間には数えやすい単位ですが、AIモデルは通常テキストをトークンとして処理します。テキストを貼り付けて、文字数、単語数、推定トークン、潜在コストを比較できます。

単語は人間の単位

単語は読み書きには便利ですが、多くのAI APIの課金単位ではありません。

トークンはモデルの単位

トークンは単語、単語の一部、句読点、空白、コード、書式の場合があります。

数え方は変わる

言語、句読点、コード、Markdown、JSON、メッセージ構造で推定は変わります。

コストは通常トークン基準

AIコストは単語数ではなく、入力トークンと出力トークンに基づくことが多いです。

計算ツール

AIプロンプト費用を見積もる

プロンプトを貼り付け、価格プロファイル例を選び、1回、1日、1か月あたりの費用を見積もります。

入力トークンはAIモデルへ送る内容です。出力トークンはモデルが返す内容です。APIプロバイダーは多くの場合、それぞれを別料金で扱います。

詳細設定

価格は今のところ手動です。例: 100万トークンあたり入力$2、出力$10なら、2と10を入力します。

エネルギー使用量は大まかな見積もりです。実際はモデル、ハードウェア、プロバイダー、データセンター効率、負荷、地域に依存します。

FAQ

トークンと単語 FAQ

1単語は1トークンですか?

いいえ。1トークンの単語もあれば複数トークンに分かれる単語もあり、句読点や書式も数えられることがあります。

なぜトークンがAIコストに重要ですか?

プロバイダーはAPI利用をトークン単位で価格設定することが多いためです。

トークン数はモデルで変わりますか?

はい。モデルやトークナイザーが違うと、同じテキストでも数え方が変わります。