AIトークンを即座にカウント

トークンは言語モデルが処理するテキストの断片です。単語、単語の一部、または句読点である場合があります。例えば、「tokenization」は「token」と「ization」に分割されることがあります。モデルごとに異なるトークン化方式を使用するため、カウント数が異なります。

OpenAIとClaudeモデルでは、公式トークナイザーを使用して正確なカウントを提供します。Llama、Gemini、Mistralでは、既知のトークン化パターンに基づいた推定値を提供します。

GPT-4、GPT-4o、GPT-4-turbo、GPT-3.5-turbo（OpenAI）、Claude 3 Opus/Sonnet/Haiku、Claude 3.5（Anthropic）、Llama 2/3（Meta）、Gemini Pro/1.5/2.0（Google）、Mistral Large/Medium/Smallをサポートしています。

もちろんです。すべてのトークン化はブラウザ内でJavaScriptを使用してローカルで行われます。テキストはサーバーに送信されることはありません - デバイスに保存されます。データの収集、保存、送信は行いません。

はい！ブラウザからProgressive Web App（PWA）としてインストールすれば、インターネット接続なしでもトークンをカウントできます。

あらゆるテキストベースのファイルをアップロードできます：.txt、.md、.json、.xml、.csv、.log、.html、.css、.js、.pyなど。ツールはトークン化のために生のテキストコンテンツを読み取ります。

コンテキストウィンドウは、モデルが1回のリクエストで処理できる最大トークン数です（入力＋出力）。例えば、GPT-4は8Kのコンテキストウィンドウを持ち、GPT-4-turboは128Kです。私たちのツールは、テキストがこのウィンドウのどれだけを使用しているかを表示します。

正確なClaudeトークンカウントのために、Anthropicの公式JavaScriptトークナイザー（@anthropic-ai/tokenizer）を使用しています。これにより、すべてのClaude 3および3.5モデルで正確なカウントが提供されます。

このツールはChrome、Firefox、Safari、Edgeを含むすべてのモダンブラウザで動作します。デスクトップ用に最適化されていますが、モバイルデバイスでも動作します。

フィードバックを歓迎します！GitHubリポジトリを通じて問題や機能リクエストを送信できます。ユーザーの意見に基づいて常に改善しています。