AI 토큰을 즉시 계산하세요

토큰은 언어 모델이 처리하는 텍스트 조각입니다. 단어, 단어의 일부 또는 구두점일 수 있습니다. 예를 들어 'tokenization'은 'token'과 'ization'으로 나뉠 수 있습니다. 모델마다 다른 토큰화 방식을 사용하므로 카운트가 다릅니다.

OpenAI와 Claude 모델의 경우 공식 토크나이저를 사용하여 정확한 카운트를 제공합니다. Llama, Gemini, Mistral의 경우 알려진 토큰화 패턴을 기반으로 추정치를 제공합니다.

GPT-4, GPT-4o, GPT-4-turbo, GPT-3.5-turbo(OpenAI), Claude 3 Opus/Sonnet/Haiku, Claude 3.5(Anthropic), Llama 2/3(Meta), Gemini Pro/1.5/2.0(Google), Mistral Large/Medium/Small을 지원합니다.

물론입니다. 모든 토큰화는 브라우저에서 JavaScript를 사용하여 로컬로 수행됩니다. 텍스트는 서버로 전송되지 않습니다 - 기기에 유지됩니다. 데이터를 수집, 저장 또는 전송하지 않습니다.

네! 브라우저에서 Progressive Web App(PWA)으로 설치하면 인터넷 연결 없이도 토큰을 계산할 수 있습니다.

모든 텍스트 기반 파일을 업로드할 수 있습니다: .txt, .md, .json, .xml, .csv, .log, .html, .css, .js, .py 등. 도구는 토큰화를 위해 원시 텍스트 콘텐츠를 읽습니다.

컨텍스트 윈도우는 모델이 단일 요청에서 처리할 수 있는 최대 토큰 수입니다(입력 + 출력). 예를 들어 GPT-4는 8K 컨텍스트 윈도우를, GPT-4-turbo는 128K를 가집니다. 우리 도구는 텍스트가 이 윈도우의 얼마를 사용하는지 보여줍니다.

정확한 Claude 토큰 카운팅을 위해 Anthropic의 공식 JavaScript 토크나이저(@anthropic-ai/tokenizer)를 사용합니다. 이는 모든 Claude 3 및 3.5 모델에 대해 정확한 카운트를 제공합니다.

이 도구는 Chrome, Firefox, Safari, Edge를 포함한 모든 최신 브라우저에서 작동합니다. 데스크톱 사용에 최적화되어 있지만 모바일 기기에서도 작동합니다.

피드백을 환영합니다! GitHub 저장소를 통해 문제나 기능 요청을 제출할 수 있습니다. 사용자 의견을 바탕으로 지속적으로 개선하고 있습니다.