عد رموز الذكاء الاصطناعي فوراً

الرمز هو جزء من النص تعالجه نماذج اللغة. يمكن أن يكون كلمة أو جزءاً من كلمة أو علامة ترقيم. على سبيل المثال، 'tokenization' قد تُقسم إلى 'token' و'ization'. تستخدم النماذج المختلفة مخططات ترميز مختلفة، ولهذا يختلف عدد الرموز بين النماذج.

لنماذج OpenAI وClaude، نستخدم مرمزاتهم الرسمية لتوفير أعداد دقيقة. لـ Llama وGemini وMistral، نقدم تقديرات بناءً على أنماط الترميز المعروفة لديهم.

ندعم GPT-4 وGPT-4o وGPT-4-turbo وGPT-3.5-turbo (OpenAI) وClaude 3 Opus/Sonnet/Haiku وClaude 3.5 (Anthropic) وLlama 2/3 (Meta) وGemini Pro/1.5/2.0 (Google) وMistral Large/Medium/Small.

بالتأكيد. تتم جميع عمليات الترميز محلياً في متصفحك باستخدام JavaScript. نصك لا يُرسل أبداً إلى أي خادم - يبقى على جهازك. نحن لا نجمع أو نخزن أو ننقل بياناتك.

نعم! ثبته كتطبيق ويب تقدمي (PWA) من متصفحك، ويمكنك عد الرموز حتى بدون اتصال بالإنترنت.

يمكنك رفع أي ملف نصي: .txt و.md و.json و.xml و.csv و.log و.html و.css و.js و.py والمزيد. الأداة تقرأ محتوى النص الخام للترميز.

نافذة السياق هي الحد الأقصى لعدد الرموز التي يمكن للنموذج معالجتها في طلب واحد (المدخلات + المخرجات). على سبيل المثال، GPT-4 لديه نافذة سياق 8K، بينما GPT-4-turbo لديه 128K. أداتنا تُظهر كم من هذه النافذة يستخدمه نصك.

نستخدم مرمز JavaScript الرسمي من Anthropic (@anthropic-ai/tokenizer) لعد رموز Claude بدقة. هذا يوفر أعداداً دقيقة لجميع نماذج Claude 3 و3.5.

تعمل هذه الأداة في جميع المتصفحات الحديثة بما في ذلك Chrome وFirefox وSafari وEdge. تم تحسينها للاستخدام على سطح المكتب ولكنها تعمل أيضاً على الأجهزة المحمولة.

نرحب بملاحظاتكم! يمكنك إرسال المشكلات أو طلبات الميزات من خلال مستودع GitHub الخاص بنا. نحن نعمل باستمرار على التحسين بناءً على مدخلات المستخدمين.