สถานะ: 🟢 Complete | อัพเดท: 2026-06-27
Tokens คืออะไร
Token คือหน่วยย่อยของข้อความที่ LLM ใช้ประมวลผล — ไม่ใช่คำ ไม่ใช่ตัวอักษร แต่อยู่ระหว่างนั้น
ตัวอย่าง
| ข้อความ | Tokens |
|---|---|
| ”Hello world” | ~2 tokens |
| ”Claude” | ~1 token |
| ”สวัสดี” | ~3-5 tokens (ภาษาไทยใช้ tokens มากกว่า) |
Code เช่น def foo(): | ~4 tokens |
ภาษาไทยใช้ Tokens มากกว่า
ภาษาอังกฤษ ~1 token/คำ, ภาษาไทย ~3-5 tokens/คำ เพราะ tokenizer ถูก train บน English text มากกว่า
Rule of Thumb
1,000 tokens ≈ 750 คำภาษาอังกฤษ ≈ 250-300 คำภาษาไทย
นับ Tokens ได้ยังไง
ใช้ client.messages.count_tokens() ใน Anthropic SDK หรือดู usage ใน API response