Token Count [Complete Guide]
Token Count คือ จำนวนข้อมูล [ตัวอักษร , รูปภาพ , เสียง] ต่อ 1 Token
แนะนำ : Token AI คืออะไร ใช้ยังไงให้ผลลัพธ์เป๊ะ
ตัวอย่างเช่น สำหรับ Gemini , 1 Token เท่ากับตัวอักษรอังกฤษ 4 ตัว โดยปริมาณข้อมูลต่อ Token มีดังนี้
|
ชนิดข้อมูล |
จำนวนข้อมูล |
จำนวน Token |
|
อักษรอังกฤษ |
4 ตัวอักษร |
1 Token |
|
อักษรอังกฤษ |
60 -80 คำ |
100 Token |
|
รูปภาพ |
< [ 384 pixel x 384 pixel ] (W x H) |
258 Token |
|
รูปภาพ |
> [ 384 pixel x 384 pixel ] (W x H) |
258 x 2 Token |
|
เสียง |
1 วินาที |
32 Token |
Token Count : สิ่งควรรู้
- ผู้ให้บริการ AI แต่ละเจ้า คิด Token Count “ไม่เหมือนกัน” (Different Tokenizers)
AI แต่ละค่าย (เช่น Gemini, ChatGPT, Anthropic Claude) มี “พจนานุกรม” และ “วิธีสับคำ” (Tokenizer Algorithm) เป็นของตัวเอง ดังนั้น Input | Output ของ AI แต่ละค่าย อาจคิด Token Count ไม่เท่ากัน
ตัวอย่างเช่น เมื่อ ChatGPT สร้างประโยคคำตอบว่า
” Generative Engine Optimization (GEO) is a digital marketing strategy designed to optimize content for AI-powered search engines ”
ChatGPT อาจแจ้งว่า Token Count = 20 แต่สำหรับประโยคคำตอบเดียวกัน Gemini อาจใช้ Token Count = 16
สาเหตุเพราะ ChatGPT กับ Gemini มีวิธีการคำนวณโทเคนที่ใช้ต่างกัน ส่งผลให้ Token Count ต่างกันด้วย
- “ภาษา” มีผลอย่างมากต่อ Token Count
โมเดล AI ส่วนใหญ่ถูกฝึกฝนมาด้วยภาษาอังกฤษเป็นหลัก ทำให้จดจำและเข้าใจคำภาษาอังกฤษได้ดี ดังนั้นคำทั่วไป หรือ ประโยคพื้นฐาน จึงมันถูกรวบเป็น 1 Token ได้เลย เช่น
- ภาษาอังกฤษ: คำว่า “Information” นับเป็นแค่ 1 Token
- ภาษาไทย: คำว่า “ข้อมูลข่าวสาร” อาจถูกหั่นย่อยแยกพยัญชนะ สระ และวรรณยุกต์ ทำให้กินพื้นที่ไปถึง 4-6 Tokens
ภาษาอังกฤษจึงมักเป็นภาษาที่ใช้ Token ต่ำสุด เพราะภาษาอื่น [จีน ญี่ปุ่น อาหรับ] นั้น AI อาจไม่รู้จักคำศัพท์แบบเต็มคำ จึงต้องแตกคำเป็นระดับตัวอักษร ส่งผลให้เมื่อ AI สร้างคำตอบ จึงใช้ Token Count มากนั้นเอง
ทำไม Token Count จึงสำคัญ
Token Count ส่งผลอย่างมากต่อ “ค่าใช้จ่าย” ครับ
ในกรณีที่นักพัฒนาซอพท์แวร์ หรือ องค์กรธรุกิจนำ AI (Gemini , Chat GPT and etc ) ไปใช้งานร่วมกับเว็บไซต์หรือแอปพลิเคชันของตัวเอง ผู้ให้บริการ AI จะไม่คิดค่าบริการในลักษณะ subscribe (เหมาจ่าย) แต่จะคิดแบบ “Token Base” แทน
การคิดค่าบริการแบบ “Token Base” คือ คิดตามปริมาณการใช้งาน Token ตัวอย่างเช่น Gemini 3.1 Pro มีค่าใช้จ่ายการใช้งานดังนี้
|
Data Type |
Price Rate / 1M Token |
|
Input price |
$2.00, prompts <= 200k tokens |
|
Output price (including thinking tokens) |
$12.00, prompts <= 200k tokens |
วิธีคิด Gemini Token Count
เพื่อให้ทุกท่านเห็นภาพมากขึ้น ผมขอยกตัวอย่างว่า Gemini คิด Token Count ยังไง ดังนี้
สถานการณ์
Input
Input Token : คุณส่งบทความขนาดยาว 1 หน้า A4 พร้อมคำสั่งให้สรุป โดยจำนวนอักษรทั้งหมดของบทความรวมกับคำสั่ง คิดเป็น 50,000 (Token)
เงื่อนไข : Input ไม่เกิน 200k Token (<= 200k tokens) จึงใช้อัตรา 2$ / 1M Token
วิธีคิดค่าใช้จ่าย Input : [ (Input / 1M) * Price Rate ] = [ (50,000 / 1,000,000) * 2$] = 0.1 $
Output
Output Token : จาก Input ข้างบน เมื่อ AI สรุปบทความเรียบร้อย คิดเป็น 30,000 Token
เงื่อนไข : Output ไม่เกิน 200 Token (<= 200k tokens) จึงใช้อัตรา 12.00$ / 1M Token
วิธีคิดค่าใช้จ่าย Output : [ (Output / 1M) * Price Rate ] = [ (30,000 / 1,000,000) * 12$] = 0.36 $
สรุป : ค่าใช้จ่ายของคำสั่งและคำตอบในรอบนี้ = 0.1 + 0.36 = 0.46 $
ลองจินตนาการว่า ผู้ให้บริการ AI 2 ราย (สมมุติชื่อว่า Chat Bot A & B) ทั้ง 2 รายมีความสามารถในการวิเคราะห์ข้อมูลใกล้เคียงกัน สร้างคำตอบที่ถูกต้องเหมือนกัน แต่ Token Count ของ Chat Bot A ต่ำกว่า Chat Bot B ≈ 20%
เมื่อนักพํฒนาซอฟท์แวร์หรือผู้ประกอบการนำ Chat Bot A ใส่ในเว็บไซต์หรือแอปพลิเคชั่นของตัวเอง ผลลัพธ์คือ
- ขั้นตอนการวิจัยและพัฒนา | ใช้เงินน้อยลง ประหยัดงบพัฒนาซอฟท์แวร์ หากขอทุนจากผู้ลงทุน ก็มีโอกาสได้เงินลงทุนมากขึ้น เพราะงบไม่สูงโด่งจนนายทุนเบือนหน้าหนี
- ราคาซอฟท์แวร์ | ต้นทุนต่ำลง สามารถตั้งราคาขายไม่แพง หรือหากขายสินค้าหรือบริการได้มาก กำไรย่อมสูงขึ้น
หลักการเลือก AI : Price/Token Count
อย่างไรก็ตาม การนำ AI มาใช้งานอาจต้องพิจารณาเรื่อง “เป้าหมายและคุณภาพคำตอบ” ร่วมกับ “Price /Token Count” ด้วยครับ
โลกความจริง โมเดล AI มีหลากหลายชนิด แต่ละชนิดมีความสามารถและคุณสมบัติแตกต่างกัน เช่น
- โมเดลภาษา (Large Language Models – LLMs) : เก่งเรื่องงานเขียน ตอบคำถาม สรุปบทความ และเขียนโค๊ด
- โมเดลรูปภาพ (Diffusion Models) : เก่งเรื่องการสร้างรูปภาพ อินโฟกราฟิก งานศิลปะ
- โมเดลเสียง (Audio/Speech Models) : เก่งเรื่องแปลงข้อความให้เป็นเสียงคนพูด
- โมเดล AI อื่นๆ ที่ถูก Training เพื่องานเฉพาะทาง เช่น การแพทย์ บัญชี วิศวกรรมศาสตร์ เป็นต้น
ซึ่งโมเดล AI แต่ละชนิด จะใช้ Token Count ไม่เท่ากัน เนื่องจาก ข้อมูลคนละชนิด กระบวนการวิเคราะห์และสร้างผลลัพธ์ก็แตกต่าง แม้กระทั่งโมเดลชนิดเดียวกันแต่ต่างเวอร์ชั่น ก็ใช้ Price /Token Count ต่างกันด้วย
ตัวอย่างเช่น Gemini 3.0 Pro มักมี “Price / Token Count” มากกว่า Gemini 3.0 Flash เนื่องจาก Gemini Pro คือ AI Large Model ที่ฉลาดสูง วิเคราะห์ข้อมูลที่ซับซ้อนได้อย่างถูกต้องและรวดเร็ว อย่างไรก็ตาม ไม่มีอะไรได้มาฟรี Gemini Pro ต้องใช้ทรัพยากร Hardware & Software จำนวนมาก ต้นทุนการทำงานจึงสูงกว่า สะท้อนออกมาที่จำนวน “Price / Token Count” ที่แพงกว่า Flash นั่นเอง
จากข้อมูลทั้งหมดข้างต้น การนำ AI มาใช้งานร่วมกับเว็บไซต์หรือแอปพลิเคชั่น มีขั้นตอนดังนี้
- กำหนดวัตถุประสงค์การใช้ AI เช่น เขียนบทความ สร้างอินโฟกราฟิค วิเคราะห์ตัวเลข ทำพอดแคสต์ หรือ อื่นๆ
- เลือกโมเดล AI ที่สอดคล้องกับวัตถุประสงค์
- ทดลองใช้งานจริง เพื่อค้นหาโมเดล AI ที่เหมาะที่สุด โดยมีหลักการดังนี้
- AI ที่เลือกใช้ | สร้างผลลัพธ์ที่ถูกต้องและรวดเร็ว Price / Token Count สอดคล้องกับงบประมาณ
- AI ที่ควรหลีกเลี่ยง | แม้ว่า Price / Token Count ต่ำที่สุด แต่ถ้าทำงานช้า ผิดพลาดบ่อย หรือสร้างผลลัพธ์ไม่สอดคล้องกับมาตรฐานที่กำหนดไว้ ก็ควรหลีกเลี่ยงครับ
สรุปคือ การเลือกโมเดล AI ควรพิจารณาทั้งราคาและประสิทธิภาพ หากคุณภาพเลิศเลอเฟอร์เฟค แต่ราคาเกินงบ ก็คงคิดหนัก แต่หากราคาต่ำ ความผิดพลาดสูง ก็ไม่ควรใช้เช่นกันครับ
Token Price [Gemini , Claude , Chat GPT]
ผมขอรวม Token Price ของ 3 Generative AI ยอดนิยม ตามลิงก์ข้างล่างนี้
End