วิธีคำนวณสเปก Server สำหรับ AI ตามลักษณะงานและจำนวนผู้ใช้

การเลือก Server สำหรับ AI ไม่ควรพิจารณาจากจำนวนคอร์ CPU หรือขนาด GPU เพียงอย่างเดียว เพราะสเปกที่เหมาะสมขึ้นอยู่กับประเภทโมเดล ลักษณะงาน จำนวนผู้ใช้งานพร้อมกัน และความเร็วที่ต้องการ หากเลือกต่ำเกินไป ระบบอาจตอบสนองช้าหรือหยุดทำงานเมื่อมีผู้ใช้จำนวนมาก แต่หากเลือกสูงเกินความจำเป็นก็ทำให้ต้นทุน Server และค่าไฟเพิ่มขึ้นโดยไม่คุ้มค่า

บทความนี้จะอธิบาย วิธีคำนวณสเปก Server สำหรับ AI ตั้งแต่การประเมินโมเดล ปริมาณผู้ใช้งาน หน่วยความจำ GPU ไปจนถึงแนวทางเลือก Server ให้เหมาะกับองค์กรและธุรกิจ

1. เริ่มจากกำหนดลักษณะงาน AI

ก่อนเลือก Hardware ควรระบุให้ชัดเจนว่า Server จะนำไปใช้งานด้านใด เพราะแต่ละงานใช้ทรัพยากรแตกต่างกัน เช่น

• AI Chatbot และระบบถามตอบ ต้องรองรับคำขอพร้อมกันและตอบกลับรวดเร็ว
• ระบบ RAG หรือ AI ค้นหาเอกสาร ต้องใช้ RAM และพื้นที่จัดเก็บข้อมูลสำหรับเอกสาร รวมถึง GPU สำหรับประมวลผลโมเดลภาษา
• การสร้างภาพด้วย AI ใช้ GPU และ VRAM สูง โดยเฉพาะภาพความละเอียดสูงหรือการสร้างหลายภาพพร้อมกัน
• การฝึกสอนโมเดล AI ต้องใช้ GPU ประสิทธิภาพสูง หน่วยความจำมาก และพื้นที่จัดเก็บข้อมูลความเร็วสูง
• การประมวลผลวิดีโอหรือเสียง ต้องใช้ CPU หลายคอร์ พื้นที่จัดเก็บขนาดใหญ่ และอาจใช้ GPU เพื่อเร่งความเร็ว
• การรันโมเดลเพื่อทำนายผล หรือ Inference มักใช้ทรัพยากรน้อยกว่าการ Train แต่ต้องให้ความสำคัญกับความเร็วและจำนวนผู้ใช้พร้อมกัน

การแยกระหว่าง Training และ Inference เป็นขั้นตอนสำคัญ เพราะการฝึกโมเดลต้องใช้หน่วยความจำและพลังประมวลผลสูงกว่า ขณะที่การใช้งานโมเดลที่ฝึกเสร็จแล้วอาจเลือกใช้การลดขนาดโมเดลหรือ Quantization เพื่อประหยัดทรัพยากรได้

2. ตรวจสอบขนาดโมเดลและความต้องการ VRAM

สำหรับโมเดลภาษาขนาดใหญ่ ปัจจัยหลักที่ใช้พื้นที่บน GPU คือ Model Weights และ KV Cache โดย KV Cache จะเพิ่มขึ้นตามจำนวนคำขอ ความยาวของข้อความ และจำนวนผู้ใช้งานพร้อมกัน

สูตรประมาณการพื้นที่สำหรับ Model Weights คือ

[
\text{VRAM สำหรับโมเดลโดยประมาณ} = \text{จำนวนพารามิเตอร์} \times \text{ไบต์ต่อพารามิเตอร์}
]

ตัวอย่างการคำนวณเบื้องต้น:

• โมเดล 7B หรือ 8B แบบ FP16/BF16 ใช้พื้นที่ประมาณ 14–16 GB
• โมเดล 13B แบบ FP16/BF16 อาจต้องใช้ประมาณ 26–30 GB
• โมเดล 70B แบบ FP16/BF16 อาจต้องใช้พื้นที่มากกว่า 130 GB

NVIDIA ระบุว่าโมเดล 7B ที่ใช้ความแม่นยำ 16-bit ต้องใช้หน่วยความจำสำหรับน้ำหนักโมเดลประมาณ 14 GB และยังต้องเผื่อพื้นที่สำหรับ KV Cache และกระบวนการอื่น ๆ เพิ่มเติม[8] ดังนั้น GPU ที่มี VRAM เท่ากับขนาดโมเดลพอดีอาจไม่เพียงพอต่อการใช้งานจริง

การใช้ Quantization เพื่อลด VRAM

หากต้องการใช้ GPU ที่มี VRAM ขนาดเล็กลง สามารถใช้ Quantization เช่น INT8 หรือ INT4 ได้ โดยแนวทางนี้ช่วยลดขนาดโมเดลและทำให้สามารถรันโมเดลขนาดใหญ่บน Server ที่มี GPU จำนวนน้อยลง อย่างไรก็ตาม ควรทดสอบคุณภาพคำตอบและความเร็วของโมเดลก่อนใช้งานจริง

แนวทางโดยประมาณ:

• โมเดล 7B–8B แบบ Quantization อาจเริ่มต้นได้ที่ GPU VRAM 8–16 GB
• โมเดล 13B อาจเหมาะกับ GPU VRAM 16–24 GB ขึ้นไป
• โมเดลขนาด 30B ขึ้นไปอาจต้องใช้ GPU หลายใบหรือระบบ Multi-GPU
• โมเดล 70B ควรออกแบบระบบโดยพิจารณา VRAM รวม การเชื่อมต่อระหว่าง GPU และรูปแบบการกระจายโมเดล

ตัวเลขเหล่านี้เป็นเพียงค่าประมาณ เพราะความต้องการจริงขึ้นอยู่กับ Framework, Context Length, Batch Size และการตั้งค่าของระบบ

3. คำนวณจากจำนวนผู้ใช้งานพร้อมกัน

จำนวนผู้ลงทะเบียนทั้งหมดไม่ใช่ตัวเลขเดียวกับจำนวนผู้ใช้ที่ใช้งานพร้อมกัน การเลือก Server ควรใช้ค่า Concurrent Users หรือจำนวนผู้ใช้ที่ส่งคำขอในช่วงเวลาเดียวกันเป็นหลัก

ตัวอย่างเช่น

• มีผู้ใช้งานทั้งหมด 1,000 คน
• มีผู้ใช้งานต่อวันประมาณ 300 คน
• ช่วงเวลาสูงสุดมีผู้ใช้งานพร้อมกัน 20 คน
• แต่ละคนส่งคำถามเฉลี่ย 2 ครั้งต่อนาที

ระบบควรออกแบบเพื่อรองรับคำขอช่วง Peak ประมาณ 40 Requests per Minute และต้องเผื่อการใช้งานเพิ่มขึ้นในอนาคตอย่างน้อย 20–30%

สูตรเบื้องต้นสำหรับประมาณจำนวนคำขอคือ

[
\text{Requests per Minute} = \text{ผู้ใช้พร้อมกัน} \times \text{คำขอต่อคนต่อนาที}
]

อย่างไรก็ตาม สำหรับ AI Chatbot ควรพิจารณาจำนวน Token ต่อคำขอด้วย เพราะ Prompt ที่ยาวและคำตอบที่ยาวจะใช้ GPU Memory และเวลาประมวลผลมากขึ้น งานแต่ละประเภทมีลักษณะ Token แตกต่างกัน เช่น Chatbot อาจมี Input 2,000–8,000 Tokens และ Output 200–800 Tokens ขณะที่งานสร้างเนื้อหาอาจมี Output ยาวถึง 1,000–4,000 Tokens

4. เลือก GPU ให้เหมาะกับงาน

GPU เป็นส่วนสำคัญที่สุดของ Server AI แต่ไม่ควรเลือกจากรุ่นหรือราคาเพียงอย่างเดียว ควรพิจารณาองค์ประกอบต่อไปนี้

VRAM

VRAM ต้องเพียงพอสำหรับ

• น้ำหนักของโมเดล
• KV Cache
• Batch Size
• Context Length
• Framework และ Runtime
• พื้นที่สำรองเพื่อป้องกัน Out of Memory

สำหรับโมเดลขนาด 7B–8B NVIDIA แนะนำให้พิจารณา GPU ประมาณ 24 GB เพื่อรองรับการใช้งานจริงและเผื่อพื้นที่สำหรับ KV Cache ส่วนโมเดลระดับ 13B อาจต้องใช้ GPU ประมาณ 48 GB เมื่อเน้นการใช้งานหลายผู้ใช้พร้อมกัน

ความเร็วและ Throughput

หากระบบต้องตอบผู้ใช้จำนวนมาก ควรดูค่า Throughput เช่น Tokens per Second และจำนวนคำขอที่รองรับได้ ไม่ใช่ดูเฉพาะขนาด VRAM เพราะ GPU ที่มี VRAM เท่ากันอาจมีประสิทธิภาพแตกต่างกัน

การเชื่อมต่อ Multi-GPU

สำหรับโมเดลขนาดใหญ่ อาจต้องใช้ GPU หลายใบ ควรตรวจสอบ

• PCIe Lane
• NVLink หรือเทคโนโลยีเชื่อมต่อ GPU
• ความเร็ว Network กรณีแยกหลายเครื่อง
• Power Supply
• ระบบระบายความร้อน
• พื้นที่ติดตั้ง GPU ภายใน Rack

สถาปัตยกรรม Server สำหรับ AI ควรพิจารณา GPU Memory, CPU RAM, NVMe, จำนวนและความเร็ว Network รวมถึง Topology ระหว่าง GPU ด้วย

5. กำหนดสเปก CPU และ RAM

แม้ GPU จะเป็นหัวใจของงาน AI แต่ CPU และ RAM ก็มีผลต่อความเสถียรของระบบ โดยเฉพาะงาน RAG, การประมวลผลเอกสาร และการให้บริการหลายผู้ใช้

CPU

เลือก CPU ตามลักษณะงานดังนี้

• AI Inference ขนาดเล็ก: CPU 8–16 คอร์
• ระบบ RAG และ API หลายบริการ: CPU 16–32 คอร์
• งานเตรียมข้อมูลหรือประมวลผลเอกสารจำนวนมาก: CPU 32 คอร์ขึ้นไป
• งาน Training หรือ Multi-GPU: เลือก CPU ที่มี PCIe Lane เพียงพอและไม่เป็นคอขวดของ GPU

RAM

RAM ควรมีมากกว่าขนาดโมเดลที่โหลดในระบบ และต้องเผื่อระบบปฏิบัติการ ฐานข้อมูล Vector Database, Cache และ Container

แนวทางเริ่มต้น:

• Server AI ขนาดเล็ก: RAM 32–64 GB
• Chatbot หรือ RAG สำหรับองค์กร: RAM 64–128 GB
• Multi-Model หรือข้อมูลจำนวนมาก: RAM 128–256 GB ขึ้นไป
• งาน Training และข้อมูลขนาดใหญ่: พิจารณา RAM 256 GB ขึ้นไปตาม Dataset

หากใช้ระบบ Vector Database หรือเก็บ Embedding จำนวนมาก ควรเพิ่ม RAM และใช้ NVMe SSD เพื่อให้การค้นคืนข้อมูลรวดเร็วขึ้น

6. ประมาณพื้นที่จัดเก็บข้อมูล

พื้นที่ Storage ไม่ได้ใช้แค่เก็บโมเดล แต่ยังใช้เก็บ Dataset, Log, Cache, Embedding และ Backup

ควรแบ่งพื้นที่อย่างน้อยเป็น

• ระบบปฏิบัติการและโปรแกรม: SSD หรือ NVMe ขนาด 500 GB–1 TB
• โมเดล AI: 1–4 TB ตามจำนวนและขนาดโมเดล
• Dataset และเอกสาร: 2 TB ขึ้นไปตามปริมาณข้อมูล
• Log และผลลัพธ์: ควรมีพื้นที่แยกหรือกำหนดนโยบายลบข้อมูลอัตโนมัติ
• Backup: ควรจัดเก็บไว้นอกเครื่องหรือใช้ Storage แยก

NVMe SSD เหมาะกับงานที่ต้องโหลดโมเดลและอ่านข้อมูลจำนวนมาก ส่วนระบบที่ต้องการความปลอดภัยควรใช้ RAID และมีแผนสำรองข้อมูลอย่างชัดเจน

7. ตัวอย่างสเปก Server ตามจำนวนผู้ใช้

ตารางนี้เป็นแนวทางเริ่มต้น ไม่ใช่ค่าตายตัว ควรทดสอบด้วย Workload จริงก่อนสั่งซื้อ Server

8. เผื่อทรัพยากรและทดสอบก่อนใช้งานจริง

ไม่ควรออกแบบ Server ให้ทำงานเต็ม 100% ตลอดเวลา ควรเผื่อทรัพยากรสำหรับช่วงที่มีผู้ใช้เพิ่มขึ้นหรือมีคำขอที่ยาวกว่าปกติ โดยทั่วไปควรเผื่อ GPU Memory, RAM และ Storage ประมาณ 20–30% ตามความเหมาะสม

การทดสอบควรวัดค่าเหล่านี้

• Time to First Token หรือเวลาจนเริ่มแสดงคำตอบ
• Tokens per Second
• จำนวนคำขอสูงสุดต่อนาที
• GPU Utilization
• VRAM Usage
• CPU และ RAM Usage
• Error Rate
• Response Time ช่วง Peak
• ค่าใช้จ่ายต่อคำขอหรือค่าบริการต่อ Token

หากใช้งานบน Kubernetes สามารถกำหนด GPU เป็นทรัพยากรที่จัดสรรให้ Container ได้ โดยต้องติดตั้ง Driver และ Device Plugin ของผู้ผลิตก่อน จากนั้นจึงกำหนด GPU ในส่วน Limits ของ Pod วิธีนี้ช่วยจัดการหลายบริการและกำหนดโหนดที่เหมาะสมกับ GPU แต่ละรุ่นได้

สรุปวิธีคำนวณสเปก Server สำหรับ AI

การเลือก Server AI ที่เหมาะสมควรเริ่มจากการตอบคำถาม 5 ข้อ ได้แก่

1. ใช้โมเดลขนาดกี่พารามิเตอร์ และใช้ Precision แบบใด
2. ต้องรองรับผู้ใช้พร้อมกันกี่คน
3. แต่ละคำขอมี Input และ Output ยาวประมาณกี่ Token
4. ต้องการความเร็วในการตอบกลับระดับใด
5. มีแผนเพิ่มจำนวนผู้ใช้หรือโมเดลในอนาคตหรือไม่

จากนั้นจึงคำนวณ GPU VRAM, CPU, RAM, Storage และระบบ Network ให้สอดคล้องกัน การเลือกสเปกที่ดีไม่จำเป็นต้องเป็น Server ที่ใหญ่ที่สุด แต่ควรเป็น Server ที่ให้ประสิทธิภาพเพียงพอ มีพื้นที่สำรอง และขยายระบบได้ง่าย

หากต้องการคำแนะนำในการเลือก Server สำหรับ AI, GPU Server, Server สำหรับ LLM หรือระบบ RAG สามารถติดต่อทีมงาน 2beshop.com เพื่อช่วยวิเคราะห์ลักษณะงาน จำนวนผู้ใช้ และงบประมาณ พร้อมจัดสเปกให้เหมาะกับการใช้งานจริงก่อนลงทุน

• สนใจสอบถามข้อมูลเพิ่มเติมหรือซื้ออุปกณ์ IT คลิกเลย
• ซื้อสินค้าผ่าน Application รับส่วนลดเพิ่ม คลิกเลย
• LINE: @2beshop
• โทร 02-1186767