Server AI āļŠāļģāļŦāļĢāļąāļāļāļāļāđāļāļĢāđāļāļĒ āđāļĨāļ·āļāļāļŠāđāļāļāļāļĒāđāļēāļāđāļĢāđāļŦāđāļāļļāđāļĄāļāđāļēāđāļĨāļ°āļāļĒāļēāļĒāđāļāđ āļāļ·āļāļāļēāļĢāļāļāļāđāļāļāļāļąāđāļ CPU, GPU, RAM, Storage āđāļĨāļ° Network āđāļŦāđāļŠāļāļāļāļĨāđāļāļāļāļąāļāļāļēāļ AI āļāļĢāļīāļāđāļāļāļāļāđāļāļĢ āļāļĢāđāļāļĄāļĢāļāļāļĢāļąāļāļāļēāļĢāļāļĒāļēāļĒāđāļāļāļāļēāļāļāđāļāļĒāđāļĄāđāļāđāļāļāđāļāļĨāļĩāđāļĒāļāļĢāļ°āļāļāđāļŦāļĄāđāļāļąāđāļāļŦāļĄāļ āđāļāļ·āđāļāļŦāļēāļāļĩāđāļāļ°āļāđāļ§āļĒāđāļŦāđāļāļąāđāļāļāļĩāļĄ IT āđāļĨāļ°āļāļđāđāļāļĢāļīāļŦāļēāļĢāļ§āļēāļāđāļāļāļāļ·āđāļ Server AI āđāļāđāļāļļāđāļĄāļāđāļēāđāļĨāļ°āđāļŦāļĄāļēāļ°āļāļąāļāļāļļāļĢāļāļīāļāđāļāļĒ
āļāļģāđāļĄāļāļāļāđāļāļĢāđāļāļĒāļāļķāļāļāļ§āļĢāđāļĢāļīāđāļĄāļāļēāļ âServer AIâ āļāļĩāđāļ§āļēāļāļŠāđāļāļāļĄāļēāļāļĩāļāļąāđāļāđāļāđāđāļĢāļ
āļŦāļĨāļēāļĒāļāļāļāđāļāļĢāđāļāļĒāđāļĢāļīāđāļĄāļāļāļĨāļāļāđāļāđ AI āļāđāļēāļ Cloud āđāļāđāđāļĄāļ·āđāļāđāļāđāļāļĢāļīāļāđāļāļĢāļ°āļāļąāļāđāļāļĢāđāļāļāļāđāļāļļāļĢāļāļīāļ āđāļāđāļ Chatbot, Recommendation, Document AI āļŦāļĢāļ·āļ Generative AI āđāļāļāļāļāđāļāļĢ āļāđāļāļāļļāļ Cloud, āļāđāļāļāļģāļāļąāļāļāđāļēāļāļāđāļāļĄāļđāļĨāđāļĨāļ° Compliance āļĄāļąāļāļāļģāđāļŦāđāļāđāļāļāļŦāļąāļāļāļĨāļąāļāļĄāļēāļĄāļāļ AI Server āļ āļēāļĒāđāļāļāļāļāđāļāļĢ
āļāļēāļĢāļĨāļāļāļļāļ Server AI āļāļĩāđāļāļāļāđāļāļāļŠāđāļāļāđāļāđāļāļĩ āļĄāļĩāļāđāļāļāļĩāļŠāļģāļāļąāļ āđāļāđāļ
- āļāļ§āļāļāļļāļĄ āļāđāļāļāļļāļāļĢāļ°āļĒāļ°āļĒāļēāļ§ āđāļāđāļāļĩāļāļ§āđāļē āļāđāļēāļĒāđāļāđāļāđāļāļīāļāļĨāļāļāļļāļ (CAPEX) āđāļāļāļāđāļēāđāļāđāļāđāļēāļĒāļĢāļēāļĒāđāļāļ·āļāļ (OPEX) āļāļēāļ Cloud
- āļāļ§āļāļāļļāļĄ āļāđāļāļĄāļđāļĨāļŠāļģāļāļąāļ āđāļŦāđāļāļĒāļđāđāđāļ Data Center āļāļāļāļāļāļāđāļāļĢ āļĨāļāļāļ§āļēāļĄāđāļŠāļĩāđāļĒāļāļāđāļēāļ PDPA āđāļĨāļ°āļāļāļŦāļĄāļēāļĒāļāļļāļāļŠāļēāļŦāļāļĢāļĢāļĄ
- āļāļāļāđāļāļāđāļŦāđ āļāļĒāļēāļĒāđāļāļīāđāļĄ GPU, RAM, Storage āđāļāđ āđāļĄāļ·āđāļāļāļĩāļĄ AI āđāļāļāļķāđāļāđāļĨāļ°āđāļĄāđāļāļĨāđāļŦāļāđāļāļķāđāļ āđāļāļĒāđāļĄāđāļāđāļāļāļāļ·āđāļāđāļŦāļĄāđāļĒāļāđāļāđāļ
āļāļąāļāļāļąāđāļāđāļāļāļĒāđāļāļāļāļāļāļāđāļāļĢāđāļāļĒāļāļ·āļ âāđāļĨāļ·āļāļāļŠāđāļāļ Server AI āļāļĒāđāļēāļāđāļĢāđāļŦāđāļāļļāđāļĄāļāļąāđāļāđāļāđāļ§āļąāļāļāļĩāđ āđāļĨāļ°āđāļĄāđāļāļąāļāđāļĄāļ·āđāļāđāļāđāļāļēāļāļāļĢāļīāļāđāļāļāļĩāļ 2â3 āļāļĩāļāđāļēāļāļŦāļāđāļēâ
1. āđāļĢāļīāđāļĄāļāļēāļāđāļāđāļēāđāļ Use Case AI āđāļĨāļ°āļāļāļēāļāļāļēāļāđāļāļāļāļāđāļāļĢ
āļāđāļāļāđāļĨāļ·āļāļāļŠāđāļāļ Server AI āļŠāļģāļŦāļĢāļąāļāļāļāļāđāļāļĢāđāļāļĒ āļāļļāļāđāļĢāļīāđāļĄāļāđāļāļāļĩāđāļŠāļģāļāļąāļāļāļ·āļāļāļēāļĢāļāļīāļĒāļēāļĄ âāļāļēāļ AIâ āļāļĩāđāļāđāļāļāļĢāļāļāļĢāļąāļāđāļŦāđāļāļąāļāđāļāļ
āļāļģāļāļēāļĄāļāļĩāđāļāļ§āļĢāļāļēāļĄāļāļąāļ§āđāļāļāđāļĨāļ°āļāļĩāļĄ AI / Data Science:
- āđāļāđāļāļēāļ AI āđāļāļāđāļŦāļāđāļāđāļāļŦāļĨāļąāļ
- Chatbot / Virtual Assistant āļ āļēāļĐāļēāđāļāļĒ
- Recommendation / Personalization āļāļāđāļ§āđāļāļŦāļĢāļ·āļ Mobile App
- Forecast āļĒāļāļāļāļēāļĒ / Demand / Risk
- Computer Vision (āļāļĨāđāļāļāļ§āļāļāļĢāļāļīāļ, QC āđāļĢāļāļāļēāļ)
- Generative AI / LLM āđāļāđāļ āļēāļĒāđāļāļāļāļāđāļāļĢ (āđāļāļāļŠāļēāļĢ, āļāļđāđāļĄāļ·āļ, āļĢāļ°āļāļāļāļāļāļāļģāļāļēāļĄ)
- āđāļāđāļ Training āđāļĄāđāļāļĨāđāļŦāļĄāđ āļŦāļĢāļ·āļāđāļāđāļ Inference / āļĢāļąāļāđāļĄāđāļāļĨāļāļĩāđāđāļāļĢāļāļĄāļēāđāļĨāđāļ§ āđāļāđāļāļŦāļĨāļąāļ
- āļāļģāļāļ§āļāļāļđāđāđāļāđ / āļĢāļ°āļāļāļāļĩāđāļāļ°āđāļĢāļĩāļĒāļāđāļāđ AI āļāļĢāđāļāļĄāļāļąāļ (Concurrent Users / Concurrent Requests) āļāļĢāļ°āļĄāļēāļāđāļāđāļēāđāļŦāļĢāđ
- āđāļāļāļĩāļ 1â3 āļāļĩ āļāļ°āļĄāļĩāđāļāļĢāđāļāļāļāđ AI āđāļāļīāđāļĄāļāļĩāļāļāļĩāđ Use Case āđāļĨāļ°āļāļēāļāļ§āđāļēāļāļāļēāļ Dataset āļāļ°āđāļāļāļķāđāļāđāļāđāđāļŦāļ
āļāļģāļāļāļāđāļŦāļĨāđāļēāļāļĩāđāļāļ°āļŠāđāļāļāļĨāđāļāļĒāļāļĢāļāļāđāļāļŠāđāļāļ GPU, RAM, Storage āđāļĨāļ° Network āļāļĩāđāļāļ§āļĢāđāļĨāļ·āļāļ
2. āđāļĨāļ·āļāļāļŠāđāļāļ CPU āđāļŦāđāļāļāļŠāļģāļŦāļĢāļąāļāļāļēāļĢāļāļĢāļ°āļŠāļēāļāļāļēāļāđāļĨāļ°āļāļēāļāđāļŠāļĢāļīāļĄ
āđāļĄāđāļŦāļąāļ§āđāļāļāļāļ Server AI āļāļ°āđāļāđāļ GPU āđāļāđ CPU āļĒāļąāļāļŠāļģāļāļąāļāļĄāļēāļāļŠāļģāļŦāļĢāļąāļāļāļēāļ orchestrate āļĢāļ°āļāļ, āđāļāļĢāļĩāļĒāļĄāļāđāļāļĄāļđāļĨ, āļĢāļąāļāļāļĢāļīāļāļēāļĢāđāļŠāļĢāļīāļĄ āđāļĨāļ°āļĢāļāļāļĢāļąāļāļāļđāđāđāļāđāļāļēāļāļāļģāļāļ§āļāļĄāļēāļ
āđāļāļ§āļāļēāļāđāļĨāļ·āļāļ CPU āļŠāļģāļŦāļĢāļąāļ Server AI āđāļāļāļāļāđāļāļĢāđāļāļĒ
- āđāļĨāļ·āļāļ CPU āđāļāļ Multi-core / Multi-thread āļāļģāļāļ§āļāļāļāļĢāđāļŠāļđāļ
- āļĢāļ°āļāļąāļāđāļĢāļīāđāļĄāļāđāļāļŠāļģāļŦāļĢāļąāļāļāļĩāļĄ AI āļāļāļēāļāđāļĨāđāļ: 8â32 Cores
- āļāļĩāļĄ AI / Data Science āļāļĩāđāļĄāļĩāļŦāļĨāļēāļĒāđāļāļĢāđāļāļāļāđāļĢāļąāļāļāļĢāđāļāļĄāļāļąāļ: 32â64 Cores āļŦāļĢāļ·āļāļĄāļēāļāļāļ§āđāļē
- āđāļĨāļ·āļāļ CPU āļāļĩāđāļĢāļāļāļĢāļąāļ PCIe lanes āļāļģāļāļ§āļāļĄāļēāļ āđāļāļ·āđāļāļĢāļāļāļĢāļąāļāļāļēāļĢāđāļ GPU āļŦāļĨāļēāļĒāđāļāđāļĨāļ° NVMe SSD āļāļ§āļēāļĄāđāļĢāđāļ§āļŠāļđāļāđāļāļĒāđāļĄāđāđāļāļīāļāļāļāļāļ§āļ
- āđāļāđāļ CPU Server-grade (āđāļāđāļ Intel Xeon, AMD EPYC) āđāļāļ·āđāļāđāļŦāđāļĢāļāļāļĢāļąāļ RAM āļāļģāļāļ§āļāļĄāļēāļ, ECC, āđāļĨāļ°āļĄāļĩāđāļŠāļāļĩāļĒāļĢāļ āļēāļāļĢāļ°āļĒāļ°āļĒāļēāļ§āđāļ Data Center
āļŠāļģāļŦāļĢāļąāļāļāļāļāđāļāļĢāđāļāļĒāļāļĩāđāđāļĢāļīāđāļĄāļāļēāļ 1â2 GPU āđāļāļ·āđāļāļĢāļāļāļĢāļąāļāļāļēāļ AI āļ āļēāļĒāđāļāđāļĨāļ° PoC āļāļēāļĢāđāļāđ CPU 16â32 Cores āļāļ·āļāļ§āđāļēāđāļāļĩāļĒāļāļāļāđāļĨāļ°āļāļļāđāļĄāļāđāļēāļāđāļāļĢāļēāļāļēāđāļāļāđāļ§āļāđāļĢāļ āđāļĨāļ°āļĒāļąāļāļŠāļēāļĄāļēāļĢāļāļāļĒāļēāļĒāđāļāļīāđāļĄāđāļāđāđāļāļĢāļļāđāļāļāļĩāđāļĢāļāļāļĢāļąāļ Socket āđāļāļĩāļĒāļ§āļāļąāļ
3. āđāļĨāļ·āļāļ GPU āđāļŦāđāļāļĢāļāļāļąāļāļāļāļīāļāļāļēāļ AI āđāļĨāļ°āđāļĄāđāļāļĨāļāļĩāđāđāļāđ
GPU āļāļ·āļāļŦāļąāļ§āđāļāļāļāļ Server AI āđāļāļĢāļēāļ°āđāļāđāļāļŠāđāļ§āļāļāļĩāđāļāļĢāļ°āļĄāļ§āļĨāļāļĨāđāļĄāđāļāļĨ Deep Learning, LLM āđāļĨāļ°āļāļēāļ Generative AI āļāļąāđāļāļŦāļĨāļēāļĒ āļāļēāļĢāđāļĨāļ·āļāļāļāļīāļāļāļēāļāļāļģāđāļŦāđāđāļĄāđāļāļĨāļĢāļąāļāļāđāļē, āļĢāļąāļāđāļĄāđāđāļāđ, āļŦāļĢāļ·āļāļŠāļīāđāļāđāļāļĨāļ·āļāļāļāļāļāļĢāļ°āļĄāļēāļāđāļāļĒāđāļĄāđāļāļģāđāļāđāļ
āļāļąāļāļāļąāļĒāļŦāļĨāļąāļāđāļāļāļēāļĢāđāļĨāļ·āļāļ GPU āļŠāļģāļŦāļĢāļąāļāļāļāļāđāļāļĢāđāļāļĒ
- āļāļģāļāļ§āļ GPU āļāđāļāđāļāļĢāļ·āđāļāļ
- āđāļĢāļīāđāļĄāļāđāļāļŠāļģāļŦāļĢāļąāļāļāļĩāļĄ AI / Data Science: 1â2 āđāļ āđāļāļĩāļĒāļāļāļāļŠāļģāļŦāļĢāļąāļ Training āđāļĄāđāļāļĨāļāļāļēāļāļāļĨāļēāļ, Fine-tune LLM āļāļāļēāļāđāļĨāđāļâāļāļĨāļēāļ āđāļĨāļ°āļāļēāļ Vision āļāļąāđāļ§āđāļ
- āļāļēāļ Generative AI / LLM āļāļāļēāļāđāļŦāļāđ āļŦāļĢāļ·āļ AI Platform āđāļāđāļāļąāđāļāļāļāļāđāļāļĢ: 4â8 āđāļāļĢāļ°āļāļąāļ Data Center GPU (āđāļāđāļ NVIDIA A100/H100) āđāļāļ·āđāļāļĢāļąāļāđāļĄāđāļāļĨāļĢāļ°āļāļąāļ 70B+ āļāļĒāđāļēāļāļĄāļĩāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļ
- VRAM (āļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģāļāļ GPU)
- āļāļēāļ Vision / NLP āļāļāļēāļāļāļĨāļēāļ: 24â48GB āļāđāļ GPU āļĄāļąāļāđāļāļĩāļĒāļāļāļāļŠāļģāļŦāļĢāļąāļāļāļēāļĢāđāļāļĢāļāđāļĨāļ° Infer āđāļĄāđāļāļĨāļāļąāđāļ§āđāļ
- āļāļēāļ LLM / Generative AI āđāļĄāđāļāļĨāđāļŦāļāđ (āđāļāđāļ 70B parameters): VRAM 80GB āļāļķāđāļāđāļāļāđāļ GPU āđāļāđāļāļĄāļēāļāļĢāļāļēāļāļŠāļģāļŦāļĢāļąāļāļāļēāļĢāđāļāļĢāļāļāļĢāļīāļāļāļąāļ
- āđāļāļāđāļāđāļĨāļĒāļĩāđāļāļ·āđāļāļĄāļāđāļāļĢāļ°āļŦāļ§āđāļēāļ GPU
- āļŠāļģāļŦāļĢāļąāļāļāļēāļ LLM āļāļāļēāļāđāļŦāļāđ āđāļāļ°āļāļģāđāļŦāđāđāļĨāļ·āļāļ GPU āļāļĩāđāļĢāļāļāļĢāļąāļ NVLink / NVSwitch āđāļāļ·āđāļāđāļŦāđāļŦāļĨāļēāļĒ GPU āļāļģāļāļēāļāļĢāđāļ§āļĄāļāļąāļāđāļŦāļĄāļ·āļāļ GPU āđāļāđāļŦāļāđāđāļāđāļāļĩāļĒāļ§ āļāđāļ§āļĒāđāļŦāđ Training āđāļĄāđāļāļĨāļāļāļēāļāđāļŦāļāđāļāļģāđāļāđāļĨāļ·āđāļāđāļĨāļ°āļĄāļĩāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļ
āļŠāļģāļŦāļĢāļąāļāļāļāļāđāļāļĢāđāļāļĒāļāļĩāđāđāļĢāļīāđāļĄāļāļēāļ Use Case āļ āļēāļĒāđāļ āđāļāđāļ Chatbot āļŦāļĢāļ·āļ Document AI āļāļĩāđāđāļĄāđāđāļāđāđāļāđāđāļĄāđāļāļĨāļĢāļ°āļāļąāļāđāļŦāļāđāļŠāļļāļ āļāļēāļĢāđāļĢāļīāđāļĄāļāļēāļ AI Server 1â2 GPU āļĢāļ°āļāļąāļ 24â48GB VRAM āļāļ°āđāļŦāđāļāļ§āļēāļĄāļāļļāđāļĄāļāđāļēāđāļĨāļ°āļĨāļāļāļ§āļēāļĄāđāļŠāļĩāđāļĒāļāđāļāļāļēāļĢāļĨāļāļāļļāļāđāļāļīāļāļāļ§āļēāļĄāļāļģāđāļāđāļ āđāļĨāđāļ§āļāļķāļāļ§āļēāļāđāļāļāđāļāļ·āđāļāļāļ·āđāļāļāļĩāđāđāļĨāļ°āđāļāļāđāļēāļŠāļģāļŦāļĢāļąāļāļāļēāļĢāđāļāļīāđāļĄ GPU āđāļāļāļāļēāļāļ
4. āļāļāļāđāļāļ RAM āđāļŦāđāļŠāļąāļĄāļāļąāļāļāđāļāļąāļ VRAM āđāļĨāļ° Dataset
āļāļēāļ AI āļāļĩāđāđāļāđ GPU āļŦāļāļąāļāđ āļĄāļąāļāļāđāļāļāļāļēāļĢ RAM āļĢāļ°āļāļāļŠāļđāļāļāļēāļĄāđāļāļāđāļ§āļĒ āđāļāļĢāļēāļ°āļāđāļāļĄāļđāļĨāļāđāļāļāļāđāļēāļ RAM āļāđāļāļāļāļķāļāļāļđāļāļŠāđāļāļāđāļāđāļāļĒāļąāļ GPU
āđāļāļ§āļāļēāļ sizing RAM āļŠāļģāļŦāļĢāļąāļ Server AI
- āļāļāļāđāļēāļĒāđ āļāļĩāđāđāļāđāļāļąāļāđāļāļĢāđāļŦāļĨāļēāļĒāļāļ·āļ:
- RAM āļĢāļ°āļāļāļāļĒāđāļēāļāļāđāļāļĒ 2 āđāļāđāļēāļāļāļ VRAM āļĢāļ§āļĄāļāļąāđāļāļŦāļĄāļāđāļāđāļāļĢāļ·āđāļāļ
- āđāļāđāļ āļāđāļēāļĄāļĩ GPU āļĢāļ§āļĄ VRAM 96GB (2 āđāļ āđāļāļĨāļ° 48GB) āļāļ§āļĢāļĄāļĩ RAM āļĢāļ°āļāļāļāļĒāđāļēāļāļāđāļāļĒ 192GB āđāļāļ·āđāļāđāļĄāđāđāļŦāđāļĢāļ°āļāļāđāļāļīāļāļāļāļāļ§āļāđāļāļāļēāļĢāđāļŦāļĨāļ Dataset āđāļĨāļ°āļĢāļąāļāļāļĢāļīāļāļēāļĢāđāļŠāļĢāļīāļĄ
- āļŠāļģāļŦāļĢāļąāļ AI Server āđāļāļĢāļ°āļāļąāļāļāļāļāđāļāļĢ āļāļĩāđāļĢāļāļāļĢāļąāļāļāļēāļ Training āđāļĨāļ°āļŦāļĨāļēāļĒāļāļĢāļīāļāļēāļĢāļāļĢāđāļāļĄāļāļąāļ
- āļĢāļ°āļāļąāļāđāļĢāļīāđāļĄāļāđāļāļāļ§āļĢāļĄāļĩ RAM 128â256GB āđāļĨāļ°āđāļĨāļ·āļāļ Server āļāļĩāđāļĢāļāļāļĢāļąāļāļāļēāļĢāđāļāļīāđāļĄāđāļāđāļ 512GBâ1TB āđāļĄāļ·āđāļāļāļĩāļĄāđāļāļīāļāđāļ
- āđāļĨāļ·āļāļ RAM āđāļāļ ECC (Error-Correcting) āđāļāļ·āđāļāļāļ§āļēāļĄāđāļŠāļāļĩāļĒāļĢ āđāļĨāļ°āļĢāļāļāļĢāļąāļāļāļēāļĢāļāļģāļāļēāļ 24Ã7 āđāļ Data Center
āļŠāļģāļŦāļĢāļąāļāļāļāļāđāļāļĢāđāļāļĒāļāļĩāđāļāļģāļĨāļąāļāļŠāļĢāđāļēāļāļāļĩāļĄ AI āļāļāļēāļāđāļĨāđāļāđāļĨāļ°āđāļāđ Dataset āļĒāļąāļāđāļĄāđāđāļŦāļāđ āļāļēāļĢāđāļĢāļīāđāļĄāļāļēāļ 128â256GB RAM āļāļ°āđāļŦāđāļāļ§āļēāļĄāļŠāļĄāļāļļāļĨāļĢāļ°āļŦāļ§āđāļēāļāļāđāļāļāļļāļāđāļĨāļ°āļāļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļāđāļāļāļēāļĢāļĢāļāļāļĢāļąāļāļāļēāļāļāļĢāļīāļ
5. āļ§āļēāļāļŠāđāļāļ Storage: āđāļĢāđāļ§, āļāļļāđāļĒāļāļ° āđāļĨāļ°āļāļĒāļēāļĒāđāļāđ
āļāļēāļ AI / Data Science āđāļāļāļāļāđāļāļĢāļāđāļāļāļāļąāļāļāļēāļĢ Dataset, Model Checkpoint, Log, Feature Store āđāļĨāļ°āļāđāļāļĄāļđāļĨāļāļļāļĢāļāļīāļāļāļēāļāļŦāļĨāļēāļĒāļĢāļ°āļāļ āļāļģāđāļŦāđāļāļēāļĢāļ§āļēāļāļŠāđāļāļ Storage āđāļāđāļāđāļĢāļ·āđāļāļāļŠāļģāļāļąāļāđāļĄāđāđāļāđ GPU
āđāļāļ§āļāļīāļāļŦāļĨāļąāļāđāļāļāļēāļĢāļāļāļāđāļāļ Storage āļŠāļģāļŦāļĢāļąāļ Server AI
- āđāļĒāļ Storage āļŠāļģāļŦāļĢāļąāļāļĢāļ°āļāļāļāļāļīāļāļąāļāļīāļāļēāļĢ (OS) + Software āļāļāļāļāļēāļ Storage āļŠāļģāļŦāļĢāļąāļ Dataset āđāļĨāļ° Model
- āđāļāđ SSD / NVMe āđāļĢāđāļ§āļŠāļđāļāļŠāļģāļŦāļĢāļąāļ OS āđāļĨāļ° AI Framework āđāļāļ·āđāļāđāļŦāđāļĢāļ°āļāļāļāļāļāļŠāļāļāļāđāļĢāđāļ§āđāļĨāļ° Restart āđāļĢāđāļ§
- āđāļāđ NVMe āļŦāļĨāļēāļĒāļĨāļđāļāļŠāļģāļŦāļĢāļąāļ Working Dataset, Checkpoint, Log āđāļāļ·āđāļāđāļŦāđ Training / Inference āļāđāļēāļāđāļāļĩāļĒāļāđāļāđāđāļĢāđāļ§
- āļāļāļāđāļāļāļĢāļ°āļāļ Storage āđāļŦāđāļĢāļāļāļĢāļąāļ 3 āļĄāļīāļāļī
- Performance: NVMe SSD āđāļāļ·āđāļāļĢāļāļāļĢāļąāļ I/O āļŦāļāļąāļāđāļĨāļ°āļāļēāļ AI āđāļāļ real-time
- Capacity & Scalability: āđāļāđ Storage āđāļāļ Scale-out āļŦāļĢāļ·āļ Object Storage (āđāļāđāļ Data Lake) āđāļāļ·āđāļāļĢāļāļāļĢāļąāļāļāļēāļĢāđāļāļīāļāđāļāļāļāļāļāđāļāļĄāļđāļĨāđāļāļāļāļēāļāļ
- Cost Optimization (Tiered Storage): āđāļĒāļ Hot Data (Dataset āļāļĩāđāđāļāđāļāļēāļāļāđāļāļĒ) āđāļāļāļĒāļđāđāļāļ SSD āđāļĨāļ°āđāļāđāļ Cold Data āļāļ HDD āļŦāļĢāļ·āļ Storage āļĢāļēāļāļēāļāđāļ TB āļāđāļģāļāļ§āđāļē
āļŠāļģāļŦāļĢāļąāļāļāļāļāđāļāļĢāđāļāļĒāļāļĩāđāđāļĢāļīāđāļĄāđāļāđāļāļēāļ AI āļ āļēāļĒāđāļ āļāļēāļĢāļĄāļĩ NVMe SSD 4â10TB āļŠāļģāļŦāļĢāļąāļ Dataset āđāļĨāļ°āđāļĄāđāļāļĨ āļāļāđāļāļĢāļ·āđāļāļ AI Server āđāļĢāļ āļāļ°āđāļāļĩāļĒāļāļāļāļŠāļģāļŦāļĢāļąāļ PoC āđāļĨāļ°āļāļēāļāļāļāļēāļāļāļĨāļēāļ āđāļĨāļ°āļāļ§āļĢāļāļāļāđāļāļāđāļāļ·āđāļāļĄāļāļąāļ Data Lake / Storage āļāļĨāļēāļāļāļāļāļāļāļāđāļāļĢ āđāļĄāļ·āđāļ Dataset āđāļāļīāļāđāļ
6. Network āļ āļēāļĒāđāļ Data Center: āļāļļāļāļāļĩāđāļĄāļąāļāļāļđāļāļĄāļāļāļāđāļēāļĄāđāļāđāļŠāļģāļāļąāļāļĄāļēāļ
āļŦāļĨāļēāļĒāļāļāļāđāļāļĢāđāļāļĒāļĨāļāļāļļāļ GPU āđāļĢāļ, RAM āđāļĒāļāļ°, Storage āļāļĩ āđāļāđāļāļĨāđāļāļĒāđāļŦāđ Network āļ āļēāļĒāđāļāļĒāļąāļāļāļĒāļđāđāļāļĩāđ 1GbE āļŠāđāļāļāļĨāđāļŦāđ AI Server āđāļĄāđāļŠāļēāļĄāļēāļĢāļāļāļķāļāļāđāļāļĄāļđāļĨāļāļēāļ Storage āļŦāļĢāļ·āļ Data Warehouse āđāļāđāđāļĢāđāļ§āļāļēāļĄāļāļĩāđāļāļ§āļĢ
āđāļāļ§āļāļēāļāļāļāļāđāļāļ Network āļŠāļģāļŦāļĢāļąāļ AI Server
- āđāļāđ Network āļ āļēāļĒāđāļ Data Center āļāļ§āļēāļĄāđāļĢāđāļ§ āļāļĒāđāļēāļāļāđāļāļĒ 10GbE āđāļāļ·āđāļāđāļāļ·āđāļāļĄ AI Server āļāļąāļ Storage āļŦāļĢāļ·āļ Data Node
- āļāļēāļ Generative AI / LLM āļāļāļēāļāđāļŦāļāđ āđāļĨāļ° GPU Cluster āļŦāļĨāļēāļĒāđāļāļĢāļ·āđāļāļ
- āļāļīāļāļēāļĢāļāļēāđāļāđ 25â100GbE āļŦāļĢāļ·āļ InfiniBand āļŠāļģāļŦāļĢāļąāļāļāļēāļĢāđāļāļ·āđāļāļĄāļāđāļāļĢāļ°āļŦāļ§āđāļēāļ Node āđāļĨāļ° Storage āđāļāļ·āđāļāļĨāļ Latency āđāļĨāļ°āđāļāļīāđāļĄ Throughput
- āļ§āļēāļāļŠāļāļēāļāļąāļāļĒāļāļĢāļĢāļĄ Network āđāļĒāļ Segment āļŠāļģāļŦāļĢāļąāļ AI Workload
- āļĨāļāļāļĨāļāļĢāļ°āļāļāļāđāļāļĢāļ°āļāļāđāļāļīāļĄ āđāļĨāļ°āļāļ§āļāļāļļāļĄ Security, Monitoring āđāļāđāļāđāļēāļĒ
- āđāļāļīāđāļĄāļĢāļ°āļāļ Visibility / Monitoring āđāļŦāđāļāļĩāļĄ IT āđāļŦāđāļāļāļēāļĢāđāļāđāļāļēāļ AI āđāļāļ Real-time āđāļāđāļ āđāļāļĢāđāļĢāļĩāļĒāļāđāļāđāđāļĄāđāļāļĨāđāļŦāļ, āļāļēāļāļĢāļ°āļāļāđāļ, āļĄāļĩāļāļēāļĢāđāļāđāļāļēāļāļāļīāļāļāļāļāļīāļŦāļĢāļ·āļāđāļĄāđ
āļāļēāļĢāļĨāļāļāļļāļāđāļāļīāđāļĄāļāļēāļ 1GbE āđāļāđāļ 10GbE āļŠāļģāļŦāļĢāļąāļāļāļēāļĢāđāļāļ·āđāļāļĄ AI Server āļāļąāļ Storage āļĄāļąāļāđāļŦāđāļāļĨāļĨāļąāļāļāđāļāđāļēāļāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļŠāļđāļāļĄāļēāļāđāļĄāļ·āđāļāđāļāļĩāļĒāļāļāļąāļāļāđāļāļāļļāļāļāļĩāđāđāļāļīāđāļĄāļāļķāđāļ āđāļĨāļ°āļāđāļ§āļĒāđāļŦāđāļāļēāļĢāđāļāđāļāļēāļ AI āđāļāļāļāļāđāļāļĢāđāļāļĒāļĨāļ·āđāļāļāļķāđāļāļāļĒāđāļēāļāļāļąāļāđāļāļ
7. āļĄāļāļāļ āļēāļāļĢāļ§āļĄ AI Infrastructure: āđāļĄāđāđāļāđāđāļāđāļŠāđāļāļāđāļāļĢāļ·āđāļāļāđāļāļĩāļĒāļ§
Server AI āļāļĩāđāļāļĩāđāļĄāđāđāļāđāđāļāđāļŠāđāļāļāđāļĢāļ āđāļāđāļāđāļāļ āđāļāļ·āđāļāļĄāļāđāļāđāļĨāļ°āļāļģāļāļēāļāļĢāđāļ§āļĄāļāļąāļāļĢāļ°āļāļāđāļāļīāļĄāđāļĨāļ° Cloud āļāļĒāđāļēāļāļĄāļĩāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāđāļĨāļ°āļāļĨāļāļāļ āļąāļĒ
āļāļāļāđāļāļĢāļ°āļāļāļāļāļĩāđāļāļāļāđāļāļĢāđāļāļĒāļāļ§āļĢāļāļīāļāļāļ§āļāļāļđāđāļāļąāļāļāļēāļĢāđāļĨāļ·āļāļ Server AI:
- āļĢāļ°āļāļ Container / Kubernetes āļŠāļģāļŦāļĢāļąāļāļĢāļąāļāđāļĄāđāļāļĨ AI āļŦāļĨāļēāļĒāļāļąāļ§āđāļĨāļ°āļāļĢāļīāļŦāļēāļĢāļāļĢāļąāļāļĒāļēāļāļĢ GPU āļāļĒāđāļēāļāļĄāļĩāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļ
- āļĢāļ°āļāļ MLOps āļŠāļģāļŦāļĢāļąāļāļāļąāļāļāļēāļĢāļ§āļāļāļĢāļāļĩāļ§āļīāļāđāļĄāđāļāļĨ āļāļąāđāļāđāļāđ Training, Deploy, Monitor, Retrain
- āļĢāļ°āļāļ Data Integration / Data Pipeline āļāđāļēāļ API, Data Lake āļŦāļĢāļ·āļ Data Warehouse āđāļāļ·āđāļāđāļŦāđ AI āđāļāđāļēāļāļķāļāļāđāļāļĄāļđāļĨāļāļļāļĢāļāļīāļāđāļāđāļŠāļ°āļāļ§āļāđāļĨāļ°āļāļĨāļāļāļ āļąāļĒ
- āļĢāļ°āļāļ Security & Compliance āļāļąāđāļāļāļąāđāļ Network, Access Control, Logging āđāļĨāļ°āļāļēāļĢāļāļąāļāļāļēāļĢ PDPA āđāļĄāļ·āđāļāđāļāđāļāđāļāļĄāļđāļĨāļĨāļđāļāļāđāļēāđāļāļāļēāļ AI
8. āđāļāļ§āļāļēāļāđāļĨāļ·āļāļāļŠāđāļāļāđāļŦāđ âāļāļļāđāļĄāļāđāļēāđāļĨāļ°āļāļĒāļēāļĒāđāļāđâ āļŠāļģāļŦāļĢāļąāļāļāļāļāđāļāļĢāđāļāļĒ
āđāļāļ·āđāļāļāļāļāđāļāļāļĒāđ âāļāļļāđāļĄāļāđāļēāđāļĨāļ°āļāļĒāļēāļĒāđāļāđâ āļŠāļģāļŦāļĢāļąāļāļāļāļāđāļāļĢāđāļāļĒāļāļĩāđāļāļģāļĨāļąāļāđāļĢāļīāđāļĄāļĨāļāļāļļāļāđāļ Server AI āļŠāļēāļĄāļēāļĢāļāđāļāđāđāļāļ§āļāļēāļāļāļąāļāļāļĩāđ:
- āđāļĢāļīāđāļĄāļāļēāļ 1â2 GPU Server
- āđāļŦāļĄāļēāļ°āļŠāļģāļŦāļĢāļąāļāļāļĩāļĄ AI / Data Science āļāļĩāđāđāļĢāļīāđāļĄāļāļēāļ PoC āđāļĨāļ°āļāļēāļāļ āļēāļĒāđāļ
- āđāļĨāļ·āļāļ GPU āļĢāļ°āļāļąāļāļāļāļāđāļāļĢāļāļĩāđāļĄāļĩ VRAM 24â48GB āļāđāļāđāļ āđāļāļ·āđāļāļĢāļāļāļĢāļąāļāļāļēāļ Vision, NLP, āđāļĨāļ° Fine-tune āđāļĄāđāļāļĨāļ āļēāļĐāļēāđāļāļĒāļāļāļēāļāļāļĨāļēāļ
- āđāļĨāļ·āļāļāđāļāļĢāļ·āđāļāļāļāļĩāđāļĢāļāļāļĢāļąāļāļāļēāļĢ āđāļāļīāđāļĄ GPU, RAM, Storage āđāļāđāđāļāļāļāļēāļāļ
- āđāļāļ·āđāļāļŠāļĨāđāļāļ PCIe āđāļŦāđāļĢāļāļāļĢāļąāļ GPU āđāļāļīāđāļĄ
- āđāļĨāļ·āļāļāđāļĄāļāļāļāļĢāđāļāļāļĩāđāļĢāļāļāļĢāļąāļ RAM āđāļāđāļāļĒāđāļēāļāļāđāļāļĒ 512GBâ1TB
- āļāļāļāđāļāļ Cooling āđāļĨāļ° Power āđāļŦāđāļĢāļāļāļĢāļąāļāđāļŦāļĨāļ GPU āļĨāđāļ§āļāļŦāļāđāļē
- āļŦāļēāļāļĄāļĩāđāļāļāļāļ°āđāļāļīāđāļĄ GPU āļāļĩāļ 2â4 āđāļāđāļāļāļāļēāļāļ āļāđāļāļāđāļāļ·āđāļāļāļģāļĨāļąāļāđāļ, UPS, āđāļĨāļ°āļĢāļ°āļāļāļĢāļ°āļāļēāļĒāļāļ§āļēāļĄāļĢāđāļāļāđāļāļŦāđāļāļ Server āđāļŦāđāļāļĢāđāļāļĄ
- āđāļāļ·āđāļāļĄāļāđāļāļāļąāļ Data Lake / Storage āļāļĨāļēāļ āļāļāļāļāļāļāđāļāļĢ āđāļāļ·āđāļāđāļĄāđāđāļŦāđ AI Server āļāļĨāļēāļĒāđāļāđāļāđāļāļēāļ°āļāđāļāļĄāļđāļĨ
- āđāļāđ Network 10GbE āļāļķāđāļāđāļāđāļĨāļ°āļ§āļēāļ Data Pipeline āđāļŦāđāļāļĩāļāļąāđāļāđāļāđāđāļĢāļ
āđāļĄāđāļāļĨāļāļēāļĢāļĨāļāļāļļāļāđāļāļāļāļĩāđāļāđāļ§āļĒāđāļŦāđāļāļāļāđāļāļĢāđāļāļĒāđāļĢāļīāđāļĄāđāļāđāļāļēāļ AI āđāļāđāļāļĢāļīāļāđāļāļĒāđāļĄāđāļāļģāđāļāđāļāļāđāļāļāļĨāļāļāļļāļ GPU āļĢāļ°āļāļąāļāļŠāļđāļāļŠāļļāļāļāļąāđāļāđāļāđāļ§āļąāļāđāļĢāļ āđāļāđāļĒāļąāļāđāļāļīāļāļāļēāļāđāļŦāđāļāļĒāļēāļĒāļāļķāđāļāđāļāđāļāļĢāļ°āļāļąāļ Generative AI / LLM āļāļāļēāļāđāļŦāļāđāđāļĄāļ·āđāļāļāļĢāđāļāļĄāļāļąāđāļāļāđāļēāļ Use Case āđāļĨāļ°āļāļāļāļĢāļ°āļĄāļēāļ
9. āļŠāļĢāļļāļāļŠāļģāļŦāļĢāļąāļāļāļđāđāļāļĢāļīāļŦāļēāļĢāđāļĨāļ°āļāļĩāļĄ IT: āļāđāļēāļ§āļāđāļāđāļāđāļāļāļēāļĢāđāļĨāļ·āļāļ Server AI
āđāļĄāļ·āđāļāļāđāļēāļāļĄāļēāļāļķāļāļāļĢāļāļāļĩāđ āļāļļāļāļāļ°āđāļŦāđāļāļ āļēāļāđāļĨāđāļ§āļ§āđāļē Server AI āļŠāļģāļŦāļĢāļąāļāļāļāļāđāļāļĢāđāļāļĒ āđāļĄāđāđāļāđāđāļāđāļāļēāļĢāđāļĨāļ·āļāļāđāļāļĢāļ·āđāļāļāđāļĢāļāļāļĩāđāļŠāļļāļ āđāļāđāļāļ·āļāļāļēāļĢāļāļāļāđāļāļāļŠāđāļāļāđāļŦāđāđāļŦāļĄāļēāļ°āļāļąāļāļāļēāļāļāļĢāļīāļ, āļāļāļāļĢāļ°āļĄāļēāļ, āđāļĨāļ°āđāļāļāļāļĒāļēāļĒāđāļāļāļāļēāļāļ
āļāļĢāļ°āđāļāđāļāļāļĩāđāļāļ§āļĢāļāļģāļāļĨāļąāļāđāļāļāļļāļĒāđāļāļāļāļāđāļāļĢāļāļ·āļ:
- āđāļĢāļēāļĄāļĩ Use Case AI āļāļ°āđāļĢāļāđāļēāļāļ§āļąāļāļāļĩāđ āđāļĨāļ°āļāļĩāļ 2â3 āļāļĩāļāđāļēāļāļŦāļāđāļē
- āļāļāļēāļ Dataset, āļāļģāļāļ§āļāļāļđāđāđāļāđ āđāļĨāļ°āļāđāļāļāļģāļāļąāļāļāđāļēāļ PDPA / Compliance āđāļāđāļāļāļĒāđāļēāļāđāļĢ
- āļāđāļāļāļāļēāļĢāđāļĢāļīāđāļĄāļāļēāļ AI Server āļāļāļēāļāđāļĨāđāļāđāļāļ·āđāļāļāļāļĨāļāļ āļŦāļĢāļ·āļāļāļĢāđāļāļĄāļāđāļēāļ§āļŠāļđāđ Generative AI / LLM āļĢāļ°āļāļąāļāļāļāļāđāļāļĢ
āļŦāļēāļāļāļāļāđāļāļĢāļāļāļāļāļļāļāļāļģāļĨāļąāļāļĄāļāļāļŦāļēāđāļāļ§āļāļēāļāļāļāļāđāļāļāļŠāđāļāļ Server AI āļŠāļģāļŦāļĢāļąāļāļāļāļāđāļāļĢāđāļāļĒ āđāļŦāđāļāļļāđāļĄāļāđāļēāđāļĨāļ°āļāļĒāļēāļĒāđāļāđ āļāļĩāļĄāļāļēāļ 2beshop.com āļŠāļēāļĄāļēāļĢāļāļāđāļ§āļĒāļ§āļīāđāļāļĢāļēāļ°āļŦāđ Use Case, āļāļāļāđāļāļāļŠāđāļāļ āđāļĨāļ°āđāļŦāđāļāļģāļāļĢāļķāļāļĐāļēāļāđāļēāļāđāļāļĢāļāļŠāļĢāđāļēāļāļāļ·āđāļāļāļēāļ AI āļāļąāđāļāļāļąāđāļ Server āđāļĨāļ° Cloud āļāļēāļĄāļāļĢāļīāļāļāļāļļāļĢāļāļīāļāđāļāļĒāļāļĒāđāļēāļāļāļĢāļāļ§āļāļāļĢ
Call-to-Action (CTA):
- āļŦāļēāļāļāļļāļāđāļāđāļāļāļđāđāļāļĢāļīāļŦāļēāļĢāļŦāļĢāļ·āļāļāļĩāļĄ IT āļāļĩāđāļāļģāļĨāļąāļāđāļĢāļīāđāļĄāļ§āļēāļāđāļāļāļĨāļāļāļļāļ Server AI āļĨāļāļāļĢāļ§āļāļĢāļ§āļĄ Use Case āđāļĨāļ°āļāđāļāļĄāļđāļĨāļĢāļ°āļāļāđāļāļīāļĄ āđāļĨāđāļ§āļāļīāļāļāđāļāļāļđāđāđāļāļĩāđāļĒāļ§āļāļēāļāđāļāļ·āđāļāļāđāļ§āļĒāļāļāļāđāļāļāļŠāđāļāļāļāļĩāđāđāļŦāļĄāļēāļ°āļŠāļĄāļāļąāļāļāļāļāđāļāļĢāļāļāļāļāļļāļ
- āđāļāđāļāļāļąāļāļāļāļāļ§āļēāļĄāļāļĩāđāđāļŦāđāļāļĩāļĄ AI / Data Science āđāļĨāļ°āļāđāļēāļĒāđāļāļāđāļāđāļĨāļĒāļĩ āđāļāļ·āđāļāđāļāđāđāļāđāļāđāļāļ§āļāļēāļāļĢāđāļ§āļĄāļāļąāļāđāļāļāļēāļĢāļāļąāļāļŠāļīāļāđāļ
āļāļīāļāļāđāļāđāļĢāļēāļāđāļēāļāđāļ§āđāļāđāļāļāđāđāļĨāļ°āļŠāļāļāļāļēāļĄāļŠāļīāļāļāđāļēāđāļāđāđāļĨāļĒ
- āļŠāļāđāļāļŠāļāļāļāļēāļĄāđāļĨāļ°āļāļ·āđāļ Server  āļāļĨāļīāļāđāļĨāļĒ
- āļāļ·āđāļāļŠāļīāļāļāđāļēāļāđāļēāļ Application āļĢāļąāļāļŠāđāļ§āļāļĨāļāđāļāļīāđāļĄ āļāļĨāļīāļāđāļĨāļĒ
- LINE: @2beshop
- āđāļāļĢ 02-1186767