āļ§āļīāļāļĩāđāļĨāļ·āļāļ GPU Server āļŠāļģāļŦāļĢāļąāļ Generative AI āđāļĨāļ°āļāļēāļāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļāđāļāļĄāļđāļĨ āđāļŦāđāđāļŦāļĄāļēāļ°āļāļąāļāļāļļāļĢāļāļīāļ
Generative AI, Large Language Model (LLM) āđāļĨāļ°āļāļēāļāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļāđāļāļĄāļđāļĨāļāļāļēāļāđāļŦāļāđāļāļģāļĨāļąāļāđāļāđāļēāļĄāļēāļĄāļĩāļāļāļāļēāļāđāļāļŦāļĨāļēāļĒāļāļļāļĢāļāļīāļ āļāļąāđāļāđāļāđāđāļāļāļāļāļ āļĢāļ°āļāļāļ§āļīāđāļāļĢāļēāļ°āļŦāđāđāļāļāļŠāļēāļĢ āļāļēāļĢāļŠāļĢāđāļēāļāļ āļēāļāđāļĨāļ°āļ§āļīāļāļĩāđāļ āđāļāļāļāļāļķāļāļāļēāļĢāļāļąāļāļāļēāđāļĄāđāļāļĨ AI āđāļāļāļēāļ°āļāļēāļ āđāļāđāļāļēāļĢāđāļĨāļ·āļāļ GPU Server āļŠāļģāļŦāļĢāļąāļ Generative AI āđāļĄāđāđāļāđāļāļīāļāļēāļĢāļāļēāđāļāļĩāļĒāļāļāļģāļāļ§āļ GPU āļŦāļĢāļ·āļāļāļ§āļēāļĄāđāļĢāļāļāļāļāļāļīāļāđāļāđāļēāļāļąāđāļ āđāļāļĢāļēāļ°āļĒāļąāļāđāļāļĩāđāļĒāļ§āļāđāļāļāļāļąāļāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģ āļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļēāļĢāļĢāļąāļāļŠāđāļāļāđāļāļĄāļđāļĨ āļĢāļ°āļāļāļĢāļ°āļāļēāļĒāļāļ§āļēāļĄāļĢāđāļāļ āļāļ·āđāļāļāļĩāđāļāļąāļāđāļāđāļ āđāļĨāļ°āļāđāļāļāļļāļāļāļēāļĢāđāļāđāļāļēāļāļĢāļ°āļĒāļ°āļĒāļēāļ§
āļāļāļāļ§āļēāļĄāļāļĩāđāļāļ°āļāđāļ§āļĒāļ§āļēāļāđāļāļ§āļāļēāļāđāļĨāļ·āļāļ GPU Server āđāļŦāđāđāļŦāļĄāļēāļ°āļāļąāļāļĨāļąāļāļĐāļāļ°āļāļēāļ āļāļāļāļĢāļ°āļĄāļēāļ āđāļĨāļ°āđāļāđāļēāļŦāļĄāļēāļĒāļāļāļāļāļāļāđāļāļĢ āđāļāļ·āđāļāđāļŦāđāđāļāđāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļĩāđāļāļļāđāļĄāļāđāļēāđāļĨāļ°āļĢāļāļāļĢāļąāļāļāļēāļĢāļāļĒāļēāļĒāļĢāļ°āļāļāđāļāļāļāļēāļāļ
GPU Server āļāļ·āļāļāļ°āđāļĢ āđāļĨāļ°āđāļŦāļĄāļēāļ°āļāļąāļāļāļēāļāļāļĢāļ°āđāļ āļāđāļ
GPU Server āļāļ·āļāđāļāļīāļĢāđāļāđāļ§āļāļĢāđāļāļĩāđāļāļīāļāļāļąāđāļāļŦāļāđāļ§āļĒāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļāļĢāļēāļāļīāļ āļŦāļĢāļ·āļ GPU āđāļāļ·āđāļāđāļĢāđāļāļāļēāļĢāļāļģāļāļ§āļāđāļāļāļāļāļēāļ āļāļķāđāļāđāļŦāļĄāļēāļ°āļāļąāļāļāļēāļāļāļĩāđāļāđāļāļāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļāđāļāļĄāļđāļĨāļāļģāļāļ§āļāļĄāļēāļāļāļĢāđāļāļĄāļāļąāļ āđāļāļĒāđāļāļāļēāļ°āļāļēāļĢāļāļģāļāļ§āļāļāļēāļāļāļāļīāļāļĻāļēāļŠāļāļĢāđāđāļĨāļ°āđāļĄāļāļĢāļīāļāļāđāļāļĩāđāļāļāđāļāļāļēāļ AI āđāļĨāļ° Machine Learning
āļāļąāļ§āļāļĒāđāļēāļāļāļēāļāļāļĩāđāđāļŦāļĄāļēāļ°āļāļąāļ GPU Server āđāļāđāđāļāđ
- āļāļēāļĢāļāļķāļāļŠāļāļāđāļĄāđāļāļĨ Generative AI āđāļĨāļ° LLM
- āļāļēāļĢāļāļģ Inference āļŦāļĢāļ·āļāđāļŦāđāđāļĄāđāļāļĨ AI āļāļāļāļŠāļāļāļāļāļđāđāđāļāđāļāļēāļ
- āļāļēāļĢāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļ āļēāļ āļ§āļīāļāļĩāđāļ āđāļĨāļ°āđāļŠāļĩāļĒāļ
- āļāļēāļĢāļ§āļīāđāļāļĢāļēāļ°āļŦāđāļāđāļāļĄāļđāļĨāļāļāļēāļāđāļŦāļāđ
- āļāļēāļĢāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļāđāļāļĄāļđāļĨāļāļēāļāļ§āļīāļāļĒāļēāļĻāļēāļŠāļāļĢāđāđāļĨāļ°āļ§āļīāļĻāļ§āļāļĢāļĢāļĄ
- āļāļēāļĢāđāļĢāļāđāļāļāļĢāđ 3D āđāļĨāļ°āļāļēāļāļāļģāļĨāļāļāļŠāļāļēāļāļāļēāļĢāļāđ
- āļāļēāļĢāļāļąāļāļāļēāđāļĄāđāļāļĨ Computer Vision
- āļāļēāļĢāļ§āļīāđāļāļĢāļēāļ°āļŦāđāļāđāļāļĄāļđāļĨāđāļāļāđāļĢāļĩāļĒāļĨāđāļāļĄāđ
āđāļāļĢāļ°āļāļāļĢāļ°āļāļąāļāļāļāļāđāļāļĢ āđāļāļīāļĢāđāļāđāļ§āļāļĢāđāļāļĩāđāļāļāļāđāļāļāļĄāļēāđāļāļ·āđāļ AI āļāļēāļāļāļīāļāļāļąāđāļ GPU āļŦāļĨāļēāļĒāļāļąāļ§āļĢāđāļ§āļĄāļāļąāļ āđāļāļĒāļĢāļ°āļāļ NVIDIA DGX H100 āļĄāļĩ GPU H100 āļāļģāļāļ§āļ 8 āļāļąāļ§ āđāļĨāļ°āļĄāļĩāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģ GPU āļĢāļ§āļĄ 640 GB āļāļāļ°āļāļĩāđ DGX H200 āļĄāļĩāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģāļĢāļ§āļĄāļŠāļđāļāļāļķāļ 1,128 GB
1. āļāļģāļŦāļāļāļĨāļąāļāļĐāļāļ°āļāļēāļāļāđāļāļāđāļĨāļ·āļāļ GPU Server
āļāļąāđāļāļāļāļāđāļĢāļāļāļ·āļāļāļēāļĢāļ§āļīāđāļāļĢāļēāļ°āļŦāđāļ§āđāļēāļāļļāļĢāļāļīāļāļāđāļāļāļāļēāļĢāđāļāđ GPU Server āđāļāļ·āđāļāļāļģāļāļēāļāđāļ āđāļāļĢāļēāļ°āļāļēāļāđāļāđāļĨāļ°āļāļĢāļ°āđāļ āļāđāļāđāļāļĢāļąāļāļĒāļēāļāļĢāđāļĄāđāđāļāđāļēāļāļąāļ
āļāļēāļ Training
āļāļēāļĢāļāļķāļāļŠāļāļāđāļĄāđāļāļĨāļāđāļāļāđāļāđāļāļĨāļąāļāļāļĢāļ°āļĄāļ§āļĨāļāļĨāđāļĨāļ°āļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģ GPU āļŠāļđāļ āđāļāļĒāđāļāļāļēāļ°āđāļĄāđāļāļĨāļ āļēāļĐāļēāļāļāļēāļāđāļŦāļāđāļŦāļĢāļ·āļāđāļĄāđāļāļĨāļāļĩāđāļĄāļĩāļāļēāļĢāļēāļĄāļīāđāļāļāļĢāđāļāļģāļāļ§āļāļĄāļēāļ āļŦāļēāļāđāļāđāļŦāļĨāļēāļĒ GPU āļāļ§āļĢāļāļīāļāļēāļĢāļāļēāļāļēāļĢāđāļāļ·āđāļāļĄāļāđāļāļĢāļ°āļŦāļ§āđāļēāļ GPU āđāļāđāļ NVLink āđāļāļ·āđāļāđāļŦāđāļāļēāļĢāļŠāđāļāļāđāļāļĄāļđāļĨāļĢāļ°āļŦāļ§āđāļēāļāļāļēāļĢāđāļāļāļģāđāļāđāļĢāļ§āļāđāļĢāđāļ§āļāļķāđāļ
āļāļēāļ Inference
Inference āļāļ·āļāļāļēāļĢāļāļģāđāļĄāđāļāļĨāļāļĩāđāļāļķāļāđāļĨāđāļ§āļĄāļēāđāļāđāļāļēāļāļāļĢāļīāļ āđāļāđāļ āđāļāļāļāļāļ āļĢāļ°āļāļāļŠāļĢāļļāļāđāļāļāļŠāļēāļĢ āļŦāļĢāļ·āļāļĢāļ°āļāļāđāļāļ°āļāļģāļŠāļīāļāļāđāļē āļŠāļīāđāļāļāļĩāđāļāļ§āļĢāļāļīāļāļēāļĢāļāļēāļāļ·āļ
- āļāļģāļāļ§āļāļāļđāđāđāļāđāļāļēāļāļāļĢāđāļāļĄāļāļąāļ
- āļāļ§āļēāļĄāđāļĢāđāļ§āđāļāļāļēāļĢāļāļāļāļŠāļāļāļ
- āļāļĢāļīāļĄāļēāļāļāļģāļāļāļāđāļāļ§āļīāļāļēāļāļĩ
- āļāļāļēāļāļāļāļāđāļĄāđāļāļĨ
- āļāļ§āļēāļĄāļāđāļāļāļāļēāļĢāļāđāļēāļāļāļ§āļēāļĄāļāđāļāđāļāļ·āđāļāļāļāļāļāļĢāļ°āļāļ
āļāļēāļāļāļĢāļāļĩāđāļĄāđāļāļģāđāļāđāļāļāđāļāļāđāļāđ GPU āļĢāļ°āļāļąāļāļŠāļđāļāļŠāļļāļ āļŦāļēāļāđāļĄāđāļāļĨāļĄāļĩāļāļāļēāļāđāļĨāđāļāļŦāļĢāļ·āļāļĄāļĩāļāļēāļĢāļāļģ Quantization āđāļāļ·āđāļāļĨāļāļāļēāļĢāđāļāđāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģ
āļāļēāļāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļāđāļāļĄāļđāļĨ
āļāļēāļ Data Processing āļĄāļąāļāđāļāļĩāđāļĒāļ§āļāđāļāļāļāļąāļāļāļēāļĢāļāđāļēāļāļāđāļāļĄāļđāļĨāļāļēāļ Storage āļāļēāļĢāđāļāļĨāļāļāđāļāļĄāļđāļĨ āđāļĨāļ°āļāļēāļĢāļāļģāļāļ§āļāļāļģāļāļ§āļāļĄāļēāļ āļāļķāļāļāđāļāļāļāļīāļāļēāļĢāļāļēāļāļąāđāļ GPU, CPU, RAM āđāļĨāļ°āļāļ§āļēāļĄāđāļĢāđāļ§āļāļāļāļĢāļ°āļāļāļāļąāļāđāļāđāļāļāđāļāļĄāļđāļĨ āđāļĄāđāļāļ§āļĢāđāļĨāļ·āļāļ GPU āļāļĩāđāđāļĢāļāļĄāļēāļāđāļāđāđāļāđ Storage āļŦāļĢāļ·āļ CPU āļāļĩāđāļāļģāđāļŦāđāđāļāļīāļāļāļāļāļ§āļ
2. āļāļīāļāļēāļĢāļāļē GPU Memory āđāļāđāļāļāļąāļāļāļąāļāđāļĢāļ
āļŦāļāļķāđāļāđāļāļāļąāļāļāļąāļĒāļŠāļģāļāļąāļāļāļāļāļāļēāļĢāđāļĨāļ·āļāļ GPU Server āļŠāļģāļŦāļĢāļąāļ Generative AI āļāļ·āļ GPU Memory āļŦāļĢāļ·āļ VRAM āđāļāļĢāļēāļ°āđāļĄāđāļāļĨ āļāđāļāļĄāļđāļĨāļĢāļ°āļŦāļ§āđāļēāļāļāļēāļĢāļāļĢāļ°āļĄāļ§āļĨāļāļĨ āđāļĨāļ°āļāļĨāļĨāļąāļāļāđāļāļąāđāļ§āļāļĢāļēāļ§āļāļ°āļāļđāļāļāļąāļāđāļāđāļāđāļ§āđāđāļāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģāļāļĩāđ
āļŦāļēāļ GPU Memory āđāļĄāđāđāļāļĩāļĒāļāļāļ āļāļēāļāđāļāļīāļāļāļąāļāļŦāļēāđāļĄāđāļāļĨāđāļĄāđāļŠāļēāļĄāļēāļĢāļāđāļŦāļĨāļāđāļāđ āļĢāļ°āļāļāļāļģāļāļēāļāļāđāļē āļŦāļĢāļ·āļāļāļģāđāļāđāļāļāđāļāļāļĒāđāļēāļĒāļāđāļāļĄāļđāļĨāļāļēāļāļŠāđāļ§āļāđāļāļĒāļąāļ RAM āļāļķāđāļāļĄāļĩāļāļ§āļēāļĄāđāļĢāđāļ§āļāđāļģāļāļ§āđāļē
āđāļāļ§āļāļēāļāđāļāļ·āđāļāļāļāđāļāđāļāļāļēāļĢāļāļĢāļ°āđāļĄāļīāļāļĄāļĩāļāļąāļāļāļĩāđ
- āđāļĄāđāļāļĨāļāļāļēāļāđāļĨāđāļāđāļĨāļ°āļāļēāļāļāļāļĨāļāļ āļāļēāļāđāļāđ GPU Memory āļĢāļ°āļāļąāļ 16â24 GB
- āļāļēāļ Inference āļāļāļāđāļĄāđāļāļĨāļāļāļēāļāļāļĨāļēāļ āļāļēāļāļāđāļāļāđāļāđ 24â48 GB
- āļāļēāļāđāļĄāđāļāļĨāļāļāļēāļāđāļŦāļāđāļŦāļĢāļ·āļāļāļēāļĢāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļŦāļĨāļēāļĒāļāļģāļāļāļāļĢāđāļāļĄāļāļąāļ āļāļēāļāļāđāļāļāđāļāđ 80 GB āļāļķāđāļāđāļ
- āļāļēāļ Training āđāļĄāđāļāļĨāļāļāļēāļāđāļŦāļāđāļāļ§āļĢāļāļīāļāļēāļĢāļāļē GPU āļŦāļĨāļēāļĒāļāļąāļ§āđāļĨāļ°āļĢāļ°āļāļāđāļāļ·āđāļāļĄāļāđāļāļāļ§āļēāļĄāđāļĢāđāļ§āļŠāļđāļ
NVIDIA H200 āļĄāļĩāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģ HBM3e āļāļāļēāļ 141 GB āļāđāļ GPU āđāļĨāļ°āđāļāļāļāđāļ§āļīāļāļāđāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģ 4.8 TB/s āļāļķāļāđāļŦāļĄāļēāļ°āļāļąāļāļāļēāļ Generative AI āđāļĨāļ° LLM āļāļĩāđāļāđāļāļāļāļēāļĢāļāļąāļāļāļēāļĢāļāđāļāļĄāļđāļĨāļāļāļēāļāđāļŦāļāđ
āļāļĒāđāļēāļāđāļĢāļāđāļāļēāļĄ āđāļĄāđāļāļ§āļĢāļāļđāđāļāļāļēāļ°āļāļ§āļēāļĄāļāļļ GPU Memory āļāļ§āļĢāļāļđāđāļāļāļāđāļ§āļīāļāļāđ āļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļāļ Tensor Core āđāļĨāļ°āļāļēāļĢāļĢāļāļāļĢāļąāļāļāļāļīāļāļāđāļāļĄāļđāļĨ āđāļāđāļ FP16, BF16, FP8 āļŦāļĢāļ·āļ INT8 āļĢāđāļ§āļĄāļāđāļ§āļĒ
3. āđāļĨāļ·āļāļāļāļģāļāļ§āļ GPU āđāļŦāđāļŠāļāļāļāļĨāđāļāļāļāļąāļāļāļĢāļīāļĄāļēāļāļāļēāļ
āļāļēāļĢāļĄāļĩ GPU āļŦāļĨāļēāļĒāļāļąāļ§āđāļĄāđāđāļāđāļŦāļĄāļēāļĒāļāļ§āļēāļĄāļ§āđāļēāļāļ°āļāļģāđāļŦāđāļāļļāļāļāļēāļāđāļĢāđāļ§āļāļķāđāļāđāļŠāļĄāļāđāļ āļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļĢāļīāļāļāļķāđāļāļāļĒāļđāđāļāļąāļāļ§āđāļēāđāļāļĢāđāļāļĢāļĄāđāļĨāļ°āđāļāļĢāļĄāđāļ§āļīāļĢāđāļāļĢāļāļāļĢāļąāļāļāļēāļĢāļāļģāļāļēāļāđāļāļ Multi-GPU āļŦāļĢāļ·āļāđāļĄāđ
āđāļāđ GPU āđāļāļĩāļĒāļ§
āđāļŦāļĄāļēāļ°āļŠāļģāļŦāļĢāļąāļ
- āļāļēāļĢāļāļāļĨāļāļāđāļĄāđāļāļĨ
- āļāļēāļĢāļāļģ Inference āļāļĢāļīāļĄāļēāļāđāļĄāđāļŠāļđāļ
- āļāļēāļĢāļāļąāļāļāļēāđāļĨāļ°āļāļāļŠāļāļāļĢāļ°āļāļ
- āļāļēāļ Computer Vision āļāļāļēāļāđāļĨāđāļ
- āļāļēāļĢāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļāđāļāļĄāļđāļĨāđāļāđāļāļāđāļ§āļāđāļ§āļĨāļē
āđāļāđ GPU āļŦāļĨāļēāļĒāļāļąāļ§
āđāļŦāļĄāļēāļ°āļŠāļģāļŦāļĢāļąāļ
- āļāļēāļĢāļāļķāļāđāļĄāđāļāļĨāļāļāļēāļāđāļŦāļāđ
- āļāļēāļĢāđāļŦāđāļāļĢāļīāļāļēāļĢ AI āļāļģāļāļ§āļāļĄāļēāļ
- āļāļēāļĢāļāļģāļāļēāļāđāļāļāļāļāļēāļ
- āļāļēāļĢāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļāđāļāļĄāļđāļĨāļāļĢāļīāļĄāļēāļāļŠāļđāļ
- āļĢāļ°āļāļāļāļĩāđāļāđāļāļāļāļēāļĢāļāļ§āļēāļĄāļāļĢāđāļāļĄāđāļāđāļāļēāļāđāļĨāļ°āļĢāļāļāļĢāļąāļāļāļēāļĢāļāļĒāļēāļĒāļāļąāļ§
āļŦāļēāļāđāļĨāļ·āļāļāđāļāļīāļĢāđāļāđāļ§āļāļĢāđāđāļāļ 4 āļŦāļĢāļ·āļ 8 GPU āļāļ§āļĢāļāļĢāļ§āļāļŠāļāļāļĢāļ°āļāļāđāļāļāđāļē āļāļāļēāļāļāļąāļ§āđāļāļĢāļ·āđāļāļ āđāļĨāļ°āļāļēāļĢāļĢāļ°āļāļēāļĒāļāļ§āļēāļĄāļĢāđāļāļāļāđāļ§āļĒ āđāļāļĢāļēāļ° GPU āļĢāļ°āļāļąāļ Data Center āļāļēāļāđāļāđāļāļĨāļąāļāļāļēāļāļŠāļđāļ āļāļąāļ§āļāļĒāđāļēāļāđāļāđāļ NVIDIA H200 SXM āļŠāļēāļĄāļēāļĢāļāļĄāļĩāļāđāļē TDP āļŠāļđāļāļŠāļļāļāļāļķāļ 700 āļ§āļąāļāļāđāļāđāļ GPU āļāļķāđāļāļāļĒāļđāđāļāļąāļāļāļēāļĢāļāļąāđāļāļāđāļēāđāļĨāļ°āļĢāļļāđāļāļāļĩāđāđāļĨāļ·āļāļ
4. āļāļĢāļ§āļāļŠāļāļāļāļēāļĢāđāļāļ·āđāļāļĄāļāđāļāļĢāļ°āļŦāļ§āđāļēāļ GPU
āļŠāļģāļŦāļĢāļąāļāļāļēāļ Generative AI āļāļĩāđāđāļāđ GPU āļŦāļĨāļēāļĒāļāļąāļ§ āļāļēāļĢāļŠāļ·āđāļāļŠāļēāļĢāļĢāļ°āļŦāļ§āđāļēāļ GPU āļĄāļĩāļāļĨāļāđāļāđāļ§āļĨāļēāļāļķāļāļŠāļāļāđāļĨāļ°āļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāđāļāļĒāļĢāļ§āļĄ
āđāļāļāđāļāđāļĨāļĒāļĩāļāļĩāđāļāļ§āļĢāļāļīāļāļēāļĢāļāļē āđāļāđāđāļāđ
- NVIDIA NVLink
- NVSwitch
- PCIe Gen 4 āļŦāļĢāļ·āļ PCIe Gen 5
- InfiniBand
- Ethernet āļāļ§āļēāļĄāđāļĢāđāļ§āļŠāļđāļ
āļĢāļ°āļāļāļāļĩāđāđāļāļ·āđāļāļĄāļāđāļ GPU āļāđāļ§āļĒ NVLink āļŦāļĢāļ·āļ NVSwitch āļāļ°āļāđāļ§āļĒāđāļŦāđ GPU āđāļĨāļāđāļāļĨāļĩāđāļĒāļāļāđāļāļĄāļđāļĨāļāļąāļāđāļāđāļĢāļ§āļāđāļĢāđāļ§āļāļ§āđāļēāđāļāļĢāļāļŠāļĢāđāļēāļāļāļĩāđāļāļķāđāļāļāļē PCIe āđāļāļĩāļĒāļāļāļĒāđāļēāļāđāļāļĩāļĒāļ§ āđāļāļĒāļĢāļ°āļāļ DGX H100/H200 āđāļāđ NVLink āļĢāļļāđāļāļāļĩāđāļĄāļĩāđāļāļāļāđāļ§āļīāļāļāđ GPU-to-GPU āļŠāļđāļāļāļķāļ 900 GB/s
āļŦāļēāļāđāļāđāļāļāļēāļ Training āđāļāļāļāļĢāļ°āļāļēāļĒāļŦāļĨāļēāļĒāđāļāļīāļĢāđāļāđāļ§āļāļĢāđ āļāļ§āļĢāđāļŦāđāļāļ§āļēāļĄāļŠāļģāļāļąāļāļāļąāļ Network Fabric āđāļāđāļāļāļīāđāļĻāļĐ āđāļāļĢāļēāļ°āļāļēāļĢāļŠāđāļāļāđāļāļĄāļđāļĨāļĢāļ°āļŦāļ§āđāļēāļāđāļŦāļāļāļāļĩāđāļāđāļēāļāļēāļāļāļģāđāļŦāđ GPU āļāđāļāļāļĢāļāđāļĨāļ°āđāļĄāđāļŠāļēāļĄāļēāļĢāļāđāļāđāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāđāļāđāđāļāđāļĄāļāļĩāđ
5. āļāļĒāđāļēāļĄāļāļāļāđāļēāļĄ CPU āđāļĨāļ° RAM
āđāļĄāđ GPU āļāļ°āđāļāđāļāļŦāļąāļ§āđāļāļŠāļģāļāļąāļāļāļāļ GPU Server āđāļāđ CPU āđāļĨāļ° RAM āļāđāļĄāļĩāļāļāļāļēāļāļāđāļāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāđāļāļĒāļĢāļ§āļĄ āđāļāđāļ āļāļēāļĢāđāļāļĢāļĩāļĒāļĄāļāđāļāļĄāļđāļĨ āļāļēāļĢāđāļŦāļĨāļāđāļāļĨāđ āļāļēāļĢāļāļ§āļāļāļļāļĄāļāļēāļ āđāļĨāļ°āļāļēāļĢāļŠāđāļāļāđāļāļĄāļđāļĨāđāļāđāļē GPU
āļāļ§āļĢāļāļīāļāļēāļĢāļāļēāļāļāļāđāļāļĢāļ°āļāļāļāđāļŦāļĨāđāļēāļāļĩāđ
- āļāļģāļāļ§āļ Core āđāļĨāļ° Thread āļāļāļ CPU
- āļĢāļāļāļĢāļąāļ PCIe Lane āđāļāļĩāļĒāļāļāļāļŦāļĢāļ·āļāđāļĄāđ
- āļāļ§āļēāļĄāļāļļ RAM
- āđāļāļāļāđāļ§āļīāļāļāđāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģ
- āļāļēāļĢāļĢāļāļāļĢāļąāļ NUMA
- āļāļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļāđāļāļāļēāļĢāļāļĒāļēāļĒ RAM āđāļāļāļāļēāļāļ
āļŠāļģāļŦāļĢāļąāļāļĢāļ°āļāļ AI āļĢāļ°āļāļąāļāļŠāļđāļ NVIDIA āļĢāļ°āļāļļāļāđāļāļāļģāļŦāļāļāļĢāļ°āļāļ HGX H100/H200 āļ§āđāļēāļāļ§āļĢāļĄāļĩ System Memory āļāļĒāđāļēāļāļāđāļāļĒ 1.5 TB āđāļĨāļ°āļĄāļĩāđāļāļāļāđāļ§āļīāļāļāđāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģāļāļąāđāļāļāđāļģ 500 GB/s āđāļāļāļēāļāļĢāļđāļāđāļāļāļāļēāļĢāļāļīāļāļāļąāđāļ[4]
āđāļāļāļēāļāļāļāļīāļāļąāļāļī āļāļēāļāļāļāļĨāļāļāļāļēāļāđāļĢāļīāđāļĄāļāđāļāļāđāļ§āļĒ RAM 64â128 GB āļāļāļ°āļāļĩāđāļāļēāļāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļāđāļāļĄāļđāļĨāļāļāļēāļāđāļŦāļāđāļŦāļĢāļ·āļāļāļēāļĢāđāļāđāļāļēāļāļŦāļĨāļēāļĒ GPU āļāļēāļāļāđāļāļāđāļāđ RAM āļŦāļĨāļēāļĒāļĢāđāļāļĒ GB āļŦāļĢāļ·āļāļĄāļēāļāļāļ§āđāļēāļāļąāđāļ
6. āđāļĨāļ·āļāļ Storage āđāļŦāđāđāļŦāļĄāļēāļ°āļāļąāļāļāđāļāļĄāļđāļĨ AI
āđāļĄāđāļāļĨ AI āđāļĨāļ°āļāļļāļāļāđāļāļĄāļđāļĨāļāļēāļāļĄāļĩāļāļāļēāļāđāļŦāļāđ āļāļēāļĢāđāļāđāļŪāļēāļĢāđāļāļāļīāļŠāļāđāļāļĩāđāļĄāļĩāļāļ§āļēāļĄāđāļĢāđāļ§āļāđāļģāļāļēāļāļāļģāđāļŦāđ GPU āļāđāļāļāļĢāļāļāđāļāļĄāļđāļĨ āļŠāđāļāļāļĨāđāļŦāđāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļĨāļāļĨāļ
āļāļąāļ§āđāļĨāļ·āļāļ Storage āļāļĩāđāđāļŦāļĄāļēāļ°āļāļąāļ GPU Server āđāļāđāđāļāđ
- NVMe SSD āļŠāļģāļŦāļĢāļąāļāļĢāļ°āļāļāļāļāļīāļāļąāļāļīāļāļēāļĢāđāļĨāļ° Cache
- NVMe Enterprise āļŠāļģāļŦāļĢāļąāļ Dataset āđāļĨāļ°āđāļĄāđāļāļĨ
- RAID āđāļāļ·āđāļāđāļāļīāđāļĄāļāļ§āļēāļĄāļāļĨāļāļāļ āļąāļĒāđāļĨāļ°āļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļ
- Network Storage āļŠāļģāļŦāļĢāļąāļāļāļļāļāļāđāļāļĄāļđāļĨāļāļĩāđāđāļāđāļĢāđāļ§āļĄāļāļąāļ
- Object Storage āļŠāļģāļŦāļĢāļąāļāļāđāļāļĄāļđāļĨāļāļģāļāļ§āļāļĄāļēāļāđāļĨāļ°āļāļēāļĢāļŠāļģāļĢāļāļāļāđāļāļĄāļđāļĨ
āļāļ§āļĢāđāļĒāļāļāļ·āđāļāļāļĩāđāļāļąāļāđāļāđāļāđāļāđāļāļŠāđāļ§āļāļāđāļēāļ āđ āđāļāđāļ āļĢāļ°āļāļāļāļāļīāļāļąāļāļīāļāļēāļĢ āļāļ·āđāļāļāļĩāđ Cache āļāđāļāļĄāļđāļĨāļāļķāļāļŠāļāļ āđāļĨāļ°āļāļ·āđāļāļāļĩāđāđāļāđāļāļāļĨāļĨāļąāļāļāđ āđāļāļ·āđāļāđāļŦāđāļāļĢāļīāļŦāļēāļĢāļāļąāļāļāļēāļĢāđāļāđāļāđāļēāļĒāđāļĨāļ°āļĨāļāļāļĨāļāļĢāļ°āļāļāđāļĄāļ·āđāļāļāļ·āđāļāļāļĩāđāđāļāļāļ·āđāļāļāļĩāđāļŦāļāļķāđāļāļĄāļĩāļāļąāļāļŦāļē
7. āļĢāļ°āļāļāļĢāļ°āļāļēāļĒāļāļ§āļēāļĄāļĢāđāļāļāđāļĨāļ°āļāļĨāļąāļāļāļēāļ
GPU Server āļāļĩāđāļĄāļĩ GPU āļŦāļĨāļēāļĒāļāļąāļ§āļŠāļĢāđāļēāļāļāļ§āļēāļĄāļĢāđāļāļāđāļĨāļ°āđāļāđāļāļĨāļąāļāļāļēāļāļŠāļđāļāļāļ§āđāļēāļŠāđāļāļīāļĢāđāļāđāļ§āļāļĢāđāļāļąāđāļ§āđāļ āļāļķāļāļāđāļāļāļāļĢāļ§āļāļŠāļāļ Data Center āļŦāļĢāļ·āļāļŦāđāļāļāđāļāļīāļĢāđāļāđāļ§āļāļĢāđāđāļŦāđāļāļĢāđāļāļĄāļāđāļāļāļāļīāļāļāļąāđāļ
āļŦāļąāļ§āļāđāļāļāļĩāđāļāļ§āļĢāļāļĢāļ§āļāļŠāļāļ āđāļāđāđāļāđ
- āļāļģāļĨāļąāļāđāļāļāļāļ Power Supply
- āļĢāļ°āļāļāđāļāļŠāļģāļĢāļāļāđāļĨāļ° UPS
- āļāļāļēāļ Rack
- Airflow āļ āļēāļĒāđāļāļāļđāđ
- āļĢāļ°āļāļāļāļĢāļąāļāļāļēāļāļēāļĻ
- āļāļļāļāļŦāļ āļđāļĄāļīāđāļĨāļ°āļāļ§āļēāļĄāļāļ·āđāļ
- āđāļŠāļĩāļĒāļāļĢāļāļāļ§āļāļāļēāļāļāļąāļāļĨāļĄ
- āļāļēāļĢāļĢāļāļāļĢāļąāļāļĢāļ°āļāļ Liquid Cooling āđāļāļĢāļļāđāļāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļŠāļđāļ
āļāļēāļĢāļāļĢāļ°āđāļĄāļīāļāđāļāļāļēāļ°āļĢāļēāļāļēāļāļ·āđāļāļāļēāļāļāļģāđāļŦāđāļāđāļāļāļļāļāļāļĢāļīāļāļāļĨāļēāļāđāļāļĨāļ·āđāļāļ āļāļ§āļĢāļĢāļ§āļĄāļāđāļēāđāļ āļāđāļēāļĢāļ°āļāļēāļĒāļāļ§āļēāļĄāļĢāđāļāļ āļāđāļēāļāļģāļĢāļļāļāļĢāļąāļāļĐāļē āđāļĨāļ°āļāđāļēāļĨāļīāļāļŠāļīāļāļāļīāđāļāļāļāļāđāđāļ§āļĢāđāđāļ§āđāđāļāļāļēāļĢāļāļģāļāļ§āļ Total Cost of Ownership āļŦāļĢāļ·āļ TCO āļāđāļ§āļĒ
8. āļĢāļāļāļĢāļąāļāļāļēāļĢāđāļāđāļāđāļāđ GPU āđāļĨāļ°āļāļēāļĢāļāļĒāļēāļĒāļĢāļ°āļāļ
āļŦāļēāļāļāļāļāđāļāļĢāļĄāļĩāļŦāļĨāļēāļĒāļāļĩāļĄāđāļāđāļāļēāļ GPU Server āļāļ§āļĢāđāļĨāļ·āļāļāđāļāļĨāļāļāļāļĢāđāļĄāļāļĩāđāļĢāļāļāļĢāļąāļāļāļēāļĢāļāļąāļāļŠāļĢāļĢ GPU āđāļāđāļ Multi-Instance GPU āļŦāļĢāļ·āļ MIG āđāļāļ·āđāļāđāļāđāļ GPU āļāļāļāđāļāđāļāļŦāļĨāļēāļĒāļāļīāļāļŠāđāļāļāļāđāļŠāļģāļŦāļĢāļąāļāļāļēāļāļāļāļēāļāđāļĨāđāļ āļĢāļ°āļāļāļĨāļąāļāļĐāļāļ°āļāļĩāđāļāđāļ§āļĒāļĨāļāļāļąāļāļŦāļēāļāļēāļĢāļāļāļ GPU āļāļąāđāļāđāļ āļāļąāđāļāļāļĩāđāļāļēāļāđāļāđāļāļĢāļąāļāļĒāļēāļāļĢāđāļāļĩāļĒāļāļāļēāļāļŠāđāļ§āļ
āļāļāļāļāļēāļāļāļĩāđāļĒāļąāļāļāļ§āļĢāļāļīāļāļēāļĢāļāļēāļāļēāļĢāđāļāđāļāļēāļāļĢāđāļ§āļĄāļāļąāļ
- Docker āđāļĨāļ° Container
- Kubernetes
- NVIDIA CUDA
- āļĢāļ°āļāļāļāļąāļāļāļīāļ§āļāļēāļ
- Monitoring āđāļĨāļ° Logging
- āļĢāļ°āļāļāļāļģāļŦāļāļāļŠāļīāļāļāļīāđāļāļđāđāđāļāđāļāļēāļ
- āļĢāļ°āļāļāļāļīāļāļāļēāļĄ GPU Utilization āđāļĨāļ° Memory Usage
Google āđāļāļ°āļāļģāđāļŦāđāļāļīāļāļāļēāļĄāļāļēāļĢāđāļāđāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģāļāļāļ Accelerator āđāļĨāļ°āđāļĨāļ·āļāļāļāļĨāļĒāļļāļāļāđāđāļāđāļāđāļāđ GPU āđāļŦāđāđāļŦāļĄāļēāļ°āļāļąāļāļāļēāļ āđāļāļ·āđāļāđāļāļīāđāļĄāļāļąāļāļĢāļēāļāļēāļĢāđāļāđāļāļēāļāļāļĢāļąāļāļĒāļēāļāļĢāđāļāļĒāļĢāļ§āļĄ
9. āđāļāļĢāļĩāļĒāļāđāļāļĩāļĒāļāļāđāļēāđāļāđāļāđāļēāļĒāļĢāļ°āļŦāļ§āđāļēāļāļāļ·āđāļāļāļąāļāđāļāđāļē
āļāļļāļĢāļāļīāļāļāļ§āļĢāđāļāļĢāļĩāļĒāļāđāļāļĩāļĒāļāļĢāļ°āļŦāļ§āđāļēāļāļāļēāļĢāļāļ·āđāļ GPU Server āļĄāļēāđāļāđāļāļēāļāđāļāļ āļāļąāļāļāļēāļĢāđāļāđāļē GPU Cloud āļŦāļĢāļ·āļāđāļāđāļēāđāļāļīāļĢāđāļāđāļ§āļāļĢāđāđāļāļ Dedicated
āļāļ·āđāļ GPU Server
āđāļŦāļĄāļēāļ°āļāļąāļāļāļāļāđāļāļĢāļāļĩāđ
- āļĄāļĩāļāļēāļĢāđāļāđāļāļēāļāļāđāļāđāļāļ·āđāļāļ
- āļāđāļāļāļāļēāļĢāļāļ§āļāļāļļāļĄāļāđāļāļĄāļđāļĨāļ āļēāļĒāđāļāļāļāļāđāļāļĢ
- āļĄāļĩāļāļĩāļĄāļāļđāđāļĨāļĢāļ°āļāļ
- āļāđāļāļāļāļēāļĢāļāļ§āļāļāļļāļĄāļŠāļ āļēāļāđāļ§āļāļĨāđāļāļĄāđāļĨāļ°āļāļāļāļāđāđāļ§āļĢāđ
- āļĄāļĩāļāļāļĨāļāļāļļāļāļĢāļ°āļĒāļ°āļĒāļēāļ§
āđāļāđāļē GPU Server āļŦāļĢāļ·āļ GPU Cloud
āđāļŦāļĄāļēāļ°āļāļąāļāļāļāļāđāļāļĢāļāļĩāđ
- āļāđāļāļāļāļēāļĢāđāļĢāļīāđāļĄāļāđāļāđāļāļĢāļāļāļēāļĢāļāļĒāđāļēāļāļĢāļ§āļāđāļĢāđāļ§
- āļĄāļĩāļāļĢāļīāļĄāļēāļāļāļēāļāđāļĄāđāđāļāđāļāļāļ
- āļāđāļāļāļāļēāļĢāļāļāļĨāļāļāļāđāļāļāļĨāļāļāļļāļ
- āļāđāļāļāļāļēāļĢāļāļĒāļēāļĒāļŦāļĢāļ·āļāļĨāļāļāļĢāļąāļāļĒāļēāļāļĢāļāļēāļĄāļāļēāļĢāđāļāđāļāļēāļ
- āđāļĄāđāļāđāļāļāļāļēāļĢāļāļđāđāļĨ Hardware āđāļāļ
āļāļēāļĢāļāļąāļāļŠāļīāļāđāļāļāļ§āļĢāļāļģāļāļ§āļāļāļēāļāļāļąāđāļ§āđāļĄāļāļāļēāļĢāđāļāđāļāļēāļ āļāļģāļāļ§āļāļāļđāđāđāļāđ āļāļēāļĒāļļāļāļēāļĢāđāļāđāļāļēāļāđāļāļīāļĢāđāļāđāļ§āļāļĢāđ āļāđāļēāđāļ āđāļĨāļ°āļāđāļēāđāļāđāļāđāļēāļĒāđāļāļāļēāļĢāļāļđāđāļĨāļĢāļ°āļāļ āđāļĄāđāļāļ§āļĢāđāļāļĢāļĩāļĒāļāđāļāļĩāļĒāļāļāļēāļāļĢāļēāļāļēāđāļāđāļēāļŦāļĢāļ·āļāļĢāļēāļāļēāļāļ·āđāļāđāļāļĩāļĒāļāļāļĒāđāļēāļāđāļāļĩāļĒāļ§
Checklist āļāđāļāļāļŠāļąāđāļāļāļ·āđāļ GPU Server
āļāđāļāļāļāļąāļāļŠāļīāļāđāļāđāļĨāļ·āļāļ GPU Server āļŠāļģāļŦāļĢāļąāļ Generative AI āļāļ§āļĢāļāļĢāļ§āļāļŠāļāļāļĢāļēāļĒāļāļēāļĢāļāđāļāđāļāļāļĩāđ
- āļāļēāļāļŦāļĨāļąāļāļāļ·āļ Training, Inference āļŦāļĢāļ·āļ Data Processing
- āđāļĄāđāļāļĨāļĄāļĩāļāļāļēāļāđāļāđāļēāđāļĢ
- āļāđāļāļāđāļāđ GPU Memory āļāļĒāđāļēāļāļāđāļāļĒāđāļāđāļēāđāļĢ
- āļāđāļāļāļāļēāļĢ GPU āļāļĩāđāļāļąāļ§
- āļĢāļāļāļĢāļąāļ Multi-GPU āļŦāļĢāļ·āļāđāļĄāđ
- āļĄāļĩ NVLink āļŦāļĢāļ·āļ Interconnect āļāļĩāđāđāļŦāļĄāļēāļ°āļŠāļĄāļŦāļĢāļ·āļāđāļĄāđ
- CPU āđāļĨāļ° RAM āđāļāļĩāļĒāļāļāļāļŦāļĢāļ·āļāđāļĄāđ
- Storage āļĄāļĩāļāļ§āļēāļĄāđāļĢāđāļ§āđāļĨāļ°āļāļ§āļēāļĄāļāļļāđāļŦāļĄāļēāļ°āļŠāļĄāļŦāļĢāļ·āļāđāļĄāđ
- āļĢāļ°āļāļāđāļāļāđāļēāđāļĨāļ°āļĢāļ°āļāļāļĢāļ°āļāļēāļĒāļāļ§āļēāļĄāļĢāđāļāļāļĢāļāļāļĢāļąāļāļŦāļĢāļ·āļāđāļĄāđ
- āļĄāļĩāđāļāļāļŠāļģāļĢāļāļāļāđāļāļĄāļđāļĨāđāļĨāļ°āđāļāļāļāļđāđāļāļ·āļāļĢāļ°āļāļāļŦāļĢāļ·āļāđāļĄāđ
- āļĢāļāļāļĢāļąāļāļāļēāļĢāļāļĒāļēāļĒāļĢāļ°āļāļāđāļāļāļāļēāļāļāļŦāļĢāļ·āļāđāļĄāđ
- āļĄāļĩāļāļĢāļīāļāļēāļĢāļāļīāļāļāļąāđāļ āļāļđāđāļĨ āđāļĨāļ°āđāļŦāđāļāļģāļāļĢāļķāļāļĐāļēāļŦāļĢāļ·āļāđāļĄāđ
āļŠāļĢāļļāļ
āļāļēāļĢāđāļĨāļ·āļāļ GPU Server āļŠāļģāļŦāļĢāļąāļ Generative AI āđāļĨāļ°āļāļēāļāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļāđāļāļĄāļđāļĨ āļāđāļāļāđāļĢāļīāđāļĄāļāļēāļāļāļ§āļēāļĄāļāđāļāļāļāļēāļĢāļāļēāļāļāļļāļĢāļāļīāļāđāļĨāļ°āļĨāļąāļāļĐāļāļ°āļāļēāļāļāļĢāļīāļ āđāļĄāđāđāļāđāđāļĨāļ·āļāļāļāļēāļāļĢāļļāđāļ GPU āļāļĩāđāļĄāļĩāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļŠāļđāļāļāļĩāđāļŠāļļāļāđāļāļĩāļĒāļāļāļĒāđāļēāļāđāļāļĩāļĒāļ§ āļāļąāļāļāļąāļĒāļŠāļģāļāļąāļāļāļĢāļ°āļāļāļāļāđāļ§āļĒ GPU Memory āļāļģāļāļ§āļ GPU āļāļēāļĢāđāļāļ·āđāļāļĄāļāđāļāļĢāļ°āļŦāļ§āđāļēāļ GPU CPU, RAM, Storage āļĢāļ°āļāļāđāļāļāđāļē āļāļēāļĢāļĢāļ°āļāļēāļĒāļāļ§āļēāļĄāļĢāđāļāļ āđāļĨāļ°āļāđāļāļāļļāļāļāļĨāļāļāļāļēāļĒāļļāļāļēāļĢāđāļāđāļāļēāļ
āļŦāļēāļāļĒāļąāļāđāļĄāđāđāļāđāđāļāļ§āđāļēāļāļ§āļĢāđāļĨāļ·āļāļ GPU Server āļĢāļļāđāļāđāļ āļŦāļĢāļ·āļāļāļģāđāļāđāļāļāđāļāļāđāļāđāļĢāļ°āļāļāļāļĩāđ GPU āļāļĩāļĄāļāļēāļāļāļāļ 2beshop.com āļŠāļēāļĄāļēāļĢāļāļāđāļ§āļĒāļ§āļīāđāļāļĢāļēāļ°āļŦāđ Workload āļāļĢāļ°āđāļĄāļīāļāļŠāđāļāļ āđāļĨāļ°āļāļāļāđāļāļāđāļāļĨāļđāļāļąāļāđāļŦāđāđāļŦāļĄāļēāļ°āļāļąāļāļāļāļāļĢāļ°āļĄāļēāļāđāļĨāļ°āđāļāđāļēāļŦāļĄāļēāļĒāļāļāļāļāļāļāđāļāļĢ āļāļīāļāļāđāļāđāļāļ·āđāļāļāļāļāļģāđāļāļ°āļāļģāļŦāļĢāļ·āļāđāļāđāļŠāļāļāļĢāļēāļāļē āđāļĨāļ°āđāļĢāļīāđāļĄāļ§āļēāļāđāļāļĢāļāļŠāļĢāđāļēāļāļāļ·āđāļāļāļēāļ AI āļāļĩāđāļāļĢāđāļāļĄāļĢāļāļāļĢāļąāļāļāļēāļĢāđāļāļīāļāđāļāļāļāļāļāļļāļĢāļāļīāļ
- āļŠāļāđāļāļŠāļāļāļāļēāļĄāļāđāļāļĄāļđāļĨāđāļāļīāđāļĄāđāļāļīāļĄāļŦāļĢāļ·āļāļāļ·āđāļāļāļļāļāļāļāđ IT āļāļĨāļīāļāđāļĨāļĒ
- āļāļ·āđāļāļŠāļīāļāļāđāļēāļāđāļēāļ Application āļĢāļąāļāļŠāđāļ§āļāļĨāļāđāļāļīāđāļĄÂ āļāļĨāļīāļāđāļĨāļĒ
- LINE: @2beshop
- āđāļāļĢ 02-1186767