āđāļĨāļ·āļāļ GPU Server āļŠāļģāļŦāļĢāļąāļāļāļēāļ Deep Learning āđāļĨāļ°āļāļēāļĢāļāļķāļāđāļĄāđāļāļĨāļāļāļēāļāđāļŦāļāđ: āļāļđāđāļĄāļ·āļāđāļĨāļ·āļāļāļŠāđāļāļāđāļŦāđāļāļļāđāļĄāļāđāļēāđāļĨāļ°āļāļĢāđāļāļĄāļāļĒāļēāļĒ
āļāļēāļĢāđāļĨāļ·āļāļ GPU Server āļŠāļģāļŦāļĢāļąāļāļāļēāļ Deep Learning āđāļĄāđāđāļāđāļāļđāđāļāđ âāļāļēāļĢāđāļāđāļĢāļâ āđāļāđāļāđāļāļāļĄāļāļāļāļąāđāļ VRAM, CPU, RAM, Storage, Network āđāļĨāļ°āļāļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļāđāļāļāļēāļĢāļāļĒāļēāļĒāļĢāļ°āļāļāđāļāļāļāļēāļāļāļāđāļ§āļĒ āđāļāļ·āđāļāđāļŦāđāļāļēāļĢāļāļķāļāđāļĄāđāļāļĨāļāļāļēāļāđāļŦāļāđāļāļģāļāļēāļāđāļāđāļĨāļ·āđāļ āđāļĄāđāđāļāļīāļāļāļāļāļ§āļ āđāļĨāļ°āļāļļāđāļĄāļāđāļēāļāļąāļāļāļāļāļĢāļ°āļĄāļēāļāđāļāļĢāļ°āļĒāļ°āļĒāļēāļ§
GPU Server āļŠāļģāļŦāļĢāļąāļāļāļēāļ Deep Learning āļāļ·āļāļāļ°āđāļĢ āđāļĨāļ°āļāļģāđāļĄāļāđāļāļāđāļĨāļ·āļāļāđāļŦāđāļāļđāļ
GPU Server āļāļ·āļāđāļāļīāļĢāđāļāđāļ§āļāļĢāđāļāļĩāđāđāļāđ GPU āļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļŠāļđāļāđāļāļ·āđāļāđāļĢāđāļāļāļēāļĢāļāļģāļāļ§āļāđāļāļāļāļāļēāļ āđāļŦāļĄāļēāļ°āļāļąāļāļāļēāļ AI, Deep Learning, āļāļēāļĢāļāļķāļāđāļĄāđāļāļĨ, Inference āđāļĨāļ°āļāļēāļāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļāļĩāđāļāđāļāļāđāļāđāļāļĢāļąāļāļĒāļēāļāļĢāļŠāļđāļ āļŠāļģāļŦāļĢāļąāļāļāļēāļāļāļķāļāđāļĄāđāļāļĨāļāļāļēāļāđāļŦāļāđ āļāļļāļāļŠāļģāļāļąāļāđāļĄāđāđāļāđāđāļāđāļāļģāļāļ§āļ GPU āđāļāđāļāđāļāļāļāļđāļ āļēāļāļĢāļ§āļĄāļāļāļāļāļąāđāļāļĢāļ°āļāļ āđāļāļĢāļēāļ°āļāđāļē CPU, RAM, Storage āļŦāļĢāļ·āļ Network āđāļĄāđāļŠāļĄāļāļļāļĨ GPU āļāļ°āļĢāļāļāđāļāļĄāļđāļĨāđāļĨāļ°āļāļģāļāļēāļāđāļāđāđāļĄāđāđāļāđāļĄāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļ
āļāļąāļāļāļąāļĒāļŠāļģāļāļąāļāđāļāļāļēāļĢāđāļĨāļ·āļāļ GPU Server āļŠāļģāļŦāļĢāļąāļāļāļķāļāđāļĄāđāļāļĨāļāļāļēāļāđāļŦāļāđ
1) āđāļĨāļ·āļāļ GPU āđāļŦāđāļāļĢāļāļāļąāļāļāļāļēāļāđāļĄāđāļāļĨāđāļĨāļ°āļĢāļđāļāđāļāļāļāļēāļ
āļāļēāļ Deep Learning āļāļāļēāļāđāļŦāļāđāļāđāļāļāđāļŦāđāļāļ§āļēāļĄāļŠāļģāļāļąāļāļāļąāļ VRAM āđāļāđāļāļāļąāļāļāļąāļāļāđāļ āđ āđāļāļĢāļēāļ°āđāļĄāđāļāļĨ āļāđāļāļĄāļđāļĨ batch āđāļĨāļ°āļāđāļēāļĢāļ°āļŦāļ§āđāļēāļāļāļēāļĢāđāļāļĢāļāļāđāļāļāļāļĒāļđāđāđāļāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģāļāļāļ GPU āļŦāļēāļ VRAM āđāļĄāđāļāļāļāļ°āđāļāļīāļāļāļąāļāļŦāļē out-of-memory āđāļāđāļāđāļēāļĒ
āļŦāļēāļāđāļāđāļāļāļēāļāļāļķāļāđāļĄāđāļāļĨāļāļāļēāļāđāļŦāļāđ āļāļ§āļĢāļāļīāļāļēāļĢāļāļē GPU āļĢāļ°āļāļąāļāļāļāļāđāļāļĢāļāļĩāđāļĄāļĩ VRAM āļŠāļđāļ āđāļĨāļ°āļĢāļāļāļĢāļąāļāļāļēāļĢāļāļģāļāļēāļāļŦāļĨāļēāļĒ GPU āļĢāđāļ§āļĄāļāļąāļāđāļāđāļāļĩ[2][9]
2) CPU āļāđāļāļāđāļĢāļāļāļ āđāļĄāđāđāļŦāđ GPU āļĢāļāļāđāļāļĄāļđāļĨ
NVIDIA āļĢāļ°āļāļļāļ§āđāļē CPU āļāļ§āļĢāđāļāđāļāļĢāļ°āļāļąāļāļāļāļāđāļāļĢ āđāļāđāļ Intel Xeon Scalable āļŦāļĢāļ·āļ AMD EPYC āđāļĨāļ°āļāļģāļāļ§āļāļāļāļĢāđāļāđāļ GPU āļāļ§āļĢāđāļŦāļĄāļēāļ°āļŠāļĄāļāļāļāļĩāđāļāļ°āļāđāļāļāļāđāļāļĄāļđāļĨāđāļŦāđ GPU āļāļģāļāļēāļāļāđāļāđāļāļ·āđāļāļ
āļāđāļē CPU āļāđāļēāđāļāļīāļāđāļ GPU āļāļ°āđāļĄāđāđāļāđāđāļāđāļāļēāļāđāļāđāļĄāļāļĩāđ āļāļģāđāļŦāđāļāđāļāļāļļāļāļāđāļāļĢāļāļāļāļēāļĢāđāļāļĢāļāļŠāļđāļāļāļķāđāļāđāļāļĒāđāļĄāđāļāļģāđāļāđāļ
3) RAM āļāđāļāļāđāļāļ·āđāļāđāļŦāđāļĄāļēāļāļāļ
āļĢāļ°āļāļāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģāļāļ§āļĢāļĄāļĩāļāļāļēāļāđāļŦāļĄāļēāļ°āļŠāļĄāļāļąāļ GPU memory āļĢāļ§āļĄ āđāļāļ·āđāļāđāļŦāđāļāļēāļĢāļāđāļēāļāđāļĨāļ°āđāļāļĢāļĩāļĒāļĄāļāđāļāļĄāļđāļĨāđāļĄāđāđāļāđāļāļāļāļāļ§āļ āđāļāļĒāļāļēāļāļāļķāļāđāļĄāđāļāļĨāļāļāļēāļāđāļŦāļāđāļāļ§āļĢāđāļāļ·āđāļ RAM āļĄāļēāļāļāļ§āđāļēāļāļēāļĢāđāļāđāļāļēāļāļāļąāđāļ§āđāļ āđāļāļĒāđāļāļāļēāļ°āđāļĄāļ·āđāļāļĄāļĩ preprocessing, data augmentation āļŦāļĢāļ·āļ dataset āļāļāļēāļāđāļŦāļāđ
4) Storage āļāđāļāļāđāļĢāđāļ§ āđāļāļĒāđāļāļāļēāļ°āļāļēāļāļāļĩāđāļāđāļēāļāļāđāļāļĄāļđāļĨāļāđāļāļĒ
āļāļēāļ AI āļĄāļąāļāļāđāļāļāļāđāļēāļâāđāļāļĩāļĒāļāļāđāļāļĄāļđāļĨāļāļĢāļīāļĄāļēāļāļĄāļēāļ āļāļēāļĢāđāļāđ NVMe SSD āļāđāļ§āļĒāļĨāļāđāļ§āļĨāļēāļĢāļāđāļŦāļĨāļāļāļļāļāļāđāļāļĄāļđāļĨ, checkpoint āđāļĨāļ°āđāļāļĨāđ intermediate āđāļāđāļāļĩ
āļŦāļēāļāđāļāđāļāļāļēāļāļĢāļ°āļāļąāļāļāļāļāđāļāļĢāļāļĩāđāļĄāļĩāļāđāļāļĄāļđāļĨāļāļģāļāļ§āļāļĄāļēāļ āļāļ§āļĢāļāļīāļāļēāļĢāļāļē storage āļāļĩāđ throughput āļŠāļđāļ āļŦāļĢāļ·āļāļĢāļ°āļāļāđāļāļĨāđāđāļāļāļāļāļēāļāļŠāļģāļŦāļĢāļąāļāļĢāļāļāļĢāļąāļāļāļēāļĢāđāļāļĢāļāļŦāļĨāļēāļĒāđāļŦāļāļ
5) Network āļŠāļģāļāļąāļāļĄāļēāļāļŠāļģāļŦāļĢāļąāļ Multi-GPU āđāļĨāļ° Multi-Node
NVIDIA āđāļāļ°āļāļģāđāļŦāđāļĄāļĩ network adapter āđāļāļĩāļĒāļāļāļ āđāļĨāļ°āļŦāļēāļāđāļāđāļāļāļēāļāļāļķāļāđāļāļāļāļĢāļ°āļāļēāļĒāļāļ§āļĢāđāļāđāđāļāļĢāļ·āļāļāđāļēāļĒāļāļ§āļēāļĄāđāļĢāđāļ§āļŠāļđāļ āđāļāđāļ 100 Gbps āļāļĢāđāļāļĄ RDMA āđāļāļ·āđāļāļāđāļ§āļĒāļĨāļ latency āđāļĨāļ°āļĨāļāđāļ§āļĨāļēāļāļĩāđ GPU āļāđāļāļāļĢāļāļāđāļāļĄāļđāļĨ
āļŠāļģāļŦāļĢāļąāļāļāļāļāđāļāļĢāļāļĩāđāļāđāļāļāđāļāđ dataset āļĢāđāļ§āļĄāļāļąāļāļŦāļĨāļēāļĒāļāļĩāļĄ āļāļ§āļĢāļ§āļēāļāđāļāļ network āđāļĨāļ° infrastructure āđāļŦāđāļĢāļāļāļĢāļąāļāļāļēāļĢāļāļĒāļēāļĒāđāļāļāļāļēāļāļāļāđāļ§āļĒ
6) PCIe Topology āđāļĨāļ°āļāļēāļĢāļĢāļ°āļāļēāļĒāļāļ§āļēāļĄāļĢāđāļāļāļŦāđāļēāļĄāļĄāļāļāļāđāļēāļĄ
NVIDIA āđāļāļ°āļāļģāđāļŦāđāļĢāļ°āļāļāļĄāļĩ balanced PCIe topology āđāļāļ·āđāļāđāļŦāđ GPU āļāļĢāļ°āļāļēāļĒāļ āļēāļĢāļ°āđāļāđāļāļĩ āđāļĨāļ°āļāļ§āļĢāļāļģāļāļąāļāļāļąāđāļāļāļāļ PCIe switch āđāļŦāđāđāļĄāđāļĄāļēāļāđāļāļīāļāđāļāđāļāļ·āđāļāļĨāļ latency āļāļĩāļāļāļąāđāļāļĒāļąāļāļāđāļāļāļāļĢāļ§āļāļŠāļāļāđāļĢāļ·āđāļāļ power, cooling āđāļĨāļ°āļāļ§āļēāļĄāđāļāđāļēāļāļąāļāđāļāđāļāļāļāļāļąāļ§āđāļāļĢāļ·āđāļāļāļāļąāļ GPU āļāļĩāđāđāļĨāļ·āļāļāļāđāļ§āļĒ
āđāļāļ§āļāļēāļāđāļĨāļ·āļāļāļŠāđāļāļ GPU Server āđāļŦāđāđāļŦāļĄāļēāļ°āļāļąāļāđāļāđāļĨāļ°āļāļēāļ
āļāļēāļāļāļāļĨāļāļāļ§āļīāļāļąāļĒāđāļĨāļ°āļāļĩāļĄāđāļĨāđāļ
- āđāļĨāļ·āļāļ GPU āļāļĩāđāļĄāļĩ VRAM āđāļāļĩāļĒāļāļāļāļāļąāļāđāļĄāđāļāļĨāļāļĩāđāđāļāđāļāļēāļ
- āđāļāđāļāđāļāļĢāļ·āđāļāļāļāļĩāđāļāļąāļāđāļāļĢāļ RAM āđāļĨāļ° SSD āđāļāđ
- āđāļāđāļŠāļāļēāļāļąāļāļĒāļāļĢāļĢāļĄāļāļĩāđāļāļĢāđāļāļĄāļāļĒāļēāļĒāđāļāļāļāļēāļāļ
āļāļēāļāļāļķāļāđāļĄāđāļāļĨāļāļāļēāļāļāļĨāļēāļāļāļķāļāđāļŦāļāđāđāļāļāļāļāđāļāļĢ
- āđāļĨāļ·āļāļ GPU Server āļĢāļ°āļāļąāļ Data Center
- āļĄāļāļāļŦāļēāđāļāļĢāļ·āđāļāļāļāļĩāđāļĢāļāļāļĢāļąāļ GPU āļŦāļĨāļēāļĒāļāļąāļ§āļāđāļ node
- āđāļŦāđāļāļ§āļēāļĄāļŠāļģāļāļąāļāļāļąāļ NVMe, RAM āđāļĨāļ° network āļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļŠāļđāļ
āļāļēāļāđāļĄāđāļāļĨāļāļāļēāļāđāļŦāļāđāļĄāļēāļ āļŦāļĢāļ·āļāļāļķāļāđāļāļāļāļĢāļ°āļāļēāļĒ
- āļ§āļēāļāđāļāļ Multi-GPU / Multi-Node āļāļąāđāļāđāļāđāļāđāļ
- āđāļĨāļ·āļāļ network āļāļ§āļēāļĄāđāļĢāđāļ§āļŠāļđāļāđāļĨāļ° storage āļāļĩāđāļĢāļāļāļĢāļąāļ throughput āļŠāļđāļ
- āļāļĢāļ§āļāļŠāļāļāļāļ§āļēāļĄāđāļāđāļēāļāļąāļāđāļāđāļāļāļāļĢāļ°āļāļāļĢāļ°āļāļēāļĒāļāļ§āļēāļĄāļĢāđāļāļāđāļĨāļ°āļāļĨāļąāļāļāļēāļ
āđāļāļĨāđāļāļĨāļąāļāđāļāļ·āđāļāđāļŦāđāļāļēāļĢāļāļķāļāđāļĄāđāļāļĨāļāļģāļāļēāļāļāļļāđāļĄāļāđāļēāļĄāļēāļāļāļķāđāļ
- āđāļāđ mixed precision āļŦāļĢāļ·āļ precision āļāļĩāđāļāđāļģāļĨāļāđāļĄāļ·āđāļāđāļŦāļĄāļēāļ°āļŠāļĄ āđāļāļ·āđāļāđāļāļīāđāļĄāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļ
- āļāļāļŠāļāļāļĢāļ°āļāļāļāđāļāļāđāļāđāļāļēāļāļāļĢāļīāļ āđāļāđāļ āļāļēāļĢāļāļĢāļ§āļāļŠāļāļ driver, CUDA āđāļĨāļ°āļāļēāļĢāļĄāļāļāđāļŦāđāļ GPU āļāđāļēāļāđāļāļĢāļ·āđāļāļāļĄāļ·āļāļāļāļ NVIDIA
- āđāļāđāļ storage āļāļāļāđāļāđāļāļŠāđāļ§āļāļŠāļģāļŦāļĢāļąāļ OS, software, dataset āđāļĨāļ° checkpoint āđāļāļ·āđāļāļĨāļāļāļāļāļ§āļ
- āđāļāļ·āđāļāļāļēāļĢāļāļĒāļēāļĒāļĢāļ°āļāļāđāļāļāļāļēāļāļ āđāļāļĢāļēāļ° workload āļāđāļēāļ AI āļĄāļąāļāđāļāđāļĢāđāļ§
āļāļąāļ§āļāļĒāđāļēāļāļŠāļāļēāļāļāļēāļĢāļāđāļāļĩāđāļāļ§āļĢāđāļĨāļ·āļāļ GPU Server āđāļāļāđāļāļĢāļ·āđāļāļāļāļąāđāļ§āđāļ
- āļāđāļāļāļāļķāļāđāļĄāđāļāļĨ NLP āļŦāļĢāļ·āļ Vision āļāļāļēāļāđāļŦāļāđ
- āļāđāļāļāļĢāļąāļāļāļēāļ Deep Learning āļŦāļĨāļēāļĒāđāļāļĢāđāļāļāļāđāļāļĢāđāļāļĄāļāļąāļ
- āļāđāļāļāļāļēāļĢāļāļ§āļēāļĄāđāļŠāļāļĩāļĒāļĢāđāļĨāļ°āļāļēāļĢāļāļąāļāļāļēāļĢāļĢāļ°āļāļąāļāļāļāļāđāļāļĢ
- āļāđāļāļāļāļēāļĢāļāļĒāļēāļĒāļāļēāļāđāļāļĢāļ·āđāļāļāđāļāļĩāļĒāļ§āđāļāđāļāđāļāļāļĨāļąāļŠāđāļāļāļĢāđāđāļāļāļāļēāļāļ
āļŠāļĢāļļāļāļāļēāļĢāđāļĨāļ·āļāļ GPU Server āļŠāļģāļŦāļĢāļąāļāļāļēāļ Deep Learning
āļāļēāļĢāđāļĨāļ·āļāļ GPU Server āļŠāļģāļŦāļĢāļąāļāļāļēāļ Deep Learning āđāļĨāļ°āļāļēāļĢāļāļķāļāđāļĄāđāļāļĨāļāļāļēāļāđāļŦāļāđ āļāļ§āļĢāļāļīāļāļēāļĢāļāļēāđāļāļāļāļāļāđāļĢāļ§āļĄ āđāļĄāđāđāļāđāļāļđāđāļāđāļĢāļļāđāļ GPU āļāļĒāđāļēāļāđāļāļĩāļĒāļ§ āđāļāļĢāļēāļ°āļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļĢāļīāļāļāļķāđāļāļāļĒāļđāđāļāļąāļāļāļ§āļēāļĄāļŠāļĄāļāļļāļĨāļāļāļ GPU, VRAM, CPU, RAM, Storage, Network āđāļĨāļ° PCIe topology āļŦāļēāļāđāļĨāļ·āļāļāļŠāđāļāļāđāļāđāđāļŦāļĄāļēāļ°āļŠāļĄ āļāļ°āļāđāļ§āļĒāđāļŦāđāļāļķāļāđāļĄāđāļāļĨāđāļāđāđāļĢāđāļ§āļāļķāđāļ āļĨāļāđāļ§āļĨāļēāļĢāļ āļĨāļāļāđāļāļāļļāļ āđāļĨāļ°āļĢāļāļāļĢāļąāļāļāļēāļĢāđāļāļīāļāđāļāļāļāļāļāļēāļ AI āđāļāļāļāļēāļāļāđāļāđāļāļĩāļāļ§āđāļē
āļŦāļēāļāļāļļāļāļāļģāļĨāļąāļāļĄāļāļāļŦāļēāđāļāļĨāļđāļāļąāļ GPU Server, AI Server, āļŦāļĢāļ·āļāļāļēāļĢāļ§āļēāļāļŠāđāļāļāļŠāļģāļŦāļĢāļąāļāļāļēāļ Deep Learning āđāļŦāđāđāļŦāļĄāļēāļ°āļāļąāļāļāļāđāļĨāļ°āđāļāđāļēāļŦāļĄāļēāļĒāļāļāļāļāļāļāđāļāļĢ āļŠāļēāļĄāļēāļĢāļāđāļĢāļīāđāļĄāļāļēāļāļāļēāļĢāļāļĢāļ°āđāļĄāļīāļ workload āļāđāļāļ āđāļĨāđāļ§āļāđāļāļĒāđāļĨāļ·āļāļāļŠāđāļāļāļāļĩāđāļŠāļĄāļāļļāļĨāļāļĩāđāļŠāļļāļāđāļāļ·āđāļāļāļ§āļēāļĄāļāļļāđāļĄāļāđāļēāđāļāļĢāļ°āļĒāļ°āļĒāļēāļ§
CTA: āļŦāļēāļāļāđāļāļāļāļēāļĢāļāļģāđāļāļ°āļāļģāđāļāļāļēāļĢāđāļĨāļ·āļāļāļŠāđāļāļ GPU Server āļŠāļģāļŦāļĢāļąāļāļāļēāļāļāļāļāļāļļāļ āļĨāļāļāļāļĢāļķāļāļĐāļēāļāļĩāļĄāļāļēāļāļāļāļ 2beshop.com āđāļāļ·āđāļāļāđāļ§āļĒāļāļĢāļ°āđāļĄāļīāļāļāļ§āļēāļĄāļāđāļāļāļāļēāļĢāđāļĨāļ°āđāļāļ°āļāļģāđāļāļīāļĢāđāļāđāļ§āļāļĢāđāļāļĩāđāđāļŦāļĄāļēāļ°āļāļąāļāļāļēāļĢāđāļāđāļāļēāļāļāļĢāļīāļ
āļāļīāļāļāđāļāđāļĢāļēāļāđāļēāļāđāļ§āđāļāđāļāļāđāđāļĨāļ°āļŠāļāļāļāļēāļĄāļŠāļīāļāļāđāļēāđāļāđāđāļĨāļĒ
- āļŠāļāđāļāļŠāļāļāļāļēāļĄāđāļĨāļ°āļāļ·āđāļ Server  āļāļĨāļīāļāđāļĨāļĒ
- āļāļ·āđāļāļŠāļīāļāļāđāļēāļāđāļēāļ Application āļĢāļąāļāļŠāđāļ§āļāļĨāļāđāļāļīāđāļĄ āļāļĨāļīāļāđāļĨāļĒ
- LINE: @2beshop
- āđāļāļĢ 02-1186767