학습경로¶
AWS Neuron SDK를 처음 접하는 엔지니어를 위한 단계별 학습 가이드입니다.
공식 문서 기반으로 구성되어 있으며, 기초 개념부터 실전 서빙까지 순서대로 진행할 수 있습니다.
추천 학습 순서¶
graph LR
A["Level 1<br/>개념 이해"] --> B["Level 2<br/>환경 셋업"]
B --> C["Level 3<br/>LLM 서빙"]
C --> D["Level 4<br/>모니터링"]Level 1 — 개념 이해¶
Neuron SDK가 무엇인지, Trainium 하드웨어 구조와 전체 아키텍처를 파악합니다.
| # | 주제 | 링크 | 예상 시간 |
|---|---|---|---|
| 1 | Neuron SDK 전체 소개 | AWS Neuron Documentation | 10분 |
| 2 | Trainium2 하드웨어 아키텍처 — NeuronCore-v3, LNC, 메모리 계층 | Trainium2 Architecture | 15분 |
| 3 | NeuronCore-v3 아키텍처 — Tensor/Vector/Scalar/GPSIMD 엔진 | NeuronCore-v3 | 15분 |
| 4 | EC2 인스턴스 아키텍처 — Trn1/Trn2 토폴로지, NeuronLink | Neuron Architecture Guides | 15분 |
GPU 경험이 있다면
CUDA/NVIDIA GPU 경험이 있는 분은 Trainium과 GPU의 차이점 관점에서 읽으면 이해가 빠릅니다.
핵심 차이: CUDA Core 대신 NeuronCore, HBM 대신 소프트웨어 관리형 SRAM + HBM 계층 구조.
Level 2 — 환경 셋업 & 첫 실행¶
DLAMI를 사용해 Neuron 환경에 접속하고, 첫 번째 모델을 학습시킵니다.
| # | 주제 | 링크 | 예상 시간 |
|---|---|---|---|
| 5 | Quick Start 가이드 — Training / Inference / Serving 경로 선택 | Get Started | 5분 |
| 6 | Training Quick Start — Trainium에서 첫 모델 학습 | Train a Model on Trainium | 30분 |
| 7 | PyTorch NeuronX 개발자 가이드 — torch-neuronx 기본, XLA 동작 방식 | PyTorch NeuronX Programming Guide | 20분 |
사전 요구사항
- AWS 계정 (EC2 접근 권한 포함)
- 기본적인 PyTorch 사용 경험
- SSH로 EC2 인스턴스에 접속할 수 있는 환경
Level 3 — vLLM 서빙¶
LLM을 Neuron에서 서빙하는 전체 흐름을 익힙니다.
| # | 주제 | 링크 | 예상 시간 |
|---|---|---|---|
| 8 | vLLM on Neuron 개요 — 아키텍처, NxD Inference 연동 구조 | vLLM on Neuron | 10분 |
| 9 | Online Serving Quick Start — OpenAI-compatible API 서버 실행 | Online Serving | 15분 |
| 10 | Offline Inference — 배치 추론 워크플로 | Offline Serving | 10분 |
Level 4 — 모니터링 & 운영 도구¶
neuron-top,neuron-monitor등 운영에 필수적인 도구 사용법을 익힙니다.
| # | 주제 | 링크 | 예상 시간 |
|---|---|---|---|
| 11 | Neuron Top — 실시간 NeuronCore/메모리 사용량 확인 | Neuron Top User Guide | 10분 |
| 12 | Neuron Monitor — JSON 메트릭 수집, Prometheus/Grafana 연동 | Neuron Monitor User Guide | 10분 |
| 13 | EKS 모니터링 — Neuron Monitor DaemonSet 배포 | Deploy Neuron Monitor DaemonSet | 10분 |
| 14 | 실습: neuron-monitor + Prometheus + Grafana | Tutorial: Monitoring with MNIST | 30분 |
nvidia-smi에 익숙하다면
neuron-top은 NVIDIA GPU의 nvidia-smi에 대응하는 도구입니다.
NeuronCore 활용률, 메모리, 로드된 모델 정보를 실시간으로 확인할 수 있습니다.
추가 참고 자료¶
| 자료 | 링크 |
|---|---|
| AWS Neuron SDK GitHub | aws-neuron/aws-neuron-sdk |
| Neuron Samples (예제 코드) | aws-neuron/aws-neuron-samples |
| AWS Trainium Getting Started (공식) | aws.amazon.com/trainium/getting-started |
| Neuron DLAMI 가이드 | DLAMI User Guide |
버전 참고
모든 링크는 Neuron SDK latest 버전 기준입니다. 특정 버전의 문서가 필요한 경우 URL에서 latest를 원하는 버전(예: v2.30.0)으로 변경하세요.