추론 (Inference)

AWS Trainium에서 LLM 추론 서빙을 위한 가이드입니다.

• vLLM on Neuron

  ---

  vLLM Neuron Plugin 기반 LLM 서빙 — 아키텍처, 모델 온보딩, 성능 튜닝

  가이드 보기

• vLLM + NxDI (Classic)

  ---

  NxDI 기반 vLLM 서빙 — 모델별 배포 가이드 (Llama, Qwen 등)

  가이드 보기