📄️ RayServe와 vLLM
EKS에서 ML 모델을 배포하려면 GPU 또는 Neuron 인스턴스에 대한 접근이 필요합니다. 배포가 작동하지 않는 경우, 이러한 리소스에 대한 접근 권한이 없기 때문인 경우가 많습니다. 또한 일부 배포 패턴은 Karpenter 자동 스케일링과 정적 노드 그룹에 의존합니다. 노드가 초기화되지 않으면 Karpenter 또는 노드 그룹의 로그를 확인하여 문제를 해결하세요.
📄️ NVIDIA Triton Server와 vLLM
EKS에서 ML 모델을 배포하려면 GPU 또는 Neuron 인스턴스에 대한 접근이 필요합니다. 배포가 작동하지 않는 경우, 이러한 리소스에 대한 접근 권한이 없기 때문인 경우가 많습니다. 또한 일부 배포 패턴은 Karpenter 자동 스케일링과 정적 노드 그룹에 의존합니다. 노드가 초기화되지 않으면 Karpenter 또는 노드 그룹의 로그를 확인하여 문제를 해결하세요.
📄️ GPU에서의 Stable Diffusion
EKS에서 ML 모델을 배포하려면 GPU 또는 Neuron 인스턴스에 대한 접근이 필요합니다. 배포가 작동하지 않는 경우, 이러한 리소스에 대한 접근 권한이 없기 때문인 경우가 많습니다. 또한 일부 배포 패턴은 Karpenter 자동 스케일링과 정적 노드 그룹에 의존합니다. 노드가 초기화되지 않으면 Karpenter 또는 노드 그룹의 로그를 확인하여 문제를 해결하세요.
📄️ Amazon EKS에서의 NVIDIA NIM LLM
EKS에서 ML 모델을 배포하려면 GPU 또는 Neuron 인스턴스에 대한 접근이 필요합니다. 배포가 작동하지 않는 경우, 이러한 리소스에 대한 접근 권한이 없기 때문인 경우가 많습니다. 또한 일부 배포 패턴은 Karpenter 자동 스케일링과 정적 노드 그룹에 의존합니다. 노드가 초기화되지 않으면 Karpenter 또는 노드 그룹의 로그를 확인하여 문제를 해결하세요.
📄️ EKS의 NVIDIA NIM Operator
NVIDIA NIM이란?
📄️ EKS에서의 DeepSeek-R1
이 가이드에서는 Amazon EKS에서 Ray와 vLLM 백엔드를 사용하여 DeepSeek-R1-Distill-Llama-8B 모델 추론을 배포하는 방법을 살펴봅니다.
📄️ Amazon EKS의 NVIDIA Dynamo
⚠️ 이 블루프린트는 현재 최신 상태가 아닙니다 ⚠️
📄️ EKS의 NVIDIA Enterprise RAG 및 AI-Q Research Assistant
EKS에 Enterprise RAG 및 AI-Q를 배포하려면 GPU 인스턴스(g5, p4 또는 p5 제품군)에 대한 액세스가 필요합니다. 이 블루프린트는 동적 GPU 프로비저닝을 위해 Karpenter 오토스케일링에 의존합니다.
📄️ EKS의 AIBrix
AIBrix는 확장 가능한 생성형 AI 추론(Inference) 인프라를 구축하기 위한 필수 빌딩 블록을 제공하도록 설계된 오픈 소스 이니셔티브입니다. AIBrix는 엔터프라이즈 요구에 맞춰 대규모 언어 모델(LLM) 추론 배포, 관리 및 확장에 최적화된 클라우드 네이티브 솔루션을 제공합니다.