EKS 기반 AIBrix
경고
EKS에서 ML 모델을 배포하려면 GPU 또는 Neuron 인스턴스에 대한 액세스가 필요합니다. 배포가 작동하지 않는 경우 이러한 리소스에 대한 액세스가 누락되어 있는 경우가 많습니다. 또한 일부 배포 패턴은 Karpenter 자동 확장 및 정적 노드 그룹에 의존합니다. 노드가 초기화되지 않는 경우 Karpenter 또는 노드 그룹의 로그를 확인하여 문제를 해결하세요.
정보
이 지침은 AIBrix 클러스터를 기본으로만 배포합니다. 추론 또는 훈련을 위한 특정 모델을 배포하려면 AI 페이지에서 엔드투엔드 지침을 참조하세요.
AIBrix란?
AIBrix는 확장 가능한 GenAI 추론 인프라를 구축하기 위한 필수 빌딩 블록을 제공하도록 설계된 오픈소스 이니셔티브입니다. AIBrix는 특히 엔터프라이즈 요구 사항에 맞춤화된 대규모 언어 모델(LLM) 추론을 배포, 관리 및 확장하는 데 최적화된 클라우드 네이티브 솔루션을 제공합니다.
주요 기능 및 이점
- LLM 게이트웨이 및 라우팅: 여러 모델과 복제본에 걸쳐 트래픽을 효율적으로 관리하고 지시합니다.
- 고밀도 LoRA 관리: 모델의 경량, 저랭크 적응에 대한 간소화된 지원.
- 분산 추론: 여러 노드에 걸쳐 대규모 워크로드를 처리하는 확장 가능한 아키텍처.
- LLM 앱 맞춤형 오토스케일러: 실시간 수요에 따라 추론 리소스를 동적으로 확장합니다.
- 통합 AI 런타임: 메트릭 표준화, 모델 다운로드 및 관리를 가능하게 하는 다목적 사이드카.
- 이기종 GPU 추론: 이기종 GPU를 사용한 비용 효율적인 SLO 기반 LLM 추론.
- GPU 하드웨어 장애 감지: GPU 하드웨어 문제의 사전 감지.