내 상황에 맞는 시작점
모르는 전문 용어는 고급 설정을 열기 전에는 입력하지 않아도 됩니다.
예시로 보기
내 GPU 기준으로 확인
GPU 이름 하나로 실행 가능한 AI 모델을 확인하세요
VRAM 적합성, 권장 양자화, 예상 속도를 한 화면에서 비교합니다.
공식·공개 출처를 바탕으로 매주 갱신합니다.
- 회원가입 없이
- 입력값은 브라우저 안에
- 계산식·데이터 공개
GPU 선택
사용 중인 GPU를 찾아보세요
찾는 GPU가 아직 목록에 없나요?
직접 사양을 입력해 바로 계산하거나, 이름을 채운 상태로 추가 요청을 보낼 수 있습니다.
목록에서 바로 선택
GPU를 선택해 주세요
선택 즉시 현재 환경에 맞는 모델을 계산합니다.
내 GPU
일치하는 GPU가 없습니다.
이 GPU의 작업 범위
기본 하드웨어
보조 GPU 선택
서로 다른 GPU를 함께 쓰는 경우 메모리 분할·통신 손실을 보수적으로 반영합니다.
메모리 보정
고급 도구
Hugging Face 공개 LLM 직접 계산
여러 모델 함께 돌리기
AI 스택 배치 플래너
LLM·임베딩·리랭커·OCR/VLM을 보유 GPU에 나눠 배치합니다.
사용 가이드
처음에는 균형형으로 시작하세요
- RAG·문서 AI·여러 LLM 중 가까운 구성을 선택합니다.
- 보유 GPU와 동시에 실행할 모델을 확인합니다.
- 운영 방식과 목표 동시 사용자를 정합니다.
- 배치 계산 후 병목과 세 가지 대안을 비교합니다.
- 파이프라인
- 한 요청이 여러 모델을 순서대로 사용
- 독립 서비스
- 모델마다 별도 API와 사용자를 운영
- 순차 실행
- 설치해 두고 한 번에 하나만 실행
결과는 계산 추정치입니다. 실제 운영 전에는 내 환경에서 검증하세요.
처음이라면 여기서 시작하세요
AI 스택을 GPU에 배치해 보세요
보유 GPU와 함께 실행할 모델을 선택하면 GPU별 배치, 권장 동시 접속, 예상 처리량, 병목과 개선 방법을 계산합니다.
- 1하드웨어
- 2모델 선택
- 3운영 목표
- 4배치 결과
1
보유 GPU 목록
하드웨어보유한 GPU와 수량을 입력하세요.
2
동시에 띄울 모델 검색 후 클릭해서 선택 (여러 종류 섞어서 선택 가능)
모델 선택검색하거나 워크로드 종류를 골라 함께 실행할 모델을 추가하세요.
3
운영 방식
운영 목표기본 목표 세 가지만 선택하면 계산할 수 있습니다.
세부 조건
4
배치 결과결론과 배치안을 먼저 보고, 필요할 때 계산 상세를 펼치세요.
계산 상세 보기
GPU 비교
추천 모델
GPU 선택 필요· 실행 가능한 모델 3개
VRAM × QUALITY
내 VRAM에서 가장 성능 좋은 로컬 모델
같은 공개 벤치마크끼리만 Q4_K_M 예상 VRAM과 성능을 비교합니다.
기준: Q4_K_M · 4K context · 동시 요청 1 · llama.cpp. 점수는 각 모델 제작자가 공개한 값이며, 시험 세부 조건은 출처에서 확인하세요.