하드웨어
PC·GPU·네트워크 견적과 실측.
2개 글
Mac 두 대 묶어서 80B 굴리는 Exo, 우분투에선 아직 한참 멀었음
Mac Mini와 MacBook Pro 두 대를 클러스터로 묶어 80B 모델을 70 tok/s 넘게 돌렸다는 영문 후기를 봤다. OpenAI 호환 API라 갈아끼우기는 좋아 보이는데, Linux 빌드는 아직 CPU 전용이라 우분투 서버 운영하는 입장에선 그림의 떡. 한국 1인 개발자 비용 관점에서 합리적인 시나리오와, Apple Silicon 종속 도구가 늘어나는 흐름에 대한 후기.
- #Exo
- #로컬LLM
- #분산추론
- #Mac클러스터
26-05-01 12:20
2026년에 로컬 AI 머신 짜려다가 결국 이거 샀음
클라우드 API 비용 무서워서 로컬 AI 머신 견적 일주일 굴린 후기. RTX 5090부터 중고 3090, M5 Max까지 직접 비교하고, 한국 전기료/아파트 환경까지 고려해서 결국 어떤 조합이 답인지 정리. 가성비 정답은 의외로 단순함.
- #로컬AI
- #GPU
- #RTX3090
- #LocalLLM
26-03-22 21:47