1비트로 풀정밀도 따라잡았다는 8B 모델 — 후기 글들이 좀 이상함
1.15GB짜리 8B 모델 Bonsai 8B가 풀정밀도와 동급이라는 영문 후기 글들이 한 다스쯤 도는 중인데, 공식 모델 카드 숫자와 대조하면 일부 셀이 어긋나고 빠진 디테일도 보임. Qwen3 베이스라는 점, 실제로는 1.125비트라는 점, 한국어 약점 가능성까지 한 번 짚어봤음.
태그
#Qwen32개
이 태그가 달린 글 모음. 최신순.
Mac 두 대 묶어서 80B 굴리는 Exo, 우분투에선 아직 한참 멀었음
Mac Mini와 MacBook Pro 두 대를 클러스터로 묶어 80B 모델을 70 tok/s 넘게 돌렸다는 영문 후기를 봤다. OpenAI 호환 API라 갈아끼우기는 좋아 보이는데, Linux 빌드는 아직 CPU 전용이라 우분투 서버 운영하는 입장에선 그림의 떡. 한국 1인 개발자 비용 관점에서 합리적인 시나리오와, Apple Silicon 종속 도구가 늘어나는 흐름에 대한 후기.