얼리버드 가격(12월 25일까지), 구독을 유지하는 동안 계속 적용: Go 월 $10(정가 $20), Opus 5.5를 쓰는 Plus 월 $30(정가 $50)지금 구독하기 →

Inkling 2 Mini 리뷰: 20GB 모델로 구현한 진짜 노트북급 속도

호스팅 환경에서는 초당 280토큰이라는 수치가 보이지만, 실제 노트북에서는 하드웨어와 런타임에 따라 초당 8~220토큰까지 편차가 크다. Inkling 2 Mini는 오프라인 코딩 에이전트용으로 꽤 매력적인 선택지다. 약 20GB에 들어가는 26.4B 오픈 웨이트 모델이지만, 다운로드하기 전에 채팅 품질과 사실성, API 지원 현황의 한계는 알고 있어야 한다.

Inkling 2 Mini가 잘 맞는 작업과 피해야 할 작업

Inkling 2 Mini는 특정 작업에서는 뛰어나지만 여러 작업에서는 약점이 뚜렷하다. 벤치마크 숫자보다 먼저 실제 워크로드를 따져야 하는 이유다. 도구와 검색을 활용하는 오프라인 코딩 지원이 주력 분야이며, 채팅 중심 작업이나 API만으로 사용하는 방식은 잘 맞지 않는다.

주요 워크로드Mini에 대한 판단
32GB 이상 Mac 또는 DGX Spark에서 실행하는 오프라인 코딩 에이전트매우 적합: 최고 성능 수치가 이 영역에 집중된다
비공개 장문 컨텍스트 작업(명목상 최대 1M 토큰)테스트할 가치가 있음: 실제 사용은 32K 컨텍스트부터 시작할 것
멀티턴 채팅 또는 엄격한 지시 준수비추천: 이 영역에서는 Qwen3.8-27B가 더 나은 수치를 보인다
현재 시점의 호스팅 API 사용비추천: 아직 서버리스 등록이 없고 샘플링 및 파인튜닝 요금만 공개돼 있다

이제부터는 이 차이가 어디서 생기는지 살펴본다. 루프 구조가 무엇을 바꾸는지, 어떤 벤치마크를 믿을 만한지, 실제 로컬 속도는 어느 정도인지, 그리고 가격이 무엇을 의미하는지를 차례로 정리한다.

Inkling 2 Mini의 구조와 루프 방식

Thinking Machines Lab은 2026년 11월 20일 Inkling 2 Mini를 Apache 2.0 라이선스의 오픈 웨이트로 공개했다. 가중치는 Hugging Face의 thinkingmachines/Inkling-2-Mini에 올라와 있다. 텍스트와 이미지를 입력으로 받고 텍스트를 출력하며, 최대 컨텍스트는 1M 토큰으로 표기돼 있다.

항목Inkling 2 Mini
출시2026년 11월 20일, Thinking Machines Lab
라이선스Apache 2.0
파라미터총 26.4B / 토큰당 활성 3.4B / 루프 적용 시 유효 5.4B
레이어저장 레이어 24개; 가운데 12개는 토큰당 3회 실행(6 + 3x12 + 6 = 총 48회 적용)
MoE 라우팅레이어마다 토큰당 128개 전문가 중 8개 선택
정밀도20개 레이어는 NVFP4, 마지막 4개는 MXFP8; 약 20GB 체크포인트(19.5GB + predictor 0.64GB)
컨텍스트 / 모달리티최대 1M 토큰; 텍스트와 이미지 입력, 텍스트 출력
로컬 실행 대상Ollama를 통한 32GB 이상 메모리의 Mac, 또는 모델 카드에 명시된 NVIDIA DGX Spark 1대

3.4B는 저장된 활성 파라미터 수를 뜻한다. 여기에 루프 3회 실행을 반영하면 실제 연산량은 대략 5.4B가 된다. 같은 가중치를 재사용해 파일 크기는 줄였지만 토큰당 연산량은 늘어난 구조다. 자세한 내용은 Hugging Face의 기술 해설에서 확인할 수 있다.

루프가 추가하는 것은 연산량이지 지식의 양이 아니다. 출시 발표에서도 Mini가 사실 회상 능력에서는 더 큰 Inkling 모델보다 약하다고 설명한다. 지식량은 주로 전체 파라미터 수에 따라 늘어나기 때문에, 이 모델에서는 검색과 도구 활용이 특히 중요하다.

Thinking Machines의 공식 Inkling 2 Mini 발표 페이지

믿을 만한 벤치마크와 걸러서 봐야 할 수치

아래 수치는 모두 Hugging Face 모델 카드에 공개된 연구소 자체 하네스 결과다. Mini는 도구를 활용하는 코딩과 검색에서 앞서지만, 추론과 비전, 채팅 규율에서는 동률이거나 뒤처진다.

업체가 공개한 6개 벤치마크에서 Inkling 2 Mini와 Qwen3.8-27B 비교

Mini는 DeepSWE v1.1에서 48.2%로 Qwen3.8-27B의 42.2%를 앞섰고, SWE-Bench Verified에서도 79.2% 대 77.8%로 우세했다. BrowseComp는 79.0% 대 61.6%, MCP Atlas는 82.7% 대 77.3%였다. Artificial Analysis의 Intelligence Index에서는 두 모델 모두 20.1점을 기록했지만, Mini는 인덱스 작업을 9.0분 만에 끝내 Qwen의 38.2분보다 빨랐다. ARC Prize 기준으로는 최고 추론 설정에서 ARC-AGI-1 84.5%, ARC-AGI-2 49.3%를 기록했다.

반대로 같은 모델 카드에서 Mini가 밀리는 항목도 분명하다. HLE-Diamond는 15.2% 대 15.3%, MMMU Pro는 74.9% 대 76.3%, Terminal-Bench v2.1은 71.6% 대 73.0%였다. 사실성 차이는 더 크다. AA-Omniscience 비환각 점수는 Mini가 63.4%, Qwen이 71.4%였다. ComplexConstraints(33.4%)와 MultiChallenge(50.0%)에서도 Qwen에 뒤졌다.

로컬 실행 속도는 환경마다 크게 다르다

공식 Ollama 등록 정보와 모델 카드는 32GB Mac 또는 DGX Spark를 실행 환경으로 제시한다. 하지만 루프형 모델 지원이 아직 초기 단계라 실제 속도 편차가 크다. Artificial Analysis에서 측정한 호스팅 속도인 280 tok/s만 보고 노트북 성능을 예상하면 곤란하다.

환경보고된 속도출처
호스팅 평가(Artificial Analysis)280 tok/s제3자 측정
RTX 4090, 패치된 vLLM + FP8/NVFP4 + drafter약 190~220 tok/sReddit 사용자, 패치 후 결과(기본 117)
M5 Max MacBook Pro약 125 tok/s@alexocheema
M1 Max MacBook Pro 64GB, 4비트 양자화약 20 tok/sHacker News 사용자 gregsadetsky, eesel 출시 리뷰 인용
초기 llama.cpp 빌드, 다양한 하드웨어약 5~10 tok/sr/LocalLLM 스레드

“5 t/s조차 나오게 할 수 없었다.” — u/KURD_1_STAN, r/LocalLLM 비교 스레드

이처럼 차이가 큰 이유는 런타임 지원과 양자화 방식에 있다. 최신 빌드는 출시 초기 빌드보다 루프 레이어를 잘 처리하고, 양자화 선택에 따라 메모리 사용량도 달라진다. Crewmark에 소개된 Unsloth 가이드에 따르면 권장 4비트 구성은 약 17.6GB에 639MB 비전 프로젝터가 추가된다. 긴 컨텍스트를 사용하면 KV 캐시 부담도 더해진다.

동일한 지연 시간으로 결제 매칭 작업을 테스트한 사례에서는 Qwen이 오매칭 없이 정확도 98.2%를 기록한 반면, Mini는 오매칭 5건을 포함해 96.9%였다.

“실제 결제 매칭 작업에서 Inkling 2 Mini와 Qwen3.8-27B를 테스트했다... Qwen: 정확도 98.2%, 오매칭 0건... Inkling: 96.9%, 오매칭 5건... 이 작업에는 Qwen을 계속 사용한다.” — @exebat3(게시물)

실전에서는 32K 컨텍스트부터 시작하고, 메모리가 부족하면 더 낮추는 편이 좋다. 품질을 평가하기 전에 사용 중인 런타임 빌드가 루프 레이어를 지원하는지도 반드시 확인해야 한다.

결제 버튼 없는 가격표

Artificial Analysis 모델 페이지에 인용된 Tinker 요금은 입력 토큰 100만 개당 $0.15, 캐시 입력은 $0.015, 출력은 $0.50이다. 파인튜닝은 64K 기준 $0.75, 256K 기준 $1.50다. 실제 토큰 사용량을 적용하면 인덱스 작업 1회당 비용은 Qwen3.8-27B의 $3.53에 비해 $0.59로 계산된다.

다만 $0.59는 구매 가능한 호스팅 가격이 아니라 추정치다. 리뷰 시점에 Mini는 어떤 서버리스 추론 목록에도 올라와 있지 않았다. eesel의 리뷰도 Tinker와 OpenRouter를 확인한 결과를 이렇게 기록한다. 또한 인덱스 실행에서 Mini는 161M 출력 토큰을 생성했는데, 중앙값은 85.7M이었다. 토큰당 가격이 낮아도 지나치게 긴 출력이 일부 이점을 상쇄할 수 있다는 뜻이다. 직접 호스팅한다면 호스팅 Qwen이나 프런티어 API와 하드웨어, 전력, 설정 비용을 함께 비교해야 한다.

성패를 가르는 두 가지 설정

추론 강도는 none(0.0)부터 minimal(0.1), low(0.2), medium(0.7), high(0.9, 기본값), xhigh/max(0.99)까지 선택할 수 있다. 모델 카드에 따르면 minimum 설정만으로는 추론이 완전히 꺼지지 않는다.

낮은 설정이 오히려 더 나을 때도 있다. r/LocalLLM의 Terminal-Bench 토론에서 한 사용자는 13개 작업 중 low 설정으로 10개를 해결했지만, medium에서는 반복적으로 시간 초과를 겪었다. 한편 eesel의 리뷰가 인용한 Hacker News 테스터는 도구 없이 사고 토큰 19,200개를 소모하고도 작업을 끝내지 못했다. 검색을 켜자 해결책을 내놓았지만 훅 이름이 틀렸다.

출력 토큰과 에이전트 턴 수를 제한하고, 파일 시스템 접근은 샌드박스 안에서만 허용해야 한다. 실제 운영에 투입하기 전에는 사람의 검토 절차도 필요하다. 모델 카드 역시 확인 없이 파괴적인 작업을 수행하거나, 특히 코드 디버깅 중 추론 루프에 빠질 가능성을 경고한다.

다운로드 전에 받아들여야 할 트레이드오프

Mini는 중간 레이어를 재사용해 체크포인트를 키우지 않고도 더 많은 연산을 수행한다. 연구소는 이 동작을 분석할 수 있도록 루프 횟수를 바꿀 수 있는 연구용 체크포인트도 제공한다(해설). 하지만 문제도 구체적이다. 디버깅 중 루프에 빠지는 현상, 응답 도중 일본어로 전환됐다는 사용자 보고, 그리고 통제하지 않으면 위험할 수 있는 도구 호출이 있다. 안전장치를 갖춘 오프라인 코딩이 목적이라면 다운로드할 만하지만, 신중한 채팅이나 원클릭 API가 필요하다면 기다리는 편이 낫다.

FAQ

Inkling 2 Mini를 노트북에서 실행할 수 있나요?

적절한 빌드를 사용하면 가능하다. Ollama 또는 최신 llama.cpp를 이용하는 32GB 이상 Apple 실리콘 Mac이 필요하며, 4비트 구성이라면 약 17.6GB에 프로젝터 용량이 추가된다. 구형 M1 Max에서는 약 20 tok/s, M5 하드웨어에서는 100+ tok/s를 기대할 수 있다. 패치되지 않은 런타임에서는 한 자릿수 속도까지 떨어질 수 있다(위 표 참조).

Inkling 2 Mini가 Qwen3.8-27B보다 낫나요?

코딩 에이전트에는 그렇지만, 채팅에서는 그렇지 않다. 위 차트처럼 Mini는 DeepSWE, SWE-Bench Verified, BrowseComp, MCP Atlas에서 앞선다. 반면 Qwen은 Terminal-Bench v2.1, MMMU Pro, 사실성, 제약이 많은 지시 준수에서 우세하다. 모든 수치는 모델 카드를 통한 업체 공개 결과다.

왜 어떤 자료는 활성 파라미터를 3.4B와 5.4B로 각각 표기하나요?

3.4B는 저장된 활성 파라미터 수다. 여기에 약 1.0B 규모의 루프 실행 3회를 더한 값이 5.4B다. 메모리 사용량을 볼 때는 3.4B를, 연산량을 볼 때는 5.4B를 기준으로 보면 된다.

현재 Inkling 2 Mini를 호스팅 API로 호출할 수 있나요?

리뷰 시점에는 공식 서버리스 엔드포인트가 없었다. eesel의 확인 결과에 따르면 Tinker는 샘플링 및 파인튜닝 요금을 공개했지만 Mini 서버리스 등록은 제공하지 않는다. Hugging Face 가중치를 로컬에서 실행하거나 호스팅 지원을 기다려야 한다.

추론 루프를 멈추려면 어떻게 해야 하나요?

모델 카드의 권장처럼 먼저 low(0.2) 추론 강도를 사용하고, 출력 토큰과 에이전트 턴 수를 제한하며, 도구는 샌드박스에서 실행해 보자.

관련 글: 594B 형제 모델 Mini의 답변을 다룬 Inkling 2 Small 리뷰 및 API 가격, 여러 에이전트 모델 중 Mini의 위치를 비교한 2026년 코딩 에이전트용 최고의 LLM, 로컬에서 Mini가 의존하는 런타임을 다룬 llama.cpp v1.0 가이드.