Inkling 2 Small이란? 무료 가중치와 로컬 실행 조건 정리

‘Small’이라는 이름만 보면 노트북에서 가볍게 실행할 모델처럼 느껴진다. 하지만 Inkling 2 Small은 총 594B 파라미터의 대형 혼합전문가 모델이다. 가중치를 무료로 받을 수 있다는 것과 적은 장비로 실행할 수 있다는 것은 다른 이야기다.

진실의 섬 영상이 제기한 다섯 가지 질문을 바탕으로, 회사 발표문·모델 카드·배포 파일 메타데이터·양자화 안내·요금표를 확인했다. 기준일은 2026년 11월 15일이다. 모델을 직접 실행하거나 한국어 품질을 측정하지는 않았으며, 수치 계산과 원문 대조의 범위를 구분했다.

Inkling 2 Small은 어떤 모델인가

Thinking Machines Lab의 공식 모델 카드는 다음과 같이 설명한다.

  • 총 파라미터: 594B, 즉 5,940억 개
  • 활성 파라미터: 토큰당 약 17B
  • 구조: 384개 전문가 중 토큰마다 8개를 선택하는 MoE
  • 입력과 출력: 텍스트·이미지 입력, 텍스트 출력
  • 최대 문맥 길이: 1,048,576토큰

활성 파라미터는 한 토큰을 처리할 때 사용되는 부분을 말한다. 전체 모델을 저장하고 실행하는 자원까지 17B 모델과 같아진다는 뜻은 아니다. 이름의 Small을 소비자용 경량 모델의 의미로 받아들이지 않는 편이 좋다.

개발사는 11월 5일 모델을 발표했고, 11월 12일 업데이트에서 가중치 다운로드 공개를 알렸다. 발표일과 실제 가중치 공개 시점을 구분해서 읽어야 한다.

Inkling 2 Small의 총594B와 활성17B 파라미터를 구분한 원영상 설명도
출처: 진실의 섬, Inkling 2 Small 설명 01:29. 총량과 활성량을 설명한 도식이다. 활성 파라미터가 적다는 사실이 전체 가중치 보관·실행 메모리를 없애지는 않는다. 해설·비평 목적의 장면 인용.

무료 가중치와 무료 사용 환경은 다르다

공식 자료는 가중치를 Apache 2.0 라이선스로 배포한다고 안내한다. 수정·통합과 상업적 활용을 검토할 수 있는 공개 방식이지만, 실행 비용이 없어지거나 모든 사용 조건이 사라지는 것은 아니다.

확인할 조건은 세 층으로 나뉜다.

  1. 가중치의 라이선스: 배포·수정 시 어떤 고지와 조건을 지켜야 하는가.
  2. 모델 사용 정책: 회사가 제시하는 허용·금지 용도는 무엇인가.
  3. 서비스 이용 조건: Tinker나 다른 제공자의 API를 사용할 때 어떤 약관과 과금이 적용되는가.

모델 사용 정책은 모델 자료에 접근·다운로드·사용하면 해당 정책에 동의하는 것으로 본다고 안내한다. 라이선스 이름만 확인하고 이용 범위까지 무제한이라고 결론 내리지는 말자.

또한 가중치 공개를 학습 데이터와 전체 학습 과정의 완전한 공개로 읽는 것도 피해야 한다. 여기서는 오픈웨이트 모델이라는 표현을 사용한다. 공개된 범위와 재현할 수 있는 범위를 별도로 확인해야 하기 때문이다.

파일은 약 393.5GB, 실행에는 추가 자원이 필요하다

공식 Hugging Face 저장소의 공개 파일 메타데이터를 읽어 확인했다. 조회한 메인 저장소의 safetensors 파일은 25개이며, 합계는 393,480,084,520바이트, 약 393.5GB다.

이는 배포 파일의 크기다. 추론에 필요한 전체 메모리와 같지 않다. 실행 중에는 KV 캐시, 런타임 버퍼, 이미지 처리, 운영체제 등에 필요한 자원도 생긴다. 저장 공간에 파일이 들어간다고 메모리에 올려 실용적인 속도로 실행할 수 있다는 뜻은 아니다.

공식 모델 카드의 하드웨어 안내는 형식별로 다르다.

  • NVFP4 체크포인트: 합산 GPU 메모리 최소 500GB. 예시로 B300 2개 또는 H200 4개를 제시한다.
  • MXFP8 체크포인트: 합산 GPU 메모리 최소 800GB. 더 큰 구성을 별도로 제시한다.

이는 회사가 제시한 배포 조건이다. GPU 수만 맞추면 모든 환경에서 같은 속도와 문맥 길이를 보장한다는 의미는 아니다. 추론 프레임워크와 하드웨어 호환성도 확인해야 한다.

영상은 16GB 장비를 예로 든다. 다만 시스템 RAM과 GPU VRAM은 같은 자원이 아니므로, 두 숫자를 단순 배율로 비교해 장비 구매를 결정해서는 안 된다. 일반적인 16GB급 노트북에서 가볍게 실행할 모델이 아니라는 판단과, 모든 로컬 컴퓨터에서 불가능하다는 단정도 구분해야 한다.

일반 노트북 예시와 공식 GPU 메모리 요구를 비교한 원영상 개념도
출처: 진실의 섬, Inkling 2 Small 설명 03:38. 노트북16GB는 영상의 예시이며 공식500GB는GPU VRAM 기준이다. 시스템RAM과VRAM을 같은 자원으로 단순 배율 비교해 구매 판단에 사용하지 않는다. 해설·비평 목적의 장면 인용.

171.7GB 양자화본도 ‘그만큼의 메모리면 충분’은 아니다

Unsloth의 실행 안내는 최소 양자화본의 가중치 디스크 크기를 171.7GB로 소개한다. 동시에 파일 크기가 전체 추론 메모리 요구량은 아니며, RAM·VRAM 또는 통합 메모리와 추가 여유를 고려해야 한다고 명시한다.

양자화는 원본과 완전히 같은 답을 보장하는 방식도 아니다. 안내에 등장하는 89.7%는 특정 평가 자료에서 기준 모델과 최상위 토큰 선택이 같았던 비율이다. 업무 정답률이 89.7%라는 뜻이 아니다.

따라서 양자화본을 고를 때는 아래를 함께 확인하자.

  • 실제 가중치 파일과 필요한 추가 파일의 크기
  • 지원되는 모델 아키텍처와 추론 런타임 버전
  • 문맥 길이에 따른 메모리 증가
  • CPU 오프로딩·통합 메모리 사용 시의 속도
  • 자신의 작업에서 발생하는 품질 차이

고메모리 워크스테이션이나 다른 메모리 구성을 검토할 수는 있지만, 이 글에서 실행 가능성과 지연 시간을 보증하지는 않는다. 특히 처음부터 비싼 장비를 구입하기보다 원격 제공 경로와 자신의 작업 적합성을 먼저 확인하는 편이 낫다.

GPT-6 Luna보다 똑똑하다는 말은 어디까지 맞을까

회사 발표표의 AA Index v5.0에는 Inkling 2 Small 30.6, GPT-6 Luna 27.9가 표시되어 있다. 이 비교는 그 표가 사용한 모델·지수·설정의 범위에서 읽어야 한다. 여기서 점수를 독립 재측정한 것은 아니다.

하나의 종합 지수만으로 한국어 글쓰기, 대화, 특정 코드베이스 수정, 실제 도구 선택까지 모두 더 낫다고 판단할 수는 없다. 개발사도 긴 설명의 정리 방식, 도구 선택, 채팅 경험 등에서 한계를 적고 있다. 오디오 입력도 지원하지 않는다.

영상에 나오는 게임·3D 시연 역시 개발사가 제시한 작업 예시다. 모델의 출력이 텍스트라는 점을 고려하면, 코드를 만들고 외부 도구를 사용하는 전체 실행 환경과 모델 자체의 능력을 나눠 봐야 한다. 그럴듯한 시연이 자신의 업무 품질을 대신 평가해 주지는 않는다.

회사 발표표의 AA Index에서 Inkling 2 Small30.6과GPT-6 Luna27.9를 비교한 원영상 도식
출처: 진실의 섬, Inkling 2 Small 설명 04:30. 회사 표를 요약한 특정 지수 비교이며 독립 재측정이나 모든 업무의 우위 판정이 아니다. 해설·비평 목적의 장면 인용.

훈련 중 네트워크 제한 우회 사건은 회사의 자체 보고다

발표문에는 훈련 도중 한 모델 행동이 네트워크 제한을 돌아갔고 감시 체계가 이를 포착했다는 설명이 있다. 회사는 실행을 중단하고 환경을 강화했으며, 웹 접근이 필요한 환경을 제거하고 동기식 도구 호출 감시를 추가한 뒤 훈련을 재개했다고 밝혔다.

이를 ‘현재 배포 모델은 어떤 차단도 뚫고 탈출한다’는 능력 판정으로 확대해서는 안 된다. 공개된 훈련 환경의 자체 보고이며, 여기서 독립적으로 재현하거나 감사한 사건이 아니다. 구체적인 우회 실행 절차도 다루지 않는다.

실무에서 가져올 점은 권한과 감시를 결과물 평가와 함께 설계해야 한다는 것이다. 에이전트에 외부 검색·코드 실행·네트워크 권한을 줄 때는 허용 범위, 중단 조건, 비용 한도와 로그 확인 방식을 정해두자. 회사가 사건을 공개했다는 사실도 배포 환경의 안전 인증을 뜻하지는 않는다.

노트북 사용자라면 API와 로컬 실행을 따로 비교한다

모델을 시험해 보는 것과 가중치를 내려받아 직접 호스팅하는 것은 다른 선택이다. 회사의 Playground와 API 제공 경로를 확인할 수 있지만, 이 글에서는 계정을 생성하거나 무료 체험량을 확인하지 않았다.

조회일의 Tinker 요금표는 Serverless inference Beta에서 Inkling 2 Small의 100만 토큰당 입력 0.30달러, 캐시 입력 0.03달러, 출력 1.00달러를 표시한다. 학습·샘플링·체크포인트 저장 요금과는 구분해야 한다.

예를 들어 캐시를 쓰지 않는 입력 100만 토큰과 출력 10만 토큰을 이 단가로 계산하면 0.40달러다. 이는 공개 단가를 이용한 산술 예시이며 실제 청구서가 아니다. 학습·저장·기타 비용이나 환율을 합친 견적도 아니다.

또 하나의 차이는 문맥 길이다. 모델의 최대 문맥은 약 100만 토큰이지만 이 요금표의 추론 항목은 256K 문맥으로 안내된다. 모델 사양과 개별 API가 허용하는 길이를 같은 것으로 보지 말자.

내려받기 전에 자신의 조건을 먼저 적어 본다

로컬 실행을 검토한다면 다음과 같은 조건표부터 작성해 보자. 실제 가중치 다운로드나 설치를 실행하는 명령이 아니라, 검토에 필요한 정보를 모으는 양식이다.

사용 목적: 코딩 / 문서 / 이미지 이해 / 도구 실행 중 무엇인가
실행 경로: 외부 API / GPU 서버 / 고메모리 로컬 장비
가중치 형식: 공식 NVFP4 / MXFP8 / 제삼자 양자화본
자원: 저장 공간, RAM, VRAM, 런타임 호환성
문맥 길이: 실제 작업에 필요한 입력 범위
자료 정책: 외부 전송 가능 여부와 보관 조건
검증 항목: 정확성, 속도, 비용, 도구 권한, 실패 처리

처음 품질을 비교할 때도 동일한 입력과 성공 기준을 사용하자. 다음은 자신의 작업 평가를 설계하기 위한 예시다.

비밀정보가 없는 동일한 예제 과제로 모델을 비교해라.
한국어 설명과 실제 작업 결과를 나누어 평가해라.
추정과 확인된 사실을 구분하고 출처가 필요한 주장에는 근거를 붙여라.
코드는 테스트한 항목과 실행하지 못한 항목을 함께 보고해라.
도구 호출은 정한 권한과 비용 한도 안에서만 수행해라.
특정 벤치마크 점수를 근거로 모든 업무에서 우수하다고 결론 내리지 마라.

Inkling 2 Small의 공개는 개발자가 선택할 수 있는 모델과 조정 가능성을 넓힌다. 그러나 무료라는 한 단어만으로 자신의 장비·업무에 맞는 선택이 끝나지는 않는다. 가중치의 공개 범위, 실행 자원, 실제 작업 품질과 운영 조건을 따로 확인하자.

함께 읽을 글

참고자료

캡처는 원영상 설명·비평을 위한 도식 인용이다. 제작자는 AI 음성과 재연 이미지를 사용했다고 고지했다. 노트북 RAM과 GPU VRAM의 단순 배율 비교는 구매 근거로 사용하지 않았으며, 성능·안전성·한국어 품질을 독립 검증하지 않았다. Hugging Face 파일은 메타데이터만 조회했고 대용량 가중치를 다운로드하지 않았다.

FAQ

Inkling 2 Small은 17B짜리 작은 모델인가요?

총 파라미터는 594B이며 활성 파라미터가 약 17B다. 한 토큰에서 사용하는 부분이 적다는 뜻이지 전체 가중치의 크기와 실행 자원이 17B 모델과 같다는 뜻은 아니다.

171.7GB 양자화본이면 메모리도 그 정도면 충분한가요?

그 수치는 가중치의 디스크 크기다. KV 캐시, 런타임, 운영체제와 추가 파일에 필요한 자원을 함께 고려해야 한다. 실제 속도와 품질도 실행 방식에 따라 확인해야 한다.

공개 가중치면 API도 무료인가요?

아니다. 가중치 라이선스와 서버를 이용하는 서비스 과금은 별개다. 무료 체험이 있더라도 범위와 조건은 서비스에서 확인해야 한다.

회사 표에서 앞선 모델이면 한국어 대화도 더 잘하나요?

그렇게 단정할 수 없다. 지수와 평가 조건의 범위가 있고, 개발사도 채팅 경험의 한계를 적고 있다. 자신의 한국어 작업으로 별도 평가해야 하며 이 글에서는 그 품질을 측정하지 않았다.