1비트 LLM·삼항 파라미터란? BitNet b1.58 쉽게 정리

BitNet b1.58은 AI 모델의 주요 선형층 가중치를 -1, 0, +1 세 값으로 제한하는 방식이다. 대표 사례는 마이크로소프트가 2025년 4월 공개한 BitNet b1.58 2B4T 기술 보고서와 공개 가중치다. 이름은 2B지만 실제 파라미터 수는 약 24억 개이며, 4조 토큰으로 처음부터 W1.58A8(1.58비트 가중치·8비트 활성값) 방식으로 학습했다. 연구진은 이를 2B급 첫 오픈소스 네이티브 1비트 LLM으로 소개한다.

24억

실제 파라미터이름은 2B급

4조

학습 토큰처음부터 삼항 가중치로 학습

1.58비트

가중치 정보량-1·0·+1 세 상태

8비트

활성값 정밀도모델 전체가 1.58비트는 아님

구분	기존 모델(16비트)	1비트(b1.58)
파라미터 값	소수점까지 정밀	-1, 0, +1
저장·전력	큼	크게 절감
실행 환경	크기·형식에 따라 CPU 또는 GPU	전용 커널로 CPU·GPU 지원

왜 ’1비트’인데 이름은 1.58비트인가?

먼저 헷갈리는 지점부터 정리한다. 흔히 ’1비트 LLM’이라 부르지만 BitNet의 정확한 이름은 b1.58이다. 파라미터가 -1, 0, +1 세 가지 값을 갖기 때문이다. 서로 다른 세 상태를 구분하려면 정보이론상 log2(3), 즉 약 1.58비트가 필요하다. 그래서 ’1비트’는 극단적으로 낮은 정밀도 계열을 부르는 통칭이고, 삼항 방식의 실제 수치가 1.58비트다(Microsoft Research 원 논문).

여기서 한 가지 의문. 스위치를 켜고 끄는 진짜 1비트(-1과 +1)면 더 단순할 텐데 왜 굳이 0을 끼워 세 값으로 만들었나. 0이 있으면 “이 연결은 무시한다”는 선택이 가능해지기 때문이다. 이진값은 모든 연결이 무조건 더하거나 빼야 하지만, 삼항은 중요하지 않은 연결을 0으로 둘 수 있다. 연구진은 이 구조로 행렬 곱셈의 부담을 줄이면서 비슷한 크기 모델과 경쟁할 표현력을 남기려 했다.

다만 가중치가 세 값이라고 저장 파일의 모든 숫자가 1.58비트가 되는 것은 아니다. 2B4T는 활성값을 8비트로 다루고, 임베딩과 정규화 계층·토크나이저·메타데이터도 필요하다. 생성 중에는 이전 토큰의 키·값을 담는 KV 캐시와 런타임 버퍼가 생긴다. 따라서 “24억 × 1.58비트”만 계산한 값은 이론적인 가중치 바닥에 가깝고 실제 실행 메모리 예산이 아니다.

기존 16비트와 뭐가 다른가?

FP16·BF16 모델은 가중치 하나를 16비트로 표현한다. 삼항 가중치의 정보량과 단순 비교하면 약 10분의 1이지만, 그 비율을 모델 파일이나 실행 RAM에 그대로 적용할 수는 없다. 임베딩, 정규화 계층, 8비트 활성값, KV 캐시와 런타임 버퍼가 별도로 필요하기 때문이다. 마이크로소프트의 2024년 원 논문 ‘The Era of 1-bit LLMs’에 실린 속도·메모리 수치도 특정 모델 크기와 하드웨어에서 얻은 비교값이다.

삼항 가중치와의 곱은 전용 커널에서 더하기·빼기·건너뛰기로 단순화할 수 있다. 그렇다고 추론의 모든 곱셈이 사라지는 것은 아니다. 어텐션과 활성값 처리 등 다른 연산은 남는다. bitnet.cpp 공식 저장소는 자사 CPU 벤치마크에서 ARM 기준 55.470.0%, x86 기준 71.982.2%의 에너지 절감을 보고한다. 이는 지원 커널로 비교한 범위이지 모든 기기에서 보장되는 절감률은 아니다.

기술 보고서의 약 0.4GB는 비임베딩 가중치 메모리 비교다. 배포용 GGUF 파일과 실제 실행 RAM은 그보다 크다. “24억 파라미터 모델이 RAM 0.4GB면 충분하다”라고 읽으면 안 된다.

기존 모델을 1.58비트로 바꾸는 양자화인가?

공식 2B4T는 완성된 FP16 모델을 마지막에 눌러 담은 사후 양자화 모델이 아니다. 연구진은 처음부터 선형층 가중치가 삼항값으로 동작하도록 학습했다. 학습 단계에서는 고정밀 가중치의 그림자 값을 갱신하면서 순전파에 쓸 값을 -1·0·+1로 양자화하고, 활성값은 8비트 범위로 맞춘다. 그래서 이름에 W1.58A8이 붙는다. W는 가중치, A는 활성값이다.

이 차이는 정확도와 비용을 함께 볼 때 중요하다. 일반 모델을 4비트나 8비트로 사후 양자화하면 이미 학습한 표현을 얼마나 덜 손상시키며 압축할지가 문제다. 네이티브 BitNet은 훈련하는 동안 낮은 정밀도 제약에 적응한다. 대신 같은 구조의 기존 16비트 체크포인트를 버튼 한 번으로 공식 2B4T와 같은 모델로 만들 수 없고, 대규모 사전학습 자체가 필요하다.

bitnet.cpp 저장소가 여러 커뮤니티 1비트 모델과 변환 형식을 지원한다는 사실도 “아무 Llama 모델이나 손실 없이 1.58비트로 바꾼다”는 뜻은 아니다. 지원 목록은 실행 가능한 구조·커널을 말하고, 원본과 같은 품질을 보증하는 인증 목록이 아니다. 모델마다 어떤 방식으로 학습·변환됐는지와 실제 평가 결과를 따로 확인해야 한다.

또 학습 효율과 추론 효율은 같은 문제가 아니다. 2B4T의 강점으로 공개된 수치는 주로 배포 후 CPU·GPU 추론이다. 처음부터 4조 토큰을 학습하는 데 든 가속기 시간과 에너지가 16비트 모델보다 얼마만큼 줄었는지를 배포 벤치마크만으로 계산할 수는 없다. 로컬 실행이 싸다는 사실이 사전학습까지 자동으로 싸다는 뜻은 아니다.

왜 지금 트렌딩인가?

핵심은 전용 커널을 쓴 로컬 추론이다. 마이크로소프트의 bitnet.cpp는 x86·ARM CPU와 GPU 커널을 제공하고, 저장소에는 Apple M2에서 3B 모델을 돌리는 데모가 있다. 저장소가 언급한 “단일 CPU에서 100B 모델을 초당 5~7토큰”은 bitnet.cpp 시스템 보고서의 대규모 구성 벤치마크다. 공개된 2B4T 모델이 M2에서 그 속도로 돈다는 뜻은 아니다.

GPU 없이도 공식 GGUF 모델을 실행할 수 있다는 점은 분명한 장점이다. 다만 2B4T 기술 보고서의 비교 결과는 한 방향이 아니다. 평균 점수와 일부 언어 과제에서는 비슷한 크기의 공개 모델과 경쟁력이 있지만, 수학·지식 과제 중에는 Qwen2.5 1.5B나 SmolLM2 1.7B보다 낮은 항목도 있다. 라이선스와 사용 조건은 모델 카드와 코드 저장소를 각각 확인해야 한다.

2026년 7월에는 적용 범위도 넓어졌다. 공식 저장소는 6억·2억7천만 파라미터의 1비트 임베딩 모델을 공개했고, x86 CPU 8스레드 프리필에서 FP16 대비 각각 1.422.28배와 1.321.74배 속도 향상을 보고했다(microsoft/BitNet 공식 저장소). 생성형 챗봇뿐 아니라 검색·추천에 쓰는 벡터 임베딩까지 삼항 가중치를 시험하기 시작했다는 뜻이다. 다만 이 역시 저장소가 제시한 특정 CPU·커널 비교이고 모든 임베딩 모델에 일반화할 수 없다.

내 노트북에서는 무엇을 재야 하나?

첫 숫자는 파일 크기가 아니라 최대 실제 메모리다. 모델을 불러온 직후와 긴 문장을 생성한 뒤의 RAM을 각각 봐야 한다. 컨텍스트가 길어지면 KV 캐시가 커지므로 가중치 압축만 보고 잡은 메모리 예산을 넘을 수 있다. 운영체제의 파일 캐시까지 포함했는지, 같은 컨텍스트 길이와 배치로 비교했는지도 기록해야 한다.

두 번째는 생성 속도다. 첫 토큰이 나오기까지의 지연과 이후 초당 토큰 수를 나눠 봐야 한다. 문서 전체를 먼저 읽는 프리필과 한 토큰씩 이어 쓰는 디코딩은 병목이 다르다. 공식 저장소의 최대 6.17배 x86 속도 향상은 모델 크기·코어 수·지원 명령어·커널이 맞는 비교 결과다. 내 노트북에서 같은 배수가 나올 거라는 약속이 아니다.

세 번째는 전력이다. 노트북에서는 짧은 최고 속도보다 10분 이상 생성했을 때의 평균 소비전력, 팬 소음, 온도와 배터리 감소량이 중요하다. BitNet의 장점은 곱셈을 단순화해 CPU 에너지를 줄일 가능성인데, 런타임이 지원 커널을 쓰지 못하거나 다른 연산이 병목이면 이득이 줄어든다.

마지막은 목표 과제 정확도다. 요약 50건, 분류 200건, 코드 수정 30건처럼 실제 사용할 데이터로 정답률·형식 준수·거절률을 비교해야 한다. 2B4T와 2B급 비교 모델을 같은 프롬프트와 생성 설정으로 돌리고, RAM·속도·전력·정확도를 한 표에 놓아야 “작아서 좋다”가 아니라 “내 작업당 비용이 낮다”는 결론을 낼 수 있다.

어디에 쓰면 이득이 커지나?

가장 자연스러운 자리는 네트워크가 불안정하거나 데이터가 기기 밖으로 나가면 곤란한 작은 작업이다. 개인 PC의 문서 분류, 매장·공장의 엣지 장비, 제한된 명령을 처리하는 로컬 도우미처럼 2B급 모델로 해결할 수 있고 CPU 비용이 중요한 경우다. 가중치와 런타임을 모두 로컬에 두면 요청을 외부 API에 보낼 필요가 없지만, 실제 앱이 로그나 텔레메트리를 전송하지 않는지도 별도로 확인해야 한다.

대량 동시 요청에서는 계산이 달라진다. 서버 GPU는 여러 요청을 묶어 처리할 때 효율이 높고, 검증된 4비트 런타임과 더 큰 모델도 선택할 수 있다. BitNet의 CPU 장점이 한 사용자 환경에서 분명해도, 데이터센터 전체 처리량·개발 인력·모니터링 비용까지 합치면 클라우드 API가 더 쌀 수 있다. 중국 오픈 LLM과 미국 클라우드 LLM 비교처럼 라이선스·운영비·품질을 함께 계산해야 한다.

최고난도 추론·코딩을 2B4T에 맡기는 것도 맞지 않는다. 낮은 비트 수와 별개로 모델 규모가 24억 파라미터다. 긴 에이전트 작업을 겨냥한 클로드 오퍼스 5의 가격·성능과 비교하면 목표 자체가 다르다. BitNet은 작은 모델의 배포 효율을 묻는 실험이지 최신 대형 클라우드 모델을 전부 대체했다는 발표가 아니다.

이 발표를 그대로 믿어도 되나?

과장은 경계할 대목이다. 기술 보고서의 “비슷한 크기 모델과 동급”은 전체 평균에 가까운 표현이지, 모든 벤치마크가 동률이라는 뜻이 아니다. 수학·코딩·사실 지식처럼 용도에 민감한 작업은 목표 데이터로 직접 평가해야 한다. 24억 파라미터라는 모델 규모 자체의 한계도 1.58비트 효과와 분리해서 봐야 한다.

하드웨어 이득도 자동으로 생기지 않는다. bitnet.cpp가 지원하는 모델 구조·양자 형식과 CPU 명령어에 맞아야 하며, 일반 딥러닝 런타임에서 FP16 모델을 불러오듯 아무 1.58비트 모델이나 같은 성능으로 돌릴 수 있는 것은 아니다. 공식 저장소는 여러 커뮤니티 모델과 GPU 커널도 지원하므로 “자사 모델만 지원한다”는 설명 역시 현재는 맞지 않는다. 또 2B4T의 결과는 처음부터 삼항으로 학습한 모델에서 나온 것이며, 임의의 16비트 모델을 사후 변환해 같은 정확도를 보장하지 않는다.

보고서 자체도 arXiv에서 work in progress로 표시돼 있고, 논문 저자와 공식 런타임 개발 주체가 모두 마이크로소프트다. 공개 가중치와 코드 덕분에 독립 재현이 가능한 장점은 있지만, 기사에 인용한 최고 속도·전력 수치가 독립 기관의 평균치는 아니다. 같은 CPU와 같은 크기의 강한 4비트 기준 모델로 반복 측정한 결과가 더 쌓여야 범용적인 우위를 말할 수 있다.

“곱셈이 사라진다”는 표현도 범위를 좁혀야 한다. 삼항 선형층의 가중치 곱을 더하기·빼기·건너뛰기로 단순화할 수 있다는 뜻이지, 어텐션·정규화·활성값·샘플링을 포함한 모델 전체에서 곱셈기가 필요 없다는 뜻은 아니다. 하드웨어 제조 비용이 곧바로 10분의 1이 된다는 결론도 공개 결과에서 나오지 않는다.

누가 지금 직접 써볼 만한가?

CPU만 있는 PC나 엣지 장비에서 2B급 모델을 배포해야 하고, 속도보다 메모리·전력 제약이 더 큰 개발자라면 시험할 가치가 있다. 공식 가중치와 bitnet.cpp가 공개돼 있어 결과를 재현하고 실패 원인을 추적할 수 있다. 연구자에게는 네이티브 저정밀 학습과 전용 커널이 실제 시스템 비용을 어떻게 바꾸는지 살필 기준점이 된다.

반대로 “챗GPT급 답변을 인터넷 없이 무료로 얻고 싶다”는 기대라면 모델 규모부터 맞지 않는다. 한국어 품질, 긴 문맥, 도구 호출, 최신 지식은 별도로 검증해야 한다. 설치가 목적이 아니라면 온라인 데모와 기술 보고서로 출력 특성을 먼저 보고, 실제 장비에서는 작은 평가 세트로 비교하는 순서가 낫다.

운영자 관점의 판단은 이렇다. BitNet b1.58은 온디바이스·엣지·개인 PC처럼 CPU 비용과 메모리가 빡빡한 환경에서 검토할 가치가 있다. 다만 다운로드 파일 크기, 실제 RAM, 생성 속도와 목표 과제 정확도를 같은 장비에서 재야 한다. “1.58비트”라는 숫자 하나만 보고 기존 모델보다 무조건 10배 작고 빠르다고 결론 내리면 틀린다.

이 효율 경쟁이 왜 중국 오픈웨이트 모델에서 특히 빨라졌는지는 중국 오픈 LLM과 미국 클라우드 모델 비교에서, 자율형 프런티어 모델의 반대편 위험은 OpenAI 자율 해킹 사고 분석에서 이어진다.

자주 묻는 질문

1비트 LLM인데 왜 이름은 1.58비트인가?

가중치가 -1, 0, +1 세 상태를 가지기 때문에 정보량이 log2(3)≈1.58비트입니다. 다만 BitNet 2B4T의 활성값은 8비트이고 임베딩 등 다른 메모리도 있어 모델 전체 저장량이 파라미터 수×1.58비트와 정확히 같지는 않습니다.

기존 16비트 모델을 그냥 1비트로 변환하면 되나?

2B4T는 사후 압축 모델이 아니라 처음부터 W1.58A8 방식으로 학습했습니다. 일반 모델을 변환하는 경로도 연구되고 있지만, 공식 2B4T의 성능을 그대로 보장하지는 않습니다.

내 노트북에서 돌릴 수 있나?

공식 GGUF 가중치와 bitnet.cpp는 x86·ARM CPU 추론을 지원하고 GPU 커널도 제공합니다. 실제 속도와 메모리는 운영체제, CPU 명령어, 스레드 수, 컨텍스트 길이에 따라 달라집니다.

성능이 진짜 16비트 모델만큼 나오나?

기술 보고서는 비슷한 규모 공개 모델과 평균적으로 경쟁력 있다고 평가했지만 과제별 결과는 다릅니다. 예를 들어 일부 수학 벤치마크에서는 비교 모델보다 낮으므로 용도별 평가가 필요합니다.