이 책의 핵심
- 발표되는 모델과 운영되는 모델은 다른 이야기다. 소란이 가라앉은 뒤 서버실에서 시작되는 일이 서빙이다.
- 학습이 끝나 고정된 모델은 지금까지의 토큰이 주어졌을 때 다음에 올 토큰의 확률을 계산하는 기계다.
- 토큰 수는 텍스트의 속성이면서 동시에 모델의 속성이다. 그 개수가 계산량과 요금과 문맥 사용량의 밑수가 된다.
- 첫 글자까지의 정적과 그 뒤의 타이핑은 같은 작업의 연속이 아니다. 프리필과 디코드는 성격이 완전히 다르다.
- KV 캐시는 반복 계산을 없애는 대신 메모리를 지불한다. 그 청구서는 문맥 길이에 정비례해 커진다.
- 디코드의 병목을 푸는 길은 셋이다. 짐을 나눠 싣는 배칭, 짐 자체를 줄이는 양자화, 걸음의 횟수를 줄이는 추측 디코딩.
- 양자화에서 저장량이 준 만큼 속도가 같은 비율로 빨라지지는 않는다. 메모리 대역폭이 병목일 때 줄어든 운반량이 속도로 돌아온다.
- 낮은 정밀도에서도 작동하는 것은 작은 오차를 무조건 견디기 때문이라기보다 오차가 크게 번지는 지점을 찾아 통제하기 때문이다.
- GPU 한 대에는 넘을 수 없는 벽이 둘 있다. 모델이 들어가지 않는 크기의 벽과, 요청을 다 받지 못하는 처리량의 벽이다.
- 병렬화의 모든 고민은 일을 어떻게 나눌 것인가와, 나누느라 생기는 통신을 어떻게 줄일 것인가 사이의 줄다리기다.
EPUB으로 소장하기
전체 내용과 부록을 EPUB으로 읽고 소장할 수 있습니다.
9,900원
질문을 보내고 첫 글자가 뜨기까지의 짧은 정적, 그리고 타자기처럼 이어지는 답변. 우리는 하루에도 몇 번씩 이 몇 초를 겪는다. 그런데 그 몇 초 안에서 무엇이 병목이고 무엇이 비용인지를 읽어 내는 사람은 드물다. 이 책은 그 눈을 만드는 책이다.
KV 캐시, 연속 배칭, 양자화, 추측 디코딩, TTFT. 이런 말들은 이미 실무 회의에 도착해 있다. 문제는 그것을 꿰는 지도가 드물다는 데 있다. 개별 기법을 설명하는 자료는 많지만, 왜 그 기법들이 하필 그런 모양으로 태어났는지를 하나의 논리로 이어 주는 자료는 흔치 않다. 이 책은 그 간극에서 출발한다.
중심에는 질문 하나가 있다. LLM 추론의 병목은 어디에 있고, 그것을 어떻게 우회하는가. 앞부분에서 병목의 정체를 확정하고 나면, 이후의 모든 장이 그 병목에 대한 서로 다른 답변으로 배치된다. 실어 나를 짐을 줄이는 답이 양자화와 어텐션 구조 변형이고, 한 번의 운반을 여럿이 나눠 쓰는 답이 배칭과 캐시 관리이며, 비싼 걸음의 횟수를 줄이는 답이 추측 디코딩이다. 목차 자체가 하나의 논증이 되도록 설계했다.
준비물은 코드가 아니라 곱셈과 나눗셈이면 충분하다. 파라미터 수에 바이트 수를 곱해 모델이 몇 기가바이트인지 알아내고, 층과 헤드를 곱해 캐시가 얼마나 부풀지 셈하고, 대역폭을 가중치 크기로 나눠 디코드 속도의 천장을 구한다. 본문의 모든 계산은 독자가 종이와 연필로 검산할 수 있는 형태로 제시했고, 부록에 여섯 개의 셈으로 다시 모아 두었다.
책은 네 부로 이루어진다. 1부는 추론이라는 문제 자체를 정의하고, 2부는 GPU 하나를 쥐어짜는 기술들을, 3부는 여러 GPU와 시스템의 규모 문제를 다룬다. 4부는 실무의 독법이다. 성능 보고서의 지표를 원리로 되읽고, 가속기 스펙표의 숫자를 서빙의 언어로 번역하고, API 요금표의 구조를 프리필과 디코드의 성격 차이로 해부한다.
이 책은 정직하려 애썼다. 모든 기법은 무언가를 얻는 대신 무언가를 지불한다는 원칙을 끝까지 지켰고, 대가가 보이지 않는 기법은 아직 충분히 이해하지 못한 기법이라고 적었다. 남의 실측과 실험에 기댄 대목에는 그 자리에 저자와 연도를 밝혀 우리의 판단과 갈라 두었고, 원천은 부록의 리딩 리스트에 그대로 공개했다.
반대로 이 책이 주지 않는 것도 분명히 한다. 특정 프레임워크의 설치와 설정, 코드 실습, 성능 수치의 보장은 다루지 않는다. 그런 정보는 빨리 낡지만 구조와 원리는 오래 남기 때문이다.
부록도 두툼하다. 한국어 표제어에 영어를 나란히 붙인 용어 사전 63항목, 종이와 연필로 따라 하는 셈 여섯 가지, 책 전체를 한 장으로 압축한 지도, 원문으로 건너갈 때 쓰는 리딩 리스트, 그리고 자주 묻는 질문 열 가지를 실었다. 본문의 도해 일곱 컷과 비교표 아홉 개가 개념을 눈으로 잡아 준다.
AI 서비스를 만들거나 도입을 검토하는 기획자와 의사결정자, 모델을 가져다 쓰지만 그 아래층이 궁금한 개발자, 인프라 비용을 설명해야 하는 실무자, 그리고 논문과 수업 사이의 다리가 필요한 전공생에게 잘 맞는다. 이 책은 당신을 추론 엔지니어로 만들어 주겠다고 약속하지 않는다. 대신 처음 보는 추론 신기술 앞에서 그것이 어느 갈래의 답인지 분류하고, 무엇을 얻고 무엇을 지불하는지 묻는 습관을 남긴다.
서지정보
| ISBN | 9791143819437 |
|---|---|
| 발행처 | 작가와 |
| 웹 공개 | 보이드로그 |
| 출간일 | 2026-08-15 |
| 형식 | EPUB |
| 언어 | 한국어 |
| 이용등급 | 제한없음 |
| 정가 | 9,900원 |
전체 목차
- 들어가며
- 1부 기초, 무엇이 일어나는가
- 1장 학습이 끝난 뒤에 시작되는 일
- 2장 토큰과 트랜스포머, 최소한의 내부
- 3장 추론의 두 단계, 프리필과 디코드
- 2부 한 대의 GPU에서, 최적화
- 4장 KV 캐시와 메모리 예산
- 5장 배칭, 걸음을 묶는 기술
- 6장 캐시의 단편화를 없애는 법
- 7장 양자화, 짐을 줄이는 기술
- 8장 어텐션의 다이어트, MHA에서 MQA와 GQA로
- 9장 추측 디코딩, 걸음의 횟수를 줄이다
- 3부 규모의 문제, 여러 대로
- 10장 한 대를 넘어서, 병렬화
- 11장 요청 하나의 여정, 서빙 시스템 해부
- 12장 문맥이 길어질 때
- 4부 읽는 법, 원리를 실무로
- 13장 지표를 읽는 법
- 14장 하드웨어를 읽는 법
- 15장 비용을 읽는 법
- 16장 원리로 실전을 읽다
- 부록 A 용어 사전
- 부록 B 손으로 따라 하는 셈
- 부록 C 한눈에 보는 지도
- 부록 D 더 읽을거리
- 부록 E 자주 묻는 질문
본문 읽기
저자 소개
북마이닝 리서치편집팀은 공개된 연구 자료와 공식 문서를 모아 독자가 따라갈 수 있는 순서로 정리하는 편집 명의다. 개인 저자가 아니라 기획과 편집이 함께 움직이는 이름으로 낸다. 자료에서 직접 확인되는 내용과 해석을 구분해 적고, 확인하지 못한 부분은 그대로 남긴다. 북마이닝과 WATCHLOG는 보이드로그가 사용하는 편집 명의이며 별도의 법인이나 기관이 아니다.
최종 수정일 2026년 9월 3일
이 콘텐츠는 저자가 기획하고 AI 도구를 집필·정리 과정에 활용했습니다. 구성, 사실 확인, 표현, 최종 판단과 출판 책임은 저자와 보이드로그에 있습니다.