밑바닥부터 만들면서 배우는 LLM

책의 기본 정보

출판사

길벗

출간일

2025-09-22

ISBN

9791140715848

매체

종이책

모델의 부품을 직접 연결하는 공부

텍스트를 토큰으로 바꾸고 임베딩을 만드는 과정에서 출발해 셀프 어텐션, 멀티헤드 어텐션, 트랜스포머 블록을 연결합니다. 완성된 모델을 호출하는 방법보다 내부 계산이 어떻게 텍스트 생성으로 이어지는지 알고 싶은 독자에게 맞습니다. 구현한 부품의 입력과 출력을 각각 확인하면 뒤에서 여러 층을 합칠 때 무엇이 달라졌는지 추적할 수 있습니다.

만든 모델을 훈련과 평가로 이어갑니다

모델을 조립한 뒤에는 레이블 없는 데이터로 사전 훈련하고, 분류 및 지시 수행을 위한 미세 튜닝으로 범위를 넓힙니다. 부록에서는 파이토치 기초와 LoRA도 다룹니다. 신경망의 구조를 설명하는 것과 그 구조에 맞는 데이터를 준비해 손실과 결과를 평가하는 일이 다른 단계라는 점을 구분하며 읽기 좋습니다.

API 활용보다 구조의 이해가 필요한 독자에게

파이썬 코드를 읽고 작은 실험의 차이를 확인할 준비가 된 학습자에게 권합니다. 챗봇 서비스를 빠르게 연결하는 요령을 찾는다면 출발점이 다를 수 있습니다. 처음에는 한 번에 전체 모델을 완성하려 하기보다 토큰화와 어텐션의 계산을 설명할 수 있는지 확인한 뒤 훈련 단계로 넘어가세요.

이 책을 고르는 이유

이 책의 선택 이유는 완성된 라이브러리 호출 이전에 모델의 부품을 직접 구현한다는 데 있습니다. 토큰 ID와 임베딩을 다루는 장에서 시작해 어텐션과 트랜스포머 블록으로 이동하므로 코드가 어느 역할을 맡는지 하나씩 구분할 수 있습니다.

훈련으로 넘어갈 때는 생성 결과만 보지 말고 데이터 준비와 손실 계산을 함께 확인하세요. 구조를 조립한 코드와 학습을 진행하는 코드의 책임을 나눠 적으면 오류가 생겼을 때 돌아볼 위치가 분명해집니다.

이 책과 함께 읽는 주제

• LLM 구현 책 추천: 부품을 직접 만들지, 여러 작업으로 연결할지 고르기

다른 책과 비교해 보기

• 핸즈온 LLM

관련 태그

IT 모바일