LLM이란 무엇인가 — 실무자를 위한 대규모 언어모델 기초

LLM(Large Language Model)은 방대한 텍스트로 학습해 '다음에 올 말'을 확률적으로 예측하는 모델입니다. 검색처럼 저장된 답을 꺼내오는 것이 아니라, 매번 문장을 새로 만들어 냅니다.

이 구조를 이해하면 LLM의 강점과 한계가 동시에 설명됩니다. 문장을 잘 만들지만, 사실인지 여부는 생성 과정에서 보장되지 않습니다.

존재하지 않는 판례나 통계를 그럴듯하게 만들어 내는 현상을 환각이라 부릅니다. 이는 오작동이 아니라 '그럴듯한 다음 말'을 생성하는 구조에서 필연적으로 나오는 결과입니다.

따라서 대응책은 모델을 더 좋은 것으로 바꾸는 것이 아니라, 근거 문서를 함께 제공하고 근거 안에서만 답하게 만드는 설계입니다. 사내 도입에서 RAG가 기본값이 되는 이유가 여기 있습니다.

LLM은 한 번의 대화에서 처리할 수 있는 텍스트 양에 상한이 있습니다. 이 한도를 컨텍스트 윈도우라 부릅니다.

긴 문서를 통째로 넣으면 한도를 넘거나, 넣더라도 중간 내용의 반영도가 떨어집니다. 사내 문서를 다룰 때 문서를 쪼개 필요한 부분만 검색해 넣는 방식이 쓰이는 이유입니다.

모델은 학습이 끝난 시점까지의 정보만 알고 있습니다. 그 이후에 바뀐 법령이나 제품 정보는 모르거나, 예전 정보를 사실처럼 말합니다.

최신성이 중요한 업무라면 모델에게 묻는 것이 아니라, 최신 문서를 찾아 근거로 제공하는 구조를 만들어야 합니다.

모든 업무에 LLM이 맞는 것은 아닙니다. 정답이 하나로 정해져 있고 계산으로 검증되는 업무는 기존 시스템이 더 낫습니다. LLM은 언어를 다루는 작업, 특히 초안 작성과 요약·분류에서 강합니다.