10. LLM의 입출력 구조 Video 준비 중 Note 토큰(Token) 언어 모델이 텍스트를 분절하는 단위 모델마다 토큰의 구성이 다름 일반적으로 수만개의 토큰으로 구성되어 있다. 각 토큰은 모델에 입력할때 토큰마다 부여된 고유한 숫자 값으로 변환되어 들어간다. 모델은 출력할 때 수만개의 토큰에 대한 각각의 확률 분포를 생성한다. LLM모델의 자기회귀 (Autoregressive) 과정 LLM 모델을 Chat으로 변환 과정 Resources Tokenizer