07. 토큰(Token)과 가격 정책 알아보기
Video
준비 중
Note
토큰(Token)
- 언어 모델이 텍스트를 분절하는 단위
- 모델마다 토큰의 구성이 다름
- 일반적으로 단어, 부분 단어, 또는 문자 단위로 나뉨
- 일반적으로 한글의 경우 음절 단위로 나뉨
Tip
해외에서 만든 모델의 경우 일반적으로 한글에 대해 더 많은 비용이 발생합니다. (때론 더 많은 비용이 청구될 수 있습니다.) 그 이유는 토큰화 방식이 국내 모델에 비해 더 잘게 나뉘기 때문입니다.
(예) 만나서 반가워요
- 해외 모델: 만,나,서, 반,가,워,요
- 국내 모델: 만나,서, 반가워요
서비스 티어
| Batch | Flex | Standard | Priority |
|---|---|---|---|
| 비동기 | 동기 | 동기 | 동기 |
| 50 % 저렴 | 50 % 저렴 | 표준 요금 | 2배 비쌈 |
| 24시간 내 처리 | 느린 응답 속도 (종종 에러) | 보통 응답 속도 | 빠른 응답 속도 |
Cached Input
- 반복해서 보내는 동일한 입력을 캐시에 저장해, 이후 요청에서 같은 내용을 다시 보낼 때 입력 토큰 비용과 지연 시간을 줄여주는 기능
- 사용자는 별도의 조치 필요 없음. (자동으로 적용됨)