[번역] The History of Open-Source LLMs: Part Ⅰ. Early days

연구실 오빠가 공유해준 오픈소스 LLM 발전 과정에 대한 글을 읽고 번역 및 추가 공부한 내용을 정리해본다. 

 

The History of Open-Source LLMs: Part Ⅰ. Early days

The History of Open-Source LLMs: Part Ⅱ. Better Base Models

The History of Open-Source LLMs: Part Ⅲ. Imitations and alignment

 

⭐ 글에 삽입된 모든 이미지의 출처는 원문입니다.

---

LLM 등장 배경

- 언어 모델 자체는 역사가 오래 됐지만 self-supervised pre-training과 in-context learning을 조합하여 여러 태스크에서 인상 깊은 few-shot learning 성능을 보인 GPT-3의 등장으로 LLM 대중화

- 이후 수많은 LLM이 제안되고 언어 모델 alignment와 같은 연구가 진행되면서 InstructGPT, ChatGPT 같은 인상적인 모델이 개발됨

 

Open-source LLMs

- 좋은 성능을 보인 초기 LLM들은 기술이 공개되지 않은 closed source 형태였으나 LLM 연구 커뮤니티에서 인기 있는 언어 모델의 오픈 소스 변형을 만듦

- 최초의 오픈 소스 언어 모델은 최고의 독점 모델(공개되지 않은 모델)보다 성능이 뒤쳐지긴 했지만 LLM 연구 내 투명성 향상을 위한 토대를 마련

- 또한, Falcon, LLaMA와 같이 더 강력한 후속 모델의 개발을 촉진하는 계기가 됨

 

언어 모델 메커니즘

- 언어 모델의 핵심은 next token prediction으로 거의 모든 언어 모델 학습에 사용됨

- Next token prediction은 언어 모델 목적 함수의 표준이라고 할 수 있음

- Next token prediction으로 언어 모델을 학습시키기 위해 대량의 텍스트 코퍼스 필요

- 데이터셋으로 부터 텍스트를 추출한 후 모델이 다음 단어를 예측하도록 학습 진행

- 다음 토큰은 항상 원시 텍스트로부터 추론될 수 있기 때문에 next token prediction은 일종의 self-supervised learning

 

 

1. 언어 모델 objective

1) 토큰

- '토큰'과 '단어'는 같아 보이지만 정확히 같은 것은 아님

- 언어 모델이 텍스트를 입력으로 받으면 원시 텍스트가 토큰화됨

 

2) 다음 토큰 예측

- 언어 모델은 토큰화된 어휘 내 모든 토큰에 대해 고유하고 학습 가능한 벡터 임베딩을 저장하는 임베딩 레이어를 가짐

- 토큰화 과정을 거쳐 토큰 시퀀스가 생성되면 언어 모델은 임베딩 레이어를 이용해 입력 시퀀스 내 각 토큰을 벡터 임베딩으로 변환하여 토큰 벡터 시퀀스 형성

 

 

- 각 토큰 벡터에 포지셔널 인코딩을 추가한 후 토큰 벡터 시퀀스를 decoder-only 트랜스포머로 전달하면 각 토큰에 해당하는 출력 벡터가 생성됨

- 출력 벡터의 수는 입력 벡터의 수와 동일

- 시퀀스 내 각 토큰에 대한 출력 토큰 벡터를 가져와서 시퀀스 내에서 다음에 올 토큰 예측

 

 

- 양방향 self-attenttion을 사용하면 각각의 출력 토큰 벡터는 벡터의 전체 시퀀스를 보고 계산되기 때문에 모델은 시퀀스에서 다음에 오는 토큰을 확인하여 결과를 낼 수 있음 → 답을 미리 봐서 알게 된다는 의미

-  Causal (또는 masked) self-attention을 사용하기 때문에 각 출력 토큰 벡터는 연산 시에 현재 토큰과 이전 토큰까지만 고려함

 

2. 트랜스포머 아키텍처와 변형 구조

- 모든 언어 모델은 Seq2Seq 문제를 풀기 위해 제안된 트랜스포머 구조를 약간씩 변형하여 사용

- 트랜스포머는 인코더와 디코더로 이루어져 있음

- 인코더와 디코더가 모두 존재할 경우 1) 인코더가 입력 시퀀스를 처리한 후 출력 시퀀스를 생성하고 2) 디코더는 인코더의 출력 시퀀스를 입력으로 받아 자체 출력 시퀀스 생성

- 인코더는 전체 입력 시퀀스를 처리하여 디코더가 출력을 생성할 때 컨텍스트로 사용할 수 있는 표현을 만드는 역할

 

1) Decoder-only / Encoder-only 트랜스포머

- 거의 모든 causal language model은 decoder-only 트랜스포머를 기본 구조로 사용

- Encoder-only 트랜스포머는 discriminative natural language tasks에서 좋은 성능을 보이지만 텍스트 생성에는 사용되지 않음

 

2) 디코더만 사용하는 이유

- LLM에 디코더 구조만 사용하는 것은 임의로 선택한 구조가 아님

- 언어 모델 학습을 위해 next token prediction+masked self-attention을 사용하기 때문에 디코더 내에서 모델이 다음 토큰을 예측할 때 답을 미리 볼 수 없음

 

 

- Cheating 없이 next token prediction을 수행하기 위해서는 encoder-only 트랜스포머와 encoder-decoder 트랜스포머 모두 입력 시퀀스에 다음 토큰의 기준 값을 포함하지 않아야 함

- 이를 위해서 1) prefix를 수집하고 2) prefix 뒤에 오는 토큰을 예측하도록 할 수 있지만 이 방식은 한 번에 하나의 토큰만 예측할 수 있기 때문에 비효율적

- Decoder-only 모델은 masked self-attention을 사용하기 때문에 토큰의 전체 시퀀스를 수집하고 시퀀스 내 모든 토큰에 언어 모델의 objective를 적용할 수 있음

 

3) 텍스트를 생성하는 방법

- 위에서 설명한 decoder-only 구조를 고려하면 텍스트 생성은 간단한 autoregressive 과정을 따름

 

 

3. 언어 모델 학습과 사용

1) Pre-training

- 사전 학습 과정은 LLM을 개발하는 초기 단계이자 연산 비용이 가장 많이 드는 단계

- 무작위로 초기화된 LLM으로부터 언어 모델링 objective와 방대한 텍스트 코퍼스를 이용해 모델을 학습시켜야 함

- 대규모 데이터셋에 대해 많은 매개변수를 가진 모델을 사전 학습 시키면 next token prediction을 수행하여 다양한 태스크를 정확하게 해결할 수 있는 기반 모델을 얻을 수 있음

- 최상의 결과를 얻으려면 데이터와 모델 크기에서 확장이 필요함

 

2) Alignment

- 사전 학습만 거친 모델도 뛰어난 성능을 보일 수 있지만 통계적으로 정확한 다음 토큰 예측을 수행하면 합리적인 텍스트가 생성되나 반복적이고 단순한 결과물이 나오는 경우가 많음

- Alignment는 사용자의 선호에 더 잘 부합하도록 LLM을 미세 조정하는 과정으로 SFT 및 RLHF라는 두 가지 기술을 통해 수행됨

- 모델은 alignment 과정에서 새로운 정보를 학습하는 것이 아니라 모델이 사전 학습 과정에서 이미 얻은 지식을 적절하게 형식화하거나 표현하는 방법만 가르치는 역할

 

초기 Open-source LLM

1. GPT-NeoX-20B

- 초기 오픈소스 LLM 중 하나로 EleutherAI에서 GPT-Neo 모델을 기반으로 개발

- 전통적인 decoder-only 트랜스포머 구조에 RoPE 임베딩과 병렬 어텐션, 피드 포워드 레이어 적용

 

 

- RoPE 임베딩은 기존 포지셔널 임베딩을 개선한 방식으로, 절대적인 위치 정보와 상대적인 위치 정보 간 균형을 찾을 수 있고 긴 시퀀스에서성능을 향상시킬 수 있음

- 병렬 어텐션 및 피드 포워드 레이어를 사용하면 성능 저하 최소화 가능

 

 

2. BLOOM: An Open, Multilingual Language Model

- 1,760억 개의 파라미터로 구성된 LLM으로, 천 명 이상의 연구자가 참여한 대규모 오픈 협업

- 1) 대규모 다국어 텍스트 데이터와 2) 이 데이터 세트에 대해 학습된 대규모 다국어 언어 모델을 만드는 것을 목표로 연구가 진행됨

 

1) 모델 구조

 

- 전통적인 decoder-only 트랜스포머 구조에 ALiBi 및 layer norm 임베딩 추가

 

3. 기타 주목할 만한 모델

- GPT-J

- GLM