[번역] The History of Open-Source LLMs: Part Ⅱ. Better Base Models

The History of Open-Source LLMs: Part Ⅰ. Early days

The History of Open-Source LLMs: Part Ⅱ. Better Base Models

The History of Open-Source LLMs: Part Ⅲ. Imitations and alignment

 

⭐ 글에 삽입된 모든 이미지의 출처는 원문입니다.

---

초기 오픈소스 LLM

- 공개되지 않은 사전 학습 모델들과 비교하면 성능이 많이 떨어진다는 단점이 존재함

 

1) LLM 학습 파이프라인

① 대량의 원시 데이터를 이용해 모델 사전 학습

② SFT와 RLHF 같은 기술을 이용해 alignment 수행

③ LLM을 특정 태스크에 적용하기 위해 파인 튜닝 또는 in-context learning 수행

 

 

- 최근 연구들은 언어 모델의 지식의 대부분이 사전 학습 과정에서 얻어진다는 것을 경험적으로 확인함

- Alignment 과정은 LIMA에서 나온 아이디어로 모델이 사전 학습 과정에서 얻은 지식을 적절하게 형식화할 수 있도록 가르치는 것

- 충분한 사전 학습이 이뤄지지 않은 모델은 파인 튜닝이나 alignment를 통해 고정될 가능성이 낮음

 

개선된 베이스 모델

1. LLaMA: Open and Efficient Foundation Language Models

- 파라미터 수에 따른 다양한 버전이 있음

- LLaMA 공개 이후 오픈소스 LLM 연구가 활발히 진행됨

- 상업적 사용 불가, 연구 목적으로만 사용 가능

 

 

1) 데이터셋

- 1조 4천 억 개 이상의 토큰이 포함된 코퍼스가 사전 학습에 사용됨

- 공개되어 있는 데이터셋만을 사전 학습에 사용하여 여러 면에서 LLM의 투명성과 개방성을 개선하고자 했음

 

2) 성능

- Alignment를 적용하지 않았음에도 LLaMA-13B 모델은 GPT-3에 필적하는 성능을 보였고, LLaMA-65B 모델은 여러 태스크에서 PaLM의 성능을 능가

 

2. MPT

- 상업적으로 사용 가능한 모델

 

1) MPT-7B 모델과 MPT-30B 모델의 차이점

- 사전 학습에 사용된 데이터셋 조합이 다름

-  MPT-30B는 더 긴 컨텍스트 길이의 8K 토큰 사용하여 학습

 

3. Falcon

- 상업적으로 사용 가능한 모델

- Falcon models perform incredibly well due to being pre-trained on a massive, custom-curated corpus.

 

1) 웹 큐레이팅 데이터

- 5조 개 이상의 텍스트 토큰을 포함한 대규모 텍스트 코퍼스 RefinedWeb 사용(7B, 40B 모델 학습 시 이 토큰을 모두 사용한 건 X)

- 대부분의 LLM은 이미 큐레이팅 되어 있는 공개된 데이터를 이용해 사전 학습되지만 Falcon은 웹 데이터만을 사용하여 자체적인 사전 학습 데이터셋 구축

 

 

4. LLaMA-2

1) LLaMA와의 차이점

- 더 많은 토큰, 더 긴 컨텍스트로 학습됨

- 크기가 큰 버전은 기본 아키텍처 내에서 GQA(Grouped Query Attention) 사용

 

 

2) Grouped Query Attention

- LLM의 추론 효율성 향상을 위해 멀티헤드 어텐션을 변형한 방식

- 일반적인 멀티헤드 어텐션은 query, key, value를 각각 N개씩 가지고 있지만 GQA는 N개를 그룹으로 묶어서 처리

- 멀티헤드 어텐션과 멀티쿼리 어텐션을 합친 방법이라고 할 수 있음

- 멀티헤드 어텐션의 성능을 유지하면서 멀티쿼리 어텐션에 맞먹는 추론 속도를 가지기 위해 고안됨

 

오픈 소스 LLM 트렌드

1. 데이터

- 데이터의 양과 질이 성능 향상에 매우 중요함

 

2. 추론 최적화

- 최근의 오픈 소스 LLM은 빠르고 쉽게 추론할 수 있도록 최적화 되어 있는 경우가 많음

 

3. 아키텍처 변화

- 공개되지 않은 독점 모델보다 모델 크기가 작고 추론 속도를 높이기 위한 다양한 방식 적용