본문 바로가기

Archive8

[번역] The History of Open-Source LLMs: Part Ⅱ. Better Base Models The History of Open-Source LLMs: Part Ⅰ. Early days The History of Open-Source LLMs: Part Ⅱ. Better Base Models The History of Open-Source LLMs: Part Ⅲ. Imitations and alignment ⭐ 글에 삽입된 모든 이미지의 출처는 원문입니다. 초기 오픈소스 LLM - 공개되지 않은 사전 학습 모델들과 비교하면 성능이 많이 떨어진다는 단점이 존재함 1) LLM 학습 파이프라인 ① 대량의 원시 데이터를 이용해 모델 사전 학습 ② SFT와 RLHF 같은 기술을 이용해 alignment 수행 ③ LLM을 특정 태스크에 적용하기 위해 파인 튜닝 또는 in-context learning 수행.. 2023. 10. 25.

[번역] The History of Open-Source LLMs: Part Ⅰ. Early days 연구실 오빠가 공유해준 오픈소스 LLM 발전 과정에 대한 글을 읽고 번역 및 추가 공부한 내용을 정리해본다. The History of Open-Source LLMs: Part Ⅰ. Early days The History of Open-Source LLMs: Part Ⅱ. Better Base Models The History of Open-Source LLMs: Part Ⅲ. Imitations and alignment ⭐ 글에 삽입된 모든 이미지의 출처는 원문입니다. LLM 등장 배경 - 언어 모델 자체는 역사가 오래 됐지만 self-supervised pre-training과 in-context learning을 조합하여 여러 태스크에서 인상 깊은 few-shot learning 성능을 보인 GP.. 2023. 10. 23.

[번역] Micro, Macro & Weighted Averages of F1 Score, Clearly Explained 💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂 원본 글 주소: https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f Micro, Macro & Weighted Averages of F1 Score, Clearly Explained Understanding the concepts behind the micro average, macro average and weighted average of F1 score in multi-class classification towardsdatascience.com F1 Score(.. 2022. 12. 20.

[번역] Foundations of NLP Explained Visually: Beam Search, How It Works 💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂 원본 글 주소 : https://towardsdatascience.com/foundations-of-nlp-explained-visually-beam-search-how-it-works-1586b9849a24 Foundations of NLP Explained Visually: Beam Search, How it Works A Gentle Guide to how Beam Search enhances predictions, in Plain English towardsdatascience.com NLP 모델의 Output 생성 방법 기계 번역 작업에 자주 사용되는 sequence-to-sequence 모.. 2022. 8. 1.

[번역] Word2Vec Research Paper Explained 💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂 원본 글 주소 : https://towardsdatascience.com/word2vec-research-paper-explained-205cb7eecc30 Word2Vec Research Paper Explained An Intuitive understanding and explanation of the word2vec model. towardsdatascience.com 서론 많은 NLP 활용 사례에서, 단어는 서로 간의 관계를 포착하지 않는 원-핫 인코딩으로 표현된다. 원-핫 인코딩을 사용하는 이유는 "간단함, 견고함과 대량의 데이터로 훈련된 간단한 모델이 소량의 데이터로 훈련된 복잡한 모델보다.. 2022. 7. 4.

[번역] Introduction to Stemming and Lemmatization 💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂 원본 글 주소 : https://medium.com/geekculture/introduction-to-stemming-and-lemmatization-nlp-3b7617d84e65 자연어처리(Natural Language Processing, NLP) 텍스트 데이터는 다양한 소스로부터 얻을 수 있다. 우리의 목표는 태스크와 관련없는 소스 고유의 마크업이나 구문이 없는 평문을 추출하는 것이다. 구두점, 대문자와 같은 언어의 몇몇 특성과 "a"/"of"/"the"와 같은 일반적인 단어들이 문서의 구조 제공에 도움을 주긴 하지만 많은 의미를 주지는 않는다. 따라서 텍스트 데이터를 분석하여 자연어 처리 파이.. 2022. 4. 1.

이전 1 2 다음

티스토리툴바