nsbg 🌞

The History of Open-Source LLMs: Part Ⅰ. Early days The History of Open-Source LLMs: Part Ⅱ. Better Base Models The History of Open-Source LLMs: Part Ⅲ. Imitations and alignment ⭐ 글에 삽입된 모든 이미지의 출처는 원문입니다. 초기 오픈소스 LLM - 공개되지 않은 사전 학습 모델들과 비교하면 성능이 많이 떨어진다는 단점이 존재함 1) LLM 학습 파이프라인 ① 대량의 원시 데이터를 이용해 모델 사전 학습 ② SFT와 RLHF 같은 기술을 이용해 alignment 수행 ③ LLM을 특정 태스크에 적용하기 위해 파인 튜닝 또는 in-context learning 수행..

연구실 오빠가 공유해준 오픈소스 LLM 발전 과정에 대한 글을 읽고 번역 및 추가 공부한 내용을 정리해본다. The History of Open-Source LLMs: Part Ⅰ. Early days The History of Open-Source LLMs: Part Ⅱ. Better Base Models The History of Open-Source LLMs: Part Ⅲ. Imitations and alignment ⭐ 글에 삽입된 모든 이미지의 출처는 원문입니다. LLM 등장 배경 - 언어 모델 자체는 역사가 오래 됐지만 self-supervised pre-training과 in-context learning을 조합하여 여러 태스크에서 인상 깊은 few-shot learning 성능을 보인 GP..

💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂 원본 글 주소: https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f Micro, Macro & Weighted Averages of F1 Score, Clearly Explained Understanding the concepts behind the micro average, macro average and weighted average of F1 score in multi-class classification towardsdatascience.com F1 Score(..

💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂 원본 글 주소 : https://towardsdatascience.com/foundations-of-nlp-explained-visually-beam-search-how-it-works-1586b9849a24 Foundations of NLP Explained Visually: Beam Search, How it Works A Gentle Guide to how Beam Search enhances predictions, in Plain English towardsdatascience.com NLP 모델의 Output 생성 방법 기계 번역 작업에 자주 사용되는 sequence-to-sequence 모..

💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂 원본 글 주소 : https://towardsdatascience.com/word2vec-research-paper-explained-205cb7eecc30 Word2Vec Research Paper Explained An Intuitive understanding and explanation of the word2vec model. towardsdatascience.com 서론 많은 NLP 활용 사례에서, 단어는 서로 간의 관계를 포착하지 않는 원-핫 인코딩으로 표현된다. 원-핫 인코딩을 사용하는 이유는 "간단함, 견고함과 대량의 데이터로 훈련된 간단한 모델이 소량의 데이터로 훈련된 복잡한 모델보다..

💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂 원본 글 주소 : https://medium.com/geekculture/introduction-to-stemming-and-lemmatization-nlp-3b7617d84e65 자연어처리(Natural Language Processing, NLP) 텍스트 데이터는 다양한 소스로부터 얻을 수 있다. 우리의 목표는 태스크와 관련없는 소스 고유의 마크업이나 구문이 없는 평문을 추출하는 것이다. 구두점, 대문자와 같은 언어의 몇몇 특성과 "a"/"of"/"the"와 같은 일반적인 단어들이 문서의 구조 제공에 도움을 주긴 하지만 많은 의미를 주지는 않는다. 따라서 텍스트 데이터를 분석하여 자연어 처리 파이..

엔트로피 개념은 너무나도 복잡난해해 ~ 💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂 원본 글 주소 : https://towardsdatascience.com/entropy-cross-entropy-and-kl-divergence-explained-b09cdae917a Entropy, Cross-Entropy, and KL-Divergence Explained! Let us try to understand the most widely used loss function — Cross-Entropy. towardsdatascience.com Cross-Entropy(log-loss라고 하기도 함)는 분류 문제에서 가장 많이 쓰이는 loss funct..

여러 사이트에 흩어져 있는 글을 모으면 어려운 개념들을 완벽히 이해할 수 있다고 믿으면서 시작한 자체 콘텐츠 'Medium 번역' 💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂 원본 글 주소 : https://towardsdatascience.com/sequence-2-sequence-model-with-attention-mechanism-9e9ca2a613a Sequence 2 Sequence model with Attention Mechanism Detailed explanation about Attention mechanism in a sequence 2 sequence model suggested by Bahdanau and Luong t..