본문 바로가기

Artificial Intelligence38

[Causal Inference] 01. Introduction to causality 주 1회 진행하는 스터디 모임에서 함께 공부해보기로 한 자료 정리 목적으로 글을 작성한다. 스터디원분께서 좋은 자료를 추천해주셔서 정말 오랜만에 진득한 이론 공부를 하게 될 것 같다. 원문: https://github.com/CausalInferenceLab/Causal-Inference-with-Python 머신러닝과 인과관계 ◾ 머신러닝은 엄격한 바운더리 안에서 엄청난 일을 할 수 있지만, 주어진 데이터가 모델이 학습한 것과 조금 다를 경우 제대로 작동하지 않을 수 있음 ◾ 머신러닝은 상관관계에 의존하기 때문에 인과관계(causation) 유형의 문제를 잘 다루지 못함 예시) "호텔 산업에서 가격은 비수기일 때 저렴하고, 수요가 가장 많고 호텔이 가득 차는 성수기 시즌에는 가격이 높습니다. 해당 데이.. 2023. 4. 30.

Improving Language Understanding by Generative Pre-Training 💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 💬 ◾ 기호는 원문 내용이며, ◽ 기호는 글 작성자의 개인적인 생각입니다. 원문: https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf Abstract ◾ 자연어 생성(NLG) 분야에서 레이블이 없는 텍스트 데이터는 충분하지만 특정 태스크(textual entailment, QA, semantic similarity assessment 등)를 위해 레이블 된 데이터는 부족함 ◾ 레이블 된 데이터가 부족한 상황은 학습된 모델이 제대로 성능을 발휘하지 못하게 함 ◾ 레이블이 없는 다양한 텍스트 코퍼스에.. 2023. 1. 15.

RoBERTa: A Robustly Optimized BERT Pretraining Approach 💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 💬 ◽ 기호는 글 작성자의 개인적인 생각이며, ◾ 기호는 원문 내용입니다. 원문: https://arxiv.org/pdf/1907.11692.pdf Abstract ◾ BERT 모델에 대해 재현 연구(replication study)를 수행하면서 데이터 크기, 주요 하이퍼파라미터가 결과에 어떤 영향을 주는지 확인 ◾ BERT 모델이 undertrained되었으며 BERT 모델 발표 이후 나온 모델들의 성능을 능가한다는 것을 알게 됨 ◾ 이전에 간과되던 모델 설계 방법의 중요성에 대해 강조 ◽ RoBERTa라는 새로운 모델을 제안한 것이 아니라 BERT 모델을 가장 좋은 방법으로 학습시킨 것 ◽ 'undertra.. 2023. 1. 5.

EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks 💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 원문: https://aclanthology.org/D19-1670.pdf 1 Introduction ▪️ 머신러닝과 딥러닝은 감성분석부터 토픽 분류까지 NLP 분야에서 높은 정확도를 달성했지만, 높은 성능은 종종 학습 데이터의 양과 퀄리티에 달려 있음 ▪️ 자동 데이터 증강(Automatica data augmentation)은 컴퓨터 비전과 음성 분야에서 많이 사용되지만 언어 변환을 위한 일반적인 규칙을 만드는 것은 어렵기 때문에 NLP 분야에서 일반적인 데이터 증강 기법은 완전히 연구된 적이 없음 ▪️ 논문을 통해 EDA(Easy Data Augmentation)라고 부르는 간단한 NLP 데이터 증강 기법.. 2022. 11. 7.

[NLP 기초] 임베딩(Embedding) 개념 단어 집합(vocab)에 있는 단어 각각을 실수(real number)로 이루어진 dense vector로 표현하는 것 방법 ※ PyTorch 기준 1) Embedding layer 생성: nn.Embedding 사용 2) Pre-trained word embedding: 사전 학습된 워드 임베딩(Word2Vec, GloVe 등)을 가져와서 사용 예시 1) Embedding layer 생성 ① nn.Embedding layer 없이 직접 구현(셀 순서대로 진행됨) import torch train_data = 'I want to be a AI engineer' # 단어 집합 생성(중복 제거) word_set = set(train_data.split()) # 각 단어에 고유한 정수 부여 vocab =.. 2022. 10. 11.

[NLP 심화] encode() / encode_plus() 사실 엄청난 심화는 아님 허깅페이스에서 사전학습모델을 불러와 사용할 때 encode()를 이용해 토큰화된 데이터를 얻을 수 있는데, 이것저것 예제를 보다보니 encode()가 나올 때가 있고 encode_plus()가 나올 때가 있었다. 한 줄짜리 코드로 차이점을 확인해보기로 한다. tokenizer.encode() # 데이콘 '청와대 청원 분류 대회' 데이터셋에서 추출한 문장 tokenizer.encode('신혼부부위한 주택정책 보다 보육시설 늘려주세요') 결과 ◽ tokenizer.tokenize(SENTENCE), tokenizer.convert_tokens_to_ids(TOKENIZED_SENTENCE)를 한 번에 수행하는 기능 ◽ Vocab에 있는 값을 이용해 토큰 하나하나를 vocab inde.. 2022. 9. 28.

이전 1 2 3 4 ··· 7 다음

티스토리툴바