본문 바로가기

Artificial Intelligence/Paper8

Improving Language Understanding by Generative Pre-Training 💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 💬 ◾ 기호는 원문 내용이며, ◽ 기호는 글 작성자의 개인적인 생각입니다. 원문: https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf Abstract ◾ 자연어 생성(NLG) 분야에서 레이블이 없는 텍스트 데이터는 충분하지만 특정 태스크(textual entailment, QA, semantic similarity assessment 등)를 위해 레이블 된 데이터는 부족함 ◾ 레이블 된 데이터가 부족한 상황은 학습된 모델이 제대로 성능을 발휘하지 못하게 함 ◾ 레이블이 없는 다양한 텍스트 코퍼스에.. 2023. 1. 15.

RoBERTa: A Robustly Optimized BERT Pretraining Approach 💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 💬 ◽ 기호는 글 작성자의 개인적인 생각이며, ◾ 기호는 원문 내용입니다. 원문: https://arxiv.org/pdf/1907.11692.pdf Abstract ◾ BERT 모델에 대해 재현 연구(replication study)를 수행하면서 데이터 크기, 주요 하이퍼파라미터가 결과에 어떤 영향을 주는지 확인 ◾ BERT 모델이 undertrained되었으며 BERT 모델 발표 이후 나온 모델들의 성능을 능가한다는 것을 알게 됨 ◾ 이전에 간과되던 모델 설계 방법의 중요성에 대해 강조 ◽ RoBERTa라는 새로운 모델을 제안한 것이 아니라 BERT 모델을 가장 좋은 방법으로 학습시킨 것 ◽ 'undertra.. 2023. 1. 5.

EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks 💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 원문: https://aclanthology.org/D19-1670.pdf 1 Introduction ▪️ 머신러닝과 딥러닝은 감성분석부터 토픽 분류까지 NLP 분야에서 높은 정확도를 달성했지만, 높은 성능은 종종 학습 데이터의 양과 퀄리티에 달려 있음 ▪️ 자동 데이터 증강(Automatica data augmentation)은 컴퓨터 비전과 음성 분야에서 많이 사용되지만 언어 변환을 위한 일반적인 규칙을 만드는 것은 어렵기 때문에 NLP 분야에서 일반적인 데이터 증강 기법은 완전히 연구된 적이 없음 ▪️ 논문을 통해 EDA(Easy Data Augmentation)라고 부르는 간단한 NLP 데이터 증강 기법.. 2022. 11. 7.

BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding 논문 읽기 엄청 오랜만이다. BERT 기반 사전학습모델 써보려고 하다가 관련 개념을 하나도 모르니까 모델 입력에 뭐가 들어가는지~ 데이터 형태를 어떻게 맞춰줘야 하는지~ 너무 이해가 안 되는 부분이 많아서 논문 본인등판시킴 💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 원문: https://arxiv.org/pdf/1810.04805.pdf ■ : 아직 바로 이해 안 되는 부분 Introduction 1. Pre-train된 언어 표현을 하위 태스크에 적용하는 2가지 방법 존재 1) Feature-based - Pre-trained representations을 포함하는 task-specific 구조를 추가적인 feature로 사용 - 예: ELMo 2) .. 2022. 9. 21.

Sequence to Sequence Learning with Neural Networks Transformer를 제대로 이해하기 위해 봐야 할 논문과 개념들이 굉장히 많다. 차근차근 보고 Transformer도 다시 볼 계획이다. 💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 원문 : https://arxiv.org/pdf/1409.3215.pdf Abstract - DNN은 speech recognition과 같은 어려운 학습 태스크에서 우수한 성과를 달성한 모델이지만 고정 차원을 사용하기 때문에 입출력 길이가 다른 시퀀스(문장)를 다루는 문제에는 적합하지 않았다. - 이 논문에서는 다층 LSTM을 인코더-디코더로 사용하여 입력 시퀀스 의미에 대응하는 가변 길이 시퀀스를 출력하는 방법을 제안한다. - 입력 시퀀스 단어 순서를 반대로 할 경우(.. 2022. 3. 21.

Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks 연구실에서 AI보안 쪽 공부할 때 공격에 대해서만 공부했던 거 같아서 방어 기법에 대해 궁금해졌다. 이번 주 논문으로 당첨 👊 💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 원문 : https://arxiv.org/pdf/1704.01155.pdf Abstract 이전 연구들은 adversarial example을 방어하기 위해 DNN(Deep Neural Network) 모델을 개선(모델 자체를 수정해야 함)하는 것에 초점을 맞췄지만 성공이 제한적이고 계산 비용이 높다는 단점 존재 → adversarial examples를 탐지함으로써 DNN 모델을 강화할 수 있는 Feature Squeezing 방식 제시 Introduction - 분류기가 advers.. 2022. 3. 3.

이전 1 2 다음

티스토리툴바