nsbg 🌞

💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 💬 ◾ 기호는 원문 내용이며, ◽ 기호는 글 작성자의 개인적인 생각입니다. 원문: https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf Abstract ◾ 자연어 생성(NLG) 분야에서 레이블이 없는 텍스트 데이터는 충분하지만 특정 태스크(textual entailment, QA, semantic similarity assessment 등)를 위해 레이블 된 데이터는 부족함 ◾ 레이블 된 데이터가 부족한 상황은 학습된 모델이 제대로 성능을 발휘하지 못하게 함 ◾ 레이블이 없는 다양한 텍스트 코퍼스에..

💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 💬 ◽ 기호는 글 작성자의 개인적인 생각이며, ◾ 기호는 원문 내용입니다. 원문: https://arxiv.org/pdf/1907.11692.pdf Abstract ◾ BERT 모델에 대해 재현 연구(replication study)를 수행하면서 데이터 크기, 주요 하이퍼파라미터가 결과에 어떤 영향을 주는지 확인 ◾ BERT 모델이 undertrained되었으며 BERT 모델 발표 이후 나온 모델들의 성능을 능가한다는 것을 알게 됨 ◾ 이전에 간과되던 모델 설계 방법의 중요성에 대해 강조 ◽ RoBERTa라는 새로운 모델을 제안한 것이 아니라 BERT 모델을 가장 좋은 방법으로 학습시킨 것 ◽ 'undertra..

💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 원문: https://aclanthology.org/D19-1670.pdf 1 Introduction ▪️ 머신러닝과 딥러닝은 감성분석부터 토픽 분류까지 NLP 분야에서 높은 정확도를 달성했지만, 높은 성능은 종종 학습 데이터의 양과 퀄리티에 달려 있음 ▪️ 자동 데이터 증강(Automatica data augmentation)은 컴퓨터 비전과 음성 분야에서 많이 사용되지만 언어 변환을 위한 일반적인 규칙을 만드는 것은 어렵기 때문에 NLP 분야에서 일반적인 데이터 증강 기법은 완전히 연구된 적이 없음 ▪️ 논문을 통해 EDA(Easy Data Augmentation)라고 부르는 간단한 NLP 데이터 증강 기법..

논문 읽기 엄청 오랜만이다. BERT 기반 사전학습모델 써보려고 하다가 관련 개념을 하나도 모르니까 모델 입력에 뭐가 들어가는지~ 데이터 형태를 어떻게 맞춰줘야 하는지~ 너무 이해가 안 되는 부분이 많아서 논문 본인등판시킴 💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 원문: https://arxiv.org/pdf/1810.04805.pdf ■ : 아직 바로 이해 안 되는 부분 Introduction 1. Pre-train된 언어 표현을 하위 태스크에 적용하는 2가지 방법 존재 1) Feature-based - Pre-trained representations을 포함하는 task-specific 구조를 추가적인 feature로 사용 - 예: ELMo 2) ..

Transformer를 제대로 이해하기 위해 봐야 할 논문과 개념들이 굉장히 많다. 차근차근 보고 Transformer도 다시 볼 계획이다. 💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 원문 : https://arxiv.org/pdf/1409.3215.pdf Abstract - DNN은 speech recognition과 같은 어려운 학습 태스크에서 우수한 성과를 달성한 모델이지만 고정 차원을 사용하기 때문에 입출력 길이가 다른 시퀀스(문장)를 다루는 문제에는 적합하지 않았다. - 이 논문에서는 다층 LSTM을 인코더-디코더로 사용하여 입력 시퀀스 의미에 대응하는 가변 길이 시퀀스를 출력하는 방법을 제안한다. - 입력 시퀀스 단어 순서를 반대로 할 경우(..

연구실에서 AI보안 쪽 공부할 때 공격에 대해서만 공부했던 거 같아서 방어 기법에 대해 궁금해졌다. 이번 주 논문으로 당첨 👊 💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 원문 : https://arxiv.org/pdf/1704.01155.pdf Abstract 이전 연구들은 adversarial example을 방어하기 위해 DNN(Deep Neural Network) 모델을 개선(모델 자체를 수정해야 함)하는 것에 초점을 맞췄지만 성공이 제한적이고 계산 비용이 높다는 단점 존재 → adversarial examples를 탐지함으로써 DNN 모델을 강화할 수 있는 Feature Squeezing 방식 제시 Introduction - 분류기가 advers..

이번주부터 한 주에 하나의 논문을 읽어보려고 한다. 나 잘할 수 있겠지 ? ^_^ 💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 원문 : https://arxiv.org/pdf/1706.03762.pdf Abstract dominant한 sequence transduction 모델들은 복잡한 RNN/CNN 구조 → Attention 매커니즘만을 기반으로 하는 새롭고 간단한 구조의 Transformer 제안 2022. 3. 4 추가 Transformer 요약 : 학습과 병렬화가 쉽고 attention 구조를 사용하여 속도를 높인 모델 Introduction Attention 매커니즘은 입력, 출력 간 거리에 상관없이 modeling을 할 수 있게 한다는 점에..

사실 분석보다 직역에 가깝지만 내용 정리 및 집단 지성의 힘을 빌려 내가 잘 몰랐던 부분을 이해하기 위한 목적으로 적는다. 💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 원문 : https://arxiv.org/abs/1607.02533 Abstract ◾ 이 논문은 물리적 세계에서도 머신러닝 시스템이 adversarial example에 취약하다는 것을 보임 Introduction ◾ 머신러닝 모델은 오분류를 일으키기 위한 목적으로 만들어진 adversarial manipulation input에 취약하며 특히 테스트 시 모델이 미세하게 변경된 입력을 받는 것에 대해 매우 취약함 ◾ 머신러닝 모델 M, 입력 샘플 C(변경되지 않은 깨끗한 상태의 샘플)가 ..