nsbg 🌞

또 다시 월별 정리가 밀리기 시작했다! 2월은 꼭 제때 써야지. 1월은 그렇게 큰 이벤트가 없었다. 1월 중순?(이었나 말이었나)부터 공모전 준비를 했고 지금은 다 제출까지 끝난 상태다. 연구실 일도 크게 바쁜 건 없었는데 아마 슬슬 바빠지지 않을까 싶다. 1월도 날로 먹는 느낌이지만 기억 나는 게 딱히 없어서 후다닥 마무리..🙂

💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 💬 ◾ 기호는 원문 내용이며, ◽ 기호는 글 작성자의 개인적인 생각입니다. 원문: https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf Abstract ◾ 자연어 생성(NLG) 분야에서 레이블이 없는 텍스트 데이터는 충분하지만 특정 태스크(textual entailment, QA, semantic similarity assessment 등)를 위해 레이블 된 데이터는 부족함 ◾ 레이블 된 데이터가 부족한 상황은 학습된 모델이 제대로 성능을 발휘하지 못하게 함 ◾ 레이블이 없는 다양한 텍스트 코퍼스에..

💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 💬 ◽ 기호는 글 작성자의 개인적인 생각이며, ◾ 기호는 원문 내용입니다. 원문: https://arxiv.org/pdf/1907.11692.pdf Abstract ◾ BERT 모델에 대해 재현 연구(replication study)를 수행하면서 데이터 크기, 주요 하이퍼파라미터가 결과에 어떤 영향을 주는지 확인 ◾ BERT 모델이 undertrained되었으며 BERT 모델 발표 이후 나온 모델들의 성능을 능가한다는 것을 알게 됨 ◾ 이전에 간과되던 모델 설계 방법의 중요성에 대해 강조 ◽ RoBERTa라는 새로운 모델을 제안한 것이 아니라 BERT 모델을 가장 좋은 방법으로 학습시킨 것 ◽ 'undertra..

작년에 해 바뀌고 회고록을 작성했던 게 아쉬워서 잊지 않고 있다가 12월 31일에 작성하기 성공! 🔛 시작 본격적으로 석사과정을 시작한 해였다. 이제는 거의 다 대면수업으로 전환됐기 때문에 연구실 일하다가 수업 시간이 되면 듣고 오는 식으로 첫 학기를 마무리했다. 마지막 학부 생활이 완전한 비대면 학기였기 때문에 대면 수업이 너무 오랜만이었다. 분명 과거의 나는 대학교 졸업하면 수업 들을 일이 없을 것이라고 생각했을텐데 이렇게 생활하고 있는 걸 보면 인생은 정말 알 수 없는 거구나 싶다. 이번 학기에 대해 평가하면 언제나 그랬듯이 후회가 많이 되고 반성할 것 투성이다. 나만 연구+연구실 업무와 수업을 병행하는 게 아닌데 학기 중에는 스스로에게 너무나 관대했다. 평일에 바빴으니까, 이번주는 피곤했으니까 하..

한 해가 다 끝나가는데 이제서야 11월 정리를 한다. 늦게 쓰니까 기억이 안 나서 카테고리도 나누지 않고 굉장히 짧게 작성한다. 코테/인공지능 스터디를 시작해서 지금까지 진행하고 있다. 프로그래머스와 데이콘 위주로 스터디를 하고 있는데 데이콘 대회는 잘하는 분들이 너무 많다! 그분들의 지식을 스펀지처럼 쏙쏙 빨아들이고 싶은데 모델링 방향을 잡는 것부터 어려워서 다들 어떻게 공부하신 건지 궁금증만 한가득한 상태 😵 대회 수상자분들 코드 보고 공부하는 시간을 가져야겠다고 계속 생각하고 있는데 나는 정말 실행력이 문제다 문제~

감성 분류 모델 구현 시리즈 (1) | CNN 감성 분류 모델 구현 시리즈 (2) | RNN Transformer 분류 모델은 단일 파일이 아니라서 하나씩 분석하면 글이 3개나 4개 정도 나올 것 같다. 👩‍🏫 모델 클래스 import torch import torch.nn as nn import torch.nn.functional as F from copy import deepcopy from .encoder import Encoder, EncoderLayer from .sublayers import * attn = MultiHeadAttention(8, 152) ff = PositionwiseFeedForward(152, 1024, 0.5) pe = PositionalEncoding(152, 0.5)..

감성 분류 모델 구현 시리즈 (1) | CNN 👩‍🏫 모델 클래스 class RNN(nn.Module): def __init__(self, vocab_size, embed_dim, hidden_dim, n_layers, dropout, num_class, device): super(RNN, self).__init__() self.device = device self.n_layers = n_layers self.hidden_dim = hidden_dim self.embed = nn.Embedding(vocab_size, embed_dim) self.dropout = nn.Dropout(p=dropout) self.gru = nn.GRU(embed_dim, self.hidden_dim, self.n_laye..

💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂 원본 글 주소: https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f Micro, Macro & Weighted Averages of F1 Score, Clearly Explained Understanding the concepts behind the micro average, macro average and weighted average of F1 score in multi-class classification towardsdatascience.com F1 Score(..

✍️ 성인 되고 처음 딴 자격증 전공자 / 판다스 경험 多 / 주 사용 언어 파이썬인 사람이 작성하는 제5회 빅데이터분석기사 합격 및 시험 후기 글이다. 필기/실기 둘다 일주일 공부하고 쳤더니 두 시험 다 붙을 거란 확신이 없었다. 생각보다 안정적인 점수로 합격했다는 게 나도 놀라울 뿐.. 필기 과락이 있고 사람마다 어려운 파트는 다르겠지만 내 기준 '빅데이터 탐색' 부분이 암기할 게 제일 많았던 것 같다. 다른 파트보다 자신이 없기도 했는데 까보니까 역시 네 파트 중에 점수가 제일 낮더라 ㅎㅎ 필기는 10월이었나 그 때 쳐서 어떤 파트에 뭐가 나왔고 이런 정확한 내용이 기억이 안 나는데, 계산하는 문제가 꽤 나왔던 걸로 기억한다. 나올 법한 계산 문제는 다 보고 갔다고 생각했는데 완벽하게 풀진 못했고 ..

이번 학기 하나 있던 텀프로젝트가 끝난 후 사용한 코드에 대해 복습 목적으로 글을 작성한다. 모델은 총 3개인데 CNN, RNN, Transformer 순으로 정리할 예정이다. 👩‍🏫 모델 클래스 class CNN(nn.Module): def __init__(self, vocab_size, embed_dim, n_filters, filter_size, dropout, num_class): super(CNN, self).__init__() self.embedding = nn.Embedding(vocab_size, embed_dim) self.conv1d_layers = nn.ModuleList([nn.Conv1d(in_channels=embed_dim, out_channels=n_filters[i], ke..