nsbg 🌞

이번 학기 하나 있던 텀프로젝트가 끝난 후 사용한 코드에 대해 복습 목적으로 글을 작성한다. 모델은 총 3개인데 CNN, RNN, Transformer 순으로 정리할 예정이다. 👩‍🏫 모델 클래스 class CNN(nn.Module): def __init__(self, vocab_size, embed_dim, n_filters, filter_size, dropout, num_class): super(CNN, self).__init__() self.embedding = nn.Embedding(vocab_size, embed_dim) self.conv1d_layers = nn.ModuleList([nn.Conv1d(in_channels=embed_dim, out_channels=n_filters[i], ke..

문제 입출력 예시 개인적으로는 '입출력 예 #2'가 까다로웠다 🥲 풀이처음에는 x=s[0]으로 미리 할당해놓고 s[1:]을 for문 돌리면서 문자 하나하나를 x와 비교하는 방식을 썼다. 이 방법으로 하니까 s 길이가 1일 때 인덱스 에러가 계속 떴는데, 인덱스 에러가 도저히 안 잡혀서 아예 생각을 다시 했다. 핵심은 '시작 문자를 정해주지 않는 것'이었다. for문 안에서 x, x_cnt, not_x_cnt 초기화하는 부분이 한 번 더 나오는 게 불편하지만 이건 더 줄일 수가 없는 부분이라서 어쩔 수 없었다. def solution(s): answer = 0 x_cnt = 0 not_x_cnt = 0 x = '' for alphabet in s: i..

문제 입출력 예시 풀이핵심은 양쪽에서 접근할 수 있는 deque을 사용하는 것과 반복문을 빠져나오는 시점을 정해주는 것이었다. 반복문 탈출 조건을 놓치면 무조건 오답이 나오기 때문! ※ 기본 아이디어: 원소 총 합이 큰 리스트에서 작은 리스트로 원소를 옮김 1️⃣ 특정 TC에서 실패한 코드(11번, 28번) 1. 각 queue를 deque으로 바꾸고 리스트 총 합을 미리 구해둔다. 2. sum(queue1), sum(queue2)을 비교하면서 큰 곳에서 작은 곳으로 값 이동 → 큰 곳에서 popleft()3. 값이 이동할 때마다 cnt += 14. 두 리스트의 합이 같아지면 break 위의 로직대로 했고 크게 잘못된 부분이 없다고 생각했는데 특정 TC에서 계속 실패하길래 고민을 꽤나 했다. '질문하기'에..

PyTorch+KoELECTRA 분류 모델 사용 중에 뜬 에러 문구이다. 1. 모델을 불러온 방식(에러 발생) 분류를 위한 KoELECTRA 모델을 사용했는데 처음에는 필요한 레이블 수를 지정해주지 않았다. 2. 수정 분류해야 하는 레이블 수만큼 num_labels 인자로 추가해주었다. kcBERT 깃허브에서 똑같은 질문을 발견했는데 개발자 분께서 ~ForSequenceClassification 모델은 기본이 이진 분류라고 답변해주신 내용을 참고했다. KoELECTRA 모델도 BERT 기반이니까 저 방법이 될수도 있겠다 싶었고 적용하니까 에러 해결 🙂 참고 사이트 https://github.com/Beomi/KcBERT/issues/3

💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 원문: https://aclanthology.org/D19-1670.pdf 1 Introduction ▪️ 머신러닝과 딥러닝은 감성분석부터 토픽 분류까지 NLP 분야에서 높은 정확도를 달성했지만, 높은 성능은 종종 학습 데이터의 양과 퀄리티에 달려 있음 ▪️ 자동 데이터 증강(Automatica data augmentation)은 컴퓨터 비전과 음성 분야에서 많이 사용되지만 언어 변환을 위한 일반적인 규칙을 만드는 것은 어렵기 때문에 NLP 분야에서 일반적인 데이터 증강 기법은 완전히 연구된 적이 없음 ▪️ 논문을 통해 EDA(Easy Data Augmentation)라고 부르는 간단한 NLP 데이터 증강 기법..

👩‍💻 아침 기상 스터디를 3주 간 참여했다. 원래 목표는 자연어처리 공부였는데 중간중간 학교 시험이나 퀴즈가 있을 때는 그거 한다고 자연어처리 공부를 못한 게 아쉽다. 시간 관리를 잘했다면 목표했던 공부를 할 수 있었겠지 내 자신아! 어느 순간부터 NLP 엔지니어가 되고 싶다는 생각을 하고 있었고 머릿속에는 자연어처리 분야를 잘하고 싶다는 생각 뿐 📒 대학원생도 피할 수 없는 중간고사..! 이번 학기는 세 과목을 듣고 있는데, 중간고사를 치는 과목은 두 과목뿐이었다. 학부 막 학년 때 1년 내내 비대면 시험이거나 시험 대체 과제를 제출하는 방식으로 중간/기말을 보냈어서 대면 시험이 너무 오랜만이었다. 과연 한 학기가 끝났을 때 내 성적은 어떻게 나올 것인지 To be continued.. / 10월 초..

연구실 GPU 서버에서 작업하다가 로컬 윈도우+WSL2 조합으로 Docker 쓰려고 했더니 에러가 우수수 🙂 한글로 된 자료도 잘 없어서 누군가에게는 도움이 되기를 바라며 마주친 에러와 해결 방법을 정리해둔다. ※ 환경: Windows 10 Pro, Ubuntu 20.04 # 1 에러 문구 - Release file for http://archive.ubuntu.com/ubuntu/dists/focal-backports/InRelease is not valid yet (invalid for another 8h 29min 28s). Updates for this repository will not be applied. 에러 원인 - sudo apt-get update 커맨드 사용 시 로컬 시스템과 우분투 ..

개념 단어 집합(vocab)에 있는 단어 각각을 실수(real number)로 이루어진 dense vector로 표현하는 것 방법 ※ PyTorch 기준 1) Embedding layer 생성: nn.Embedding 사용 2) Pre-trained word embedding: 사전 학습된 워드 임베딩(Word2Vec, GloVe 등)을 가져와서 사용 예시 1) Embedding layer 생성 ① nn.Embedding layer 없이 직접 구현(셀 순서대로 진행됨) import torch train_data = 'I want to be a AI engineer' # 단어 집합 생성(중복 제거) word_set = set(train_data.split()) # 각 단어에 고유한 정수 부여 vocab =..

👩‍💻 대학원 입학 후 한 달이 지났다. 연구실 나온 기간에 비해 입학이 늦은 케이스여서 이제 대학원 입학했다고 하면 다들 놀란다 ㅋㅋㅋ 한 달 체험 소감은.. 일단 연구실 생활이야 뭐 기존과 큰 차이가 없지만 수업을 듣는다는 게 굉장히 큰 비중을 차지한다. 모든 과목이 한 주에 한 번 수업이라 수업 시간이 긴데, 이번 학기는 다 오후 아니면 저녁 수업을 듣고 있어서 수업이 있는 날은 하루가 너무 빠르다 🥲 이러다가 정신 차리면 12월 종강 시즌일 듯 ~ 아 입학하고 나서 처음으로 논문을 투고했다! 동향 조사라서 앞으로 쓰게 될 논문은 알찬 내용으로 준비해야겠다고 다짐했다. 📒 10월 1일에 빅데이터분석기사 필기 시험이었어서 9월 말 한 주는 정말 그거만 봤다. 마지막으로 했던 자격증 공부가 초등학생 때..

여태까지 PyTorch 사용한 방식과 차이가 없었던 거 같은데 저런 문구가 떠서 조금 당황스러웠다. BERT 실습 중에 만난 거였고 일단 해결하긴 했는데 깔끔한 방식은 아닌 것 같다. 빨간색 체크 표시를 해둔 곳에서 RuntimeError: ~ 가 떴고 모든 텐서가 cuda:0에 올라가야 하는데 cpu에 올라간 게 있는 것 같아서 빨간색 체크 전에 print()로 각 텐서가 어디 올라가있는지 device를 찍어보았다. input_ids, attention_mask, token_type_ids는 custom torch dataset, collate_fn, dataloader를 거쳐 최종적으로 모델 학습 데이터가 되기 때문에 collate_fn의 리턴 결과에 모두 .to(device)를 추가해주었다. 모두 ..