nsbg 🌞

논문 읽기 엄청 오랜만이다. BERT 기반 사전학습모델 써보려고 하다가 관련 개념을 하나도 모르니까 모델 입력에 뭐가 들어가는지~ 데이터 형태를 어떻게 맞춰줘야 하는지~ 너무 이해가 안 되는 부분이 많아서 논문 본인등판시킴 💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 ! 원문: https://arxiv.org/pdf/1810.04805.pdf ■ : 아직 바로 이해 안 되는 부분 Introduction 1. Pre-train된 언어 표현을 하위 태스크에 적용하는 2가지 방법 존재 1) Feature-based - Pre-trained representations을 포함하는 task-specific 구조를 추가적인 feature로 사용 - 예: ELMo 2) ..

class ModelName(nn.Module): def __init__(self): super().__init__() # 코드 작성 부분 def forward(self): # 코드 작성 부분 nn.Module - 모든 신경망 모듈의 기본이 되는 클래스 - 모델 구현 시 이 클래스를 상속받아 사용해야 함(should) - nn.Module 클래스는 다른 nn.Module 안에서 사용될 수 있음 - Linear, Dropout, LayerNorm 등 모델 생성에 쓰이는 여러 기능 포함 __init__ - 신경망 구성 요소를 정의하기 위해 사용 - ✅ super().__init__(): 부모 클래스(nn.Module)를 호출하는 역할로 이 부분을 작성하지 않고 self.변수명 = ~ 을 사용할 경우 에러 발..

데이콘 실습 중에 에러는 아니지만 아래와 같은 경고 문구가 떴고 모델 체크포인트 저장이 안되는 것 같길래 확인한 후 코드를 아주 살짝 수정해서 해결했다. # 기존 코드 mc = ModelCheckpoint(filepath=os.path.join(path, ckpt_1), monitor='acc', save_best_only=True, mode='max',verbose=1, save_weights_only=True) # 수정 코드 mc = ModelCheckpoint(filepath=os.path.join(path, ckpt_1), monitor='val_accuracy', save_best_only=True, mode='max',verbose=1, save_weights_only=True) monitor..

여름 휴가가 어떻게 될지 모르는 시기에 이 책을 읽었어서 저 문단들을 안 찍을수가 없었던..ㅎ 휴가는 잘 다녀왔고 앞으로의 대학원 생활에 큰 도움이 될 것 같은 내용이라 가끔씩 다시 보려고 한다. 👩‍💻 KoELECTRA라는 언어 모델을 조사했는데 구현하신 분이 대단하다는 생각이 많이 들었다. 기존 모델들이 가지고 있는 단점을 발견했고, 그 단점을 개선하기 위해 특정 모델을 커스텀(?)해서 배포까지 하다니 얼마나 멋진 일인가! 나는 아직도 정확하게 어떤 의미인지 모르는 딥러닝 용어들이 많은데 모델을 조사하면서 스스로를 돌아볼 수 있었다. 2년 후에는 전문가가 되어 있기를 바라면서 모르는 걸 창피해하지 않는 자세로 공부해야겠다. 🏋️ 운동의 필요성을 체감한 달이다. 휴가 가서 찍은 사진을 다시 보는데 사람..

'Vocab 생성' 과정은 자연어처리 태스크를 수행할 때 빠지지 않고 등장하지만, 습관적으로 쓸 뿐 생성 목적이 뭔지 이해하지 못했었다. 트랜스포머 모델을 다뤄보면서 뭔가 알 것 같기도 한 느낌이 들어서 자연어처리 태스크에 있어서 Vocab의 역할에 대해 내가 이해한 바를 정리해보려고 한다. ⭐ 잘못된 내용이 있다면 편하게 댓글 남겨주세요! 생성 단계 ※ Vocab 생성 단계 이후의 '데이터 생성'은 모델 입력 데이터 생성을 의미 토큰화-Vocab 생성 과정 토큰화 ⭐ 토큰화에 대한 내용은 오른쪽 링크를 누르면 확인할 수 있다. 여기! 토큰화를 하는 이유는 모델이 일반적인 표현을 배울 수 있게 하기 위한 게 아닐까? 하는 것이 내 생각이다. 문장을 입력으로 받아서 토큰화 과정 없이 문장 전체를 학습에 사..

👩‍💻 연구실 실전 업무(ex-과제) 맛을 조금씩 보고 있다. 특정 기능을 수행하는 코드도 짜보고, 컴퓨터 비전 관련 모델 구현에 필요한 배경지식을 채우기 위한 서치도 했다. 6월보다 더 빨리 한 달이 지나간 것 같은 느낌이라 그런가 뭔가 하긴 했는데.. 마땅히 기억에 남는 게 없네 :( 🎯 커넥트재단에서 진행하는 AI Tech 4기를 지원해야겠다고 마음 먹었는데 어쩌다 보니 지원하지 못했다. 지원서를 미리 써두지 않았어서 지원 마감날이 있는 주에 작성하려고 했는데 조금 중요한 연구실 업무가 있었어서 역시나 멀티플레이 실패! 3기 모집 때는 정말 하고 싶었는데 지금은 진로가 정해지기도 했고 연구실 일과 시간 때문에 3기 때보다는 하고 싶은 마음이 덜 했다. 반 년이 지났는지 1년이 지났는지는 기억이 잘 ..

💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂 원본 글 주소 : https://towardsdatascience.com/foundations-of-nlp-explained-visually-beam-search-how-it-works-1586b9849a24 Foundations of NLP Explained Visually: Beam Search, How it Works A Gentle Guide to how Beam Search enhances predictions, in Plain English towardsdatascience.com NLP 모델의 Output 생성 방법 기계 번역 작업에 자주 사용되는 sequence-to-sequence 모..

문제 입출력 예시문제를 요약하면 '내 왼쪽 인근에 있으면서 나보다 높은 탑의 인덱스 출력'이라고 할 수 있겠다. '인근'이라는 표현을 쓴 이유는 높이가 4인 다섯번째 탑처럼 왼쪽에 있는 탑들 중 나보다 높은 탑이 여러 개인 경우가 있을 수 있기 때문이다. 7보다 더 높은 탑이 있지만 4가 쏜 레이저 신호는 이미 7에 닿았으므로 7의 인덱스 번호+1을 출력하면 된다. 풀이☝ 첫 번째 시도(시간 초과)import sysfrom collections import dequeN = int(input())tower = list(map(int, sys.stdin.readline().split()))received = [0]for i in range(1, N): candidate = deque(tower[:i])..

윈도우에 어찌저찌 KoNLPy 설치 후 MeCab을 써보려고 했는데 import는 정상적으로 되고 객체 선언이 되지 않았다. Exception 메시지를 보면 경로 문제인 것 같았는데 아래 방법으로 해결할 수 있었다. # dicpath 추가 mecab = Mecab(dicpath=r"C:\mecab\mecab-ko-dic") 사실 임시방편으로 해결했나 싶기도 하다 🙄

💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂 원본 글 주소 : https://towardsdatascience.com/word2vec-research-paper-explained-205cb7eecc30 Word2Vec Research Paper Explained An Intuitive understanding and explanation of the word2vec model. towardsdatascience.com 서론 많은 NLP 활용 사례에서, 단어는 서로 간의 관계를 포착하지 않는 원-핫 인코딩으로 표현된다. 원-핫 인코딩을 사용하는 이유는 "간단함, 견고함과 대량의 데이터로 훈련된 간단한 모델이 소량의 데이터로 훈련된 복잡한 모델보다..