nsbg 🌞

문제 서로 다른 N개의 자연수의 합이 S라고 한다. S를 알 때, 자연수 N의 최댓값은 얼마일까? 입출력 예시 풀이입출력이 굉장히 간단하고 solved.ac 기준 티어도 높진 않지만 내 기준 흥미로운 문제여서 정리해둔다. 문제와 예시가 짧긴 했으나 이해하는 데에 오래 걸리지는 않았다. 문제를 보자마자 내 머릿속에 떠오른 생각은 아래와 같다. Step. 1) S를 어떻게 구성할 것인가?N을 최대로 만들기 위해서는 작은 수들부터 고려해야 한다. 즉, 몇 개의 숫자를 더해 200을 만드려고 할 때 99, 101 조합보다는 5, 10, 25, ..., 90과 같은 조합이 좋은 것! Step. 2) 작은 수들부터 고려하는 방법은?여기서 DP 개념이 살짝 얹어지게 되는데ㅡ 일단 1부터 순서대로 계속 수를 더해나가는..

trainer.train(resume_from_checkpoint=True) 단 위 코드의 한 가지 문제점은 처음 저 코드를 실행하면 아래와 같은 에러가 뜬다는 거다. 일단 try-except문으로 코드를 수정해뒀는데 임시 해결책인 것 같기도 해서 살짝 찝찝하긴 하다. ValueError: No valid checkpoint found in output directory (TrainingArguments에 지정한 output 디렉토리명)

버전 확인 import transformers print(transformers.__version__) 버전 업그레이드 pip install --upgrade transformers

문제다솜이는 은진이의 옆집에 새로 이사왔다. 다솜이는 자기 방 번호를 예쁜 플라스틱 숫자로 문에 붙이려고 한다.다솜이의 옆집에서는 플라스틱 숫자를 한 세트로 판다. 한 세트에는 0번부터 9번까지 숫자가 하나씩 들어있다. 다솜이의 방 번호가 주어졌을 때, 필요한 세트의 개수의 최솟값을 출력하시오. (6은 9를 뒤집어서 이용할 수 있고, 9는 6을 뒤집어서 이용할 수 있다.) 입출력 예시 풀이처음에 문제랑 입출력 예시 보자마자 금방 풀 줄 알았는데 또 스스로를 과대평가해버린 것이었음. 질문 게시판과 구글링으로 힌트 얻은 후에야 제출할 수 있었다. 힌트 보면 아~ 하는데 그 과정을 내 힘으로 떠올리는 게 왜이렇게 어려울까 🥲 일단 내가 생각해본 풀이 방식들은 아래와 같다.아이디어 1) 문자열 단순 확인① f..

문제지민이는 자신의 저택에서 MN개의 단위 정사각형으로 나누어져 있는 M×N 크기의 보드를 찾았다. 어떤 정사각형은 검은색으로 칠해져 있고, 나머지는 흰색으로 칠해져 있다. 지민이는 이 보드를 잘라서 8×8 크기의 체스판으로 만들려고 한다.체스판은 검은색과 흰색이 번갈아서 칠해져 있어야 한다. 구체적으로, 각 칸이 검은색과 흰색 중 하나로 색칠되어 있고, 변을 공유하는 두 개의 사각형은 다른 색으로 칠해져 있어야 한다. 따라서 이 정의를 따르면 체스판을 색칠하는 경우는 두 가지뿐이다. 하나는 맨 왼쪽 위 칸이 흰색인 경우, 하나는 검은색인 경우이다.보드가 체스판처럼 칠해져 있다는 보장이 없어서, 지민이는 8×8 크기의 체스판으로 잘라낸 후에 몇 개의 정사각형을 다시 칠해야겠다고 생각했다. 당연히 8*8 ..

The History of Open-Source LLMs: Part Ⅰ. Early days The History of Open-Source LLMs: Part Ⅱ. Better Base Models The History of Open-Source LLMs: Part Ⅲ. Imitations and alignment ⭐ 글에 삽입된 모든 이미지의 출처는 원문입니다. 초기 오픈소스 LLM - 공개되지 않은 사전 학습 모델들과 비교하면 성능이 많이 떨어진다는 단점이 존재함 1) LLM 학습 파이프라인 ① 대량의 원시 데이터를 이용해 모델 사전 학습 ② SFT와 RLHF 같은 기술을 이용해 alignment 수행 ③ LLM을 특정 태스크에 적용하기 위해 파인 튜닝 또는 in-context learning 수행..

연구실 오빠가 공유해준 오픈소스 LLM 발전 과정에 대한 글을 읽고 번역 및 추가 공부한 내용을 정리해본다. The History of Open-Source LLMs: Part Ⅰ. Early days The History of Open-Source LLMs: Part Ⅱ. Better Base Models The History of Open-Source LLMs: Part Ⅲ. Imitations and alignment ⭐ 글에 삽입된 모든 이미지의 출처는 원문입니다. LLM 등장 배경 - 언어 모델 자체는 역사가 오래 됐지만 self-supervised pre-training과 in-context learning을 조합하여 여러 태스크에서 인상 깊은 few-shot learning 성능을 보인 GP..

이준범님께서 올려주신 QLoRA+Polyglot-Ko-12.8B 학습 예제를 보고 따라하고 있었는데 원본 코드에서는 나오지 않던 에러가 발생했다. 구글링해서 찾았던 해결법(tokenizer 인자로 padding=True/또는 'max_length', truncation=True/또는 'max_length' 추가)이 하나도 먹지 않아서 너무 답답했었는데 아래와 같은 방법으로 해결할 수 있었다. 핵심은 remove_columns! ✅ 해결 방법 dataset = dataset.map(lambda samples: tokenizer(samples["text"], padding=True, truncation=True, max_length=128), batched=True, remove_columns=['input..

RuntimeError: Expected floating point type for target with class probabilities, got Long 학습 과정에서 loss = loss_fn(pred, label) 코드를 사용했는데, pred와 label이 float일 줄 알았는데 long을 받았다는 에러 문구다. 예전에는 loss 구하는 부분에서 데이터 타입을 지정해준 적이 없는 것 같은데 아마 데이터셋 클래스나 collate_fn 함수에서 설정해줬던 듯? 이번에는 저 부분에서 데이터 타입을 명시해줬다. ✅ 해결 방법 loss = loss_fn(torch.tensor(pred, dtype=torch.float16), torch.tensor(label, dtype=torch.float16)) R..

주 1회 진행하는 스터디 모임에서 함께 공부해보기로 한 자료 정리 목적으로 글을 작성한다. 스터디원분께서 좋은 자료를 추천해주셔서 정말 오랜만에 진득한 이론 공부를 하게 될 것 같다. 원문: https://github.com/CausalInferenceLab/Causal-Inference-with-Python 머신러닝과 인과관계 ◾ 머신러닝은 엄격한 바운더리 안에서 엄청난 일을 할 수 있지만, 주어진 데이터가 모델이 학습한 것과 조금 다를 경우 제대로 작동하지 않을 수 있음 ◾ 머신러닝은 상관관계에 의존하기 때문에 인과관계(causation) 유형의 문제를 잘 다루지 못함 예시) "호텔 산업에서 가격은 비수기일 때 저렴하고, 수요가 가장 많고 호텔이 가득 차는 성수기 시즌에는 가격이 높습니다. 해당 데이..