본문 바로가기

👨‍🏫24

[LangChain] OSError: /usr/lib/x86_64-linux-gnu/libc.so.6: version not found (required by ~) 에러 메시지 원본은 OSError: /usr/lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.32' not found (required by /opt/conda/lib/python3.10/site-packages/gpt4all/llmodel_DO_NOT_MODIFY/build/libllmodel.so) LangChain 공식 문서를 보면서 실습을 하던 중 아래 코드를 실행하니까 뜬 에러 메시지이다. 챗지피티+구글링으로 이것저것 찾아보고 두 가지 방법을 시도해봤다. 1) Ubuntu 버전 업데이트 Ubuntu 20.04면 22.04로 바꿔보라는 글이 종종 있었지만 이미 22.04를 사용하고 있어서 이 방법은 의미가 없었다. 2) GPT4All 버전 낮추기 → 이 방법.. 2024. 1. 25.

[LangChain] LangChain+Streamlit+FastAPI 내가 헷갈려서 실행 순서를 정리해둔다. 1. app.py - streamlit이 구현되어 있는 py 파일 2. api.py - LangChain, FastAPI가 구현되어 있는 py 파일 1. app.py 실행 2. api.py 실행 3. app.py를 실행했을 때 나오는 URL로 접속 2024. 1. 8.

[Hugging Face] Trainer.train() 사용 시 학습 이어서 하기 trainer.train(resume_from_checkpoint=True) 단 위 코드의 한 가지 문제점은 처음 저 코드를 실행하면 아래와 같은 에러가 뜬다는 거다. 일단 try-except문으로 코드를 수정해뒀는데 임시 해결책인 것 같기도 해서 살짝 찝찝하긴 하다. ValueError: No valid checkpoint found in output directory (TrainingArguments에 지정한 output 디렉토리명) 2023. 12. 15.

[Hugging Face] transformers 라이브러리 버전 확인 & 버전 업그레이드 버전 확인 import transformers print(transformers.__version__) 버전 업그레이드 pip install --upgrade transformers 2023. 12. 14.

[Hugging Face] ValueError: Unable to create tensor, you should probably activate truncation and/or padding with 'padding=True' 'truncation=True' to have batched tensors with the same length. Perhaps your features (`labels` in this case) have excessive n.. 이준범님께서 올려주신 QLoRA+Polyglot-Ko-12.8B 학습 예제를 보고 따라하고 있었는데 원본 코드에서는 나오지 않던 에러가 발생했다. 구글링해서 찾았던 해결법(tokenizer 인자로 padding=True/또는 'max_length', truncation=True/또는 'max_length' 추가)이 하나도 먹지 않아서 너무 답답했었는데 아래와 같은 방법으로 해결할 수 있었다. 핵심은 remove_columns! ✅ 해결 방법 dataset = dataset.map(lambda samples: tokenizer(samples["text"], padding=True, truncation=True, max_length=128), batched=True, remove_columns=['input.. 2023. 8. 24.

[PyTorch] RuntimeError - dtype, grad_fn RuntimeError: Expected floating point type for target with class probabilities, got Long 학습 과정에서 loss = loss_fn(pred, label) 코드를 사용했는데, pred와 label이 float일 줄 알았는데 long을 받았다는 에러 문구다. 예전에는 loss 구하는 부분에서 데이터 타입을 지정해준 적이 없는 것 같은데 아마 데이터셋 클래스나 collate_fn 함수에서 설정해줬던 듯? 이번에는 저 부분에서 데이터 타입을 명시해줬다. ✅ 해결 방법 loss = loss_fn(torch.tensor(pred, dtype=torch.float16), torch.tensor(label, dtype=torch.float16)) R.. 2023. 6. 27.

이전 1 2 3 4 다음

티스토리툴바