[PyTorch] RuntimeError - dtype, grad_fn

RuntimeError: Expected floating point type for target with class probabilities, got Long

학습 과정에서 loss = loss_fn(pred, label) 코드를 사용했는데, pred와 label이 float일 줄 알았는데 long을 받았다는 에러 문구다. 예전에는 loss 구하는 부분에서 데이터 타입을 지정해준 적이 없는 것 같은데 아마 데이터셋 클래스나 collate_fn 함수에서 설정해줬던 듯? 이번에는 저 부분에서 데이터 타입을 명시해줬다.

 

✅ 해결 방법

loss = loss_fn(torch.tensor(pred, dtype=torch.float16), torch.tensor(label, dtype=torch.float16))

---

RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

train_dataloader 돌면서 loss.backward()를 수행하는 과정에서 만난 에러다. 지금까지 PyTorch 코드 짜면서 처음 본 에러 로그라 원인이 뭔지는 아직 파악 못함!

 

✅ 해결 방법

# loss.backward() 앞에 loss.requires_grad_ 추가
loss.requires_grad_(True)
loss.backward()