[Hugging Face] ValueError: Unable to create tensor, you should probably activate truncation and/or padding with 'padding=True' 'truncation=True' to have batched tensors with the same length. Perhaps your features (`labels` in this case) have excessive n..

이준범님께서 올려주신 QLoRA+Polyglot-Ko-12.8B 학습 예제를 보고 따라하고 있었는데 원본 코드에서는 나오지 않던 에러가 발생했다.

 

구글링해서 찾았던 해결법(tokenizer 인자로 padding=True/또는 'max_length', truncation=True/또는 'max_length' 추가)이 하나도 먹지 않아서 너무 답답했었는데 아래와 같은 방법으로 해결할 수 있었다. 핵심은 remove_columns!

 

✅ 해결 방법

dataset = dataset.map(lambda samples: tokenizer(samples["text"], padding=True, truncation=True, max_length=128), batched=True, remove_columns=['inputs', 'labels'])