[PyTorch] RuntimeError: mat1 and mat2 must have the same dtype, but got Double and Float

 

문제 발생 배경

 

사용한 데이터는 보스턴 데이터

Boston-house-price-data

 

 

 

PyTorch 를 이용해 해당 데이터로 간단한 선형 회귀를 해보는 중 아래의 런타임 에러가 발생하였다

RuntimeError: mat1 and mat2 must have the same dtype, but got Double and Float

 

 

 

---

 

 

 

상세 에러 내용

선형 회귀 모델에 데이터를 입력하여 테스트해보면 아래와 같은 에러가 발생한다

---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
/tmp/ipython-input-1627512362.py in <cell line: 0>()
      3 model.to(device)
      4 
----> 5 assert model(X_test_tensor).shape == (102, 1)
      6 print("Model is implemented correctly!")

5 frames
/usr/local/lib/python3.12/dist-packages/torch/nn/modules/linear.py in forward(self, input)
    123 
    124     def forward(self, input: Tensor) -> Tensor:
--> 125         return F.linear(input, self.weight, self.bias)
    126 
    127     def extra_repr(self) -> str:

RuntimeError: mat1 and mat2 must have the same dtype, but got Double and Float

 

• 행렬 곱 연산(matmul)을 수행할 때, 입력 데이터(mat1)와 모델 가중치(mat2)의 dtype, 데이터 타입이 서로 다르다는 의미
• 그럼 어디서 잘못된 걸까? 전처리 단계에서 이상이 있었음

 

일반적인 전처리 과정들, x와 y 분리, 학습 및 테스트셋 분리, 정규화 등을 거친 뒤에 PyTorch로 구축된 선형 회귀 모델에서 사용하기 위해선 데이터 프레임으로 되어있는 데이터들을 텐서로 변환해줘야한다

torch.tensor(X_train.values).to(device)
---
=> torch.float64

 

데이터 프레임에서 values로 넘파이 형태로 추출한 뒤에 텐서로 변환 후 GPU (또는 CPU) 에 데이터를 올린다

문제는 torch.tensor()에서 데이터 타입을 지정하지 않았을 때 변환된 타입이 float64, double 이라는 것

 

하지만 nn.Linear의 weight와 bias는 기본적으로 torch.float32를 사용한다

따라서 입력 데이터와 모델의 가중치 데이터 타입이 안맞으면서 곱연산 런타임 에러가 발생한다

 

 

여기서 주의할 점은 torch.tensor() 에서 데이터 타입을 지정하지 않을 경우 입력받은 데이터 타입을 따라간다

X_train.values.dtype
=> dtype('float64')

 

텐서 변환을 위해 데이터 프레임에서 넘파이로 추출했을 때 데이터 타입이 float64 였기 때문에 이를 텐서도 따라가게 된 것이다

 

 

 

 

 

 

---

 

 

 

 

해결 방법

공식 문서 늘 참고하기.

 

https://docs.pytorch.org/docs/stable/generated/torch.nn.Linear.html#torch.nn.Linear

Linear — PyTorch 2.8 documentation

 

 

 

 

torch.tensor(X_train.values, dtype=torch.float32).to(device)
---
=> torch.float32

 

텐서 변환 과정에서 데이터 타입을 모델에 맞게 맞춰주면 된다

torch.tensor에서 dtype으로 원하는 데이터 타입 선택 가능하다

 

늘 입력받는 데이터의 타입을 잘 살펴보고 이렇게 데이터 전처리를 할 경우 이슈가 발생하지 않도록 데이터 타입을 명시해두자