AncomWiki

NLP4STT: PyTorch/Triton Export 및 버전 호환성 문제

Properties1
descriptionNLP4STT 프로젝트에서 Triton을 사용한 모델 export 시 `requires_grad` 설정과 관련된 오류가 발생하여 진전이 지연되고 있다. GEC 모델과 Neural-ITN 모델 간의 그래프 export 차이(특히 embedding 레이어의 gradient 요구 여부)를 확인 중이며, PyTorch 버전(1.5~1.13)과 Python 버전(3.9)을 다양하게 변경해 보았으나 segfault, 호환성 오류, 또는…

37 min read

NLP4STT: PyTorch/Triton Export 및 버전 호환성 문제

Source

  • Field Notes/ReturnZero/Daily Notes/Day 569. 2023-01-20.md

Summary

NLP4STT 프로젝트에서 Triton을 사용한 모델 export 시 requires_grad 설정과 관련된 오류가 발생하여 진전이 지연되고 있다. GEC 모델과 Neural-ITN 모델 간의 그래프 export 차이(특히 embedding 레이어의 gradient 요구 여부)를 확인 중이며, PyTorch 버전(1.5~1.13)과 Python 버전(3.9)을 다양하게 변경해 보았으나 segfault, 호환성 오류, 또는 의존성 충돌(pytorch-lightning)로 인해 해결되지 않고 있다.

Key Points

  • Triton export 시 do_constant_folding=False 설정에도 불구하고 오류가 지속됨.
  • GEC 모델은 embedding 레이어의 requires_grad=0인 반면, Neural-ITN은 1로 설정되어 있어 그래프 구조 차이 확인 필요.
  • PyTorch 버전(1.5~1.13) 및 Python 3.9 환경에서 segfault 또는 호환성 오류 반복 발생.
  • PyTorch 1.6 이하에서는 trainer 모듈 부재, 1.11 이상에서는 pytorch-lightning 의존성 충돌 등 환경 구축의 어려움.
  • 특정 PyTorch 버전(예: 1.8.3)에서만 작동하는 함수 사용 가능성 의심.

그래프 뷰

백링크