AncomWiki

업라이즈 AI바우처: 금융 콘텐츠 요약 서비스 및 NLP4STT 기술적 장애물

Properties1
description이 노트는 '업라이즈 AI바우처' 사업화를 위한 금융 콘텐츠 동영상 요약 서비스의 기획 개요와, 이를 구현하는 데 있어 직면한 한국어 STT 및 NLP 기술적 문제점을 기록한 일기 형식의 엔지니어링 노트입니다. 핵심 문제의식은 PyTorch/TensorRT 환경에서의 모델 서빙(Serving) 호환성 문제, 특히 `torch2trt` 변환 실패와 `transpose` 연산 관련 오류를 우회하기 위한 기술적 시도와 그 한계를…

38 min read

업라이즈 AI바우처: 금융 콘텐츠 요약 서비스 및 NLP4STT 기술적 장애물

Source

  • Field Notes/ReturnZero/Daily Notes/Day 574. 2023-01-25.md

Summary

이 노트는 ‘업라이즈 AI바우처’ 사업화를 위한 금융 콘텐츠 동영상 요약 서비스의 기획 개요와, 이를 구현하는 데 있어 직면한 한국어 STT 및 NLP 기술적 문제점을 기록한 일기 형식의 엔지니어링 노트입니다. 핵심 문제의식은 PyTorch/TensorRT 환경에서의 모델 서빙(Serving) 호환성 문제, 특히 torch2trt 변환 실패와 transpose 연산 관련 오류를 우회하기 위한 기술적 시도와 그 한계를 다루고 있습니다.

Key Points

  • 사업 목표: 금융 콘텐츠 동영상을 STT로 변환 후 요약/정리하는 서비스 제공
  • 필요 기술: 한국어 STT, 화행 분류, 요약 기술 및 상용화 레퍼런스 확보
  • 기술적 장애: PyTorch Lightning 버전 제약으로 인한 Torch 버전 하향 불가, Triton 서빙 대신 Torch 서빙으로 우회 시도
  • 구체적 에러: torch2trt 변환 시 torch.Tensor.__hash__ 등 미지원 메서드 및 데이터 타입 변환 오류 발생
  • 해결 방향 모색: transpose 연산 제거 시도, ONNX opset 변경 실패, Nemo export의 오차 범위(tolerance) 문제 확인
  • 다음 단계: 배치 입력 생성 및 _infer 함수 참고를 통한 앙상블 모델 구축 시도

그래프 뷰

백링크