AncomWiki

fp16 테스트 실패 및 배포 작업 기록

Properties1
description2023년 5월 19일 fp16 테스트 시도 중 드라이버 버전 불일치로 인해 실패함. 그간 수행한 rt-gec 배포, tritonserver 이미지 재배포, 모델 수정(strip, truncation, dynamic_batching, config.pbtxt 설정 등) 작업 내역과 향후 dadumi 배포 및 vito-worker 빌드 계획, 관련 실행 명령어 및 테스트 스크립트 정보가 기록됨.

38 min read

fp16 테스트 실패 및 배포 작업 기록

Source

  • Field Notes/ReturnZero/Daily Notes/Day 688. 2023-05-19.md

Summary

2023년 5월 19일 fp16 테스트 시도 중 드라이버 버전 불일치로 인해 실패함. 그간 수행한 rt-gec 배포, tritonserver 이미지 재배포, 모델 수정(strip, truncation, dynamic_batching, config.pbtxt 설정 등) 작업 내역과 향후 dadumi 배포 및 vito-worker 빌드 계획, 관련 실행 명령어 및 테스트 스크립트 정보가 기록됨.

Key Points

  • fp16 테스트 시도: 23.04 버전으로 빌드했으나 드라이버 버전 불일치로 실패
  • 완료된 작업: rt-gec 배포, tritonserver 이미지 재배포
  • 모델 수정 사항: strip/truncation 적용, dynamic_batching 적용(core), batch size 64 고정(ensemble), max_length를 config.pbtxt로 분리 시도
  • 미완료 작업: dadumi 배포, vito-worker 이미지 빌드(80, 64, 32 버전)
  • 실행 환경 및 테스트: VITOREDIS 및 NEURAL_ITN_URL 설정 기반 worker 실행 및 pytest 테스트 스크립트 기록

그래프 뷰

백링크