AncomWiki

Day 950: PTQ 세미나 및 작업 진행 상황

Properties1
description2024-02-06 일일 노트로, Whisper 모델 다운로드 및 주소 모델 전사 준비, 테스트 데이터 평가 등 할 일 목록을 기록함. 주요 내용은 PTQ(Post-Training Quantization) 세미나 요약으로, static/dynamic/quantization-aware training 등 3가지 양자화 방법론, PyTorch->ONNX->OpenVino 변환 파이프라인, 오디오 데이터(~10만개) 준비 필요성,…

36 min read

Day 950: PTQ 세미나 및 작업 진행 상황

Source

  • Field Notes/ReturnZero/Daily Notes/Day 950. 2024-02-06.md

Summary

2024-02-06 일일 노트로, Whisper 모델 다운로드 및 주소 모델 전사 준비, 테스트 데이터 평가 등 할 일 목록을 기록함. 주요 내용은 PTQ(Post-Training Quantization) 세미나 요약으로, static/dynamic/quantization-aware training 등 3가지 양자화 방법론, PyTorch->ONNX->OpenVino 변환 파이프라인, 오디오 데이터(~10만개) 준비 필요성, 일본어 적용 가능성 등을 다룸. 또한 sims 클러스터에 Istio 설치 작업 언급.

Key Points

  • Whisper 모델 다운로드 시작, 주소 모델 전사 준비(공간 부족), 테스트 데이터 평가 계획
  • PTQ(Post-Training Quantization) 세미나 내용: static, dynamic, quantization-aware training 3가지 방식 비교
  • 모델 변환 파이프라인: PyTorch -> ONNX -> OpenVino -> 양자화
  • 양자화를 위한 오디오 데이터 준비(~10만개 필요), 일본어 적용 가능성 검토
  • sims 클러스터에 Istio 설치 작업 진행

그래프 뷰

백링크