AncomWiki

띄어쓰기 모델 변환 및 성능 테스트

Properties1
description한국어 띄어쓰기 모델의 추론 성능 테스트 및 학습 데이터 전처리 이슈를 기록한 필드 노트입니다. 배치 크기 128 이상에서 segfault 가 발생하고 32 에서 안정적으로 동작함을 확인했으며, TensorRT 로그를 통해 GPU 활용도 부족과 지연 시간 불안정성을 지적받았습니다. 또한 학습 데이터 생성 시 'spoken noise' 제거 필요성과 BERT 의 [UNK] 토큰 발생 문제를 언급하고 있습니다.

39 min read

띄어쓰기 모델 변환 및 성능 테스트

Source

  • Field Notes/ReturnZero/Daily Notes/Day 583. 2023-02-03.md

Summary

한국어 띄어쓰기 모델의 추론 성능 테스트 및 학습 데이터 전처리 이슈를 기록한 필드 노트입니다. 배치 크기 128 이상에서 segfault 가 발생하고 32 에서 안정적으로 동작함을 확인했으며, TensorRT 로그를 통해 GPU 활용도 부족과 지연 시간 불안정성을 지적받았습니다. 또한 학습 데이터 생성 시 ‘spoken noise’ 제거 필요성과 BERT 의 [UNK] 토큰 발생 문제를 언급하고 있습니다.

Key Points

  • 배치 크기 128 이상에서 segfault 발생, 32 에서 안정적 추론 확인
  • TensorRT 추론 로그 분석: GPU 활용도 저하 및 지연 시간 변동성 경고
  • 학습 데이터 전처리: spoken noise 제거 필요성 제기
  • BERT 기반 처리 시 [UNK] 토큰 발생 케이스 확인

그래프 뷰

백링크