AncomWiki

2024-07-26 업무: 프롬프트 평가 메트릭 정의 및 데이터/인프라 구축 현황

Properties1
description본 노트는 2024 년 7 월 26 일의 업무 기록으로, 크게 세 가지 영역을 다룬다. 첫째, 프롬프트 개선 및 정확도 평가를 위한 세부 메트릭을 정의하며, 의미론적 일치와 NER 요소 (명사/동사 등) 의 순서 및 조사 일치를 우선 평가 항목으로 설정하고, 띄어쓰기나 간투어는 평가에서 제외함을 명시했다. 둘째, 일본어 작업 완료 및 인턴십 관련 사항을 언급했다. 셋째, 유튜브 자막 데이터 크롤러 구축을 통해 GPT norm…

41 min read

2024-07-26 업무: 프롬프트 평가 메트릭 정의 및 데이터/인프라 구축 현황

Source

  • Field Notes/ReturnZero/Daily Notes/Day 1121. 2024-07-26.md

Summary

본 노트는 2024 년 7 월 26 일의 업무 기록으로, 크게 세 가지 영역을 다룬다. 첫째, 프롬프트 개선 및 정확도 평가를 위한 세부 메트릭을 정의하며, 의미론적 일치와 NER 요소 (명사/동사 등) 의 순서 및 조사 일치를 우선 평가 항목으로 설정하고, 띄어쓰기나 간투어는 평가에서 제외함을 명시했다. 둘째, 일본어 작업 완료 및 인턴십 관련 사항을 언급했다. 셋째, 유튜브 자막 데이터 크롤러 구축을 통해 GPT normalization 을 활용한 최신 한국어 ASR 학습 데이터 수집 방안을 논의하고, 신한카드 프로젝트의 VM 기반 k8s/GPU/네트워크 인프라 구축 현황을 기록했다.

Key Points

  • 프롬프트 정확도 평가 메트릭: 의미론적 일치 > NER 요소 (명사/대명사, 동사, 형용사, 부사) 순서 일치 > 조사 일치 (생략 시 감점 제외).
  • 평가 제외 항목: 띄어쓰기, 간투어 유무, ITN.
  • 스타일러 (Styler) 활용: 모호함을 피하기 위해 예시 기반 전용으로 전환.
  • 유튜브 데이터 크롤러: 사람이 입력한 자막 데이터를 매일 크롤링하여 GPT normalization 후 ASR 모델 학습용 최신 한국어 데이터로 활용 (CER 필터링 적용).
  • 신한카드 프로젝트: VM 환경에서 k8s, containerd, GPU 드라이버/오퍼레이터, Envoy/Istio, Triton, MySQL/Redis, OpenLens 모니터링 등 인프라 구축 진행 중.

그래프 뷰

백링크