AncomWiki

LLM 서비스 아키텍처 고민 및 STT/주소 모델 개발 현황

Properties1
description이 노트는 LLM 기반 서비스 구축 시 임베딩 검색의 한계와 키워드 부스팅, 화자 처리 등 초기 설계 시 고려해야 할 사항들을 정리한다. 또한 일본어 STT 서비스의 온프레미스 배포(라이선스, BPD, 파셜 결과 이슈)와 신한은행 주소 인식 모델 개발 일정 및 실험 계획(LM 코퍼스 구축, AM/TTS 실험)을 기록하고 있다.

39 min read

LLM 서비스 아키텍처 고민 및 STT/주소 모델 개발 현황

Source

  • Field Notes/ReturnZero/Daily Notes/Day 713. 2023-06-13.md

Summary

이 노트는 LLM 기반 서비스 구축 시 임베딩 검색의 한계와 키워드 부스팅, 화자 처리 등 초기 설계 시 고려해야 할 사항들을 정리한다. 또한 일본어 STT 서비스의 온프레미스 배포(라이선스, BPD, 파셜 결과 이슈)와 신한은행 주소 인식 모델 개발 일정 및 실험 계획(LM 코퍼스 구축, AM/TTS 실험)을 기록하고 있다.

Key Points

  • LLM 서비스 초기 설계: 임베딩만으로는 검색 정확도가 낮을 수 있어 키워드 기반 부스팅 및 화자명 변환/구분자 처리가 필요함.
  • 한국어 임베딩: text-embedding-ada-002 대신 roberta 계열 모델이 더 적합할 수 있음.
  • 일본어 STT 서비스: CogInsight 협력, 온프레미스 배포 시 라이선스(채널 vs 종량제) 및 인증 방식 검토 필요.
  • STT 기술 이슈: BPD(Background Pause Detection) 이벤트 클라이언트 전달, 파셜 결과 지연/누락 문제, EPD 설정 파라미터화.
  • 주소 모델 개발(신한은행): 8 월 18 일 납품 목표, LM 코퍼스 구축 및 AM/TTS 실험 진행 중, 현재 모델로 LM biasing 실험 병행.
  • 인프라: K8s namespace 인증서 기반 구성 가능성, EFS 스토리지 적용 검토, CPU 인스턴스 당 커버 채널 수 산정.

그래프 뷰

백링크