AncomWiki

팀벨 프로젝트: 개인정보 필터링 및 서버 구축 작업

Properties1
description팀벨 프로젝트의 온프레미스 서버 구축 및 개인정보(PII) 필터링 파이프라인 구현 과정에 대한 일일 업무 기록입니다. 주요 작업으로 PII 필터 설치, ort 모델 복사, pronaia-engine 라이선스 설정, 그리고 online_bmt 결과 저장 로직 변경이 포함됩니다. 특히 PII 필터링 과정에서 공유 메모리 부족, ITN(Inverse Text Normalization) 오류로 인한 오프셋 문제, 그리고 GRPC 통…

39 min read

팀벨 프로젝트: 개인정보 필터링 및 서버 구축 작업

Source

  • Field Notes/ReturnZero/Daily Notes/Day 1103. 2024-07-08.md

Summary

팀벨 프로젝트의 온프레미스 서버 구축 및 개인정보(PII) 필터링 파이프라인 구현 과정에 대한 일일 업무 기록입니다. 주요 작업으로 PII 필터 설치, ort 모델 복사, pronaia-engine 라이선스 설정, 그리고 online_bmt 결과 저장 로직 변경이 포함됩니다. 특히 PII 필터링 과정에서 공유 메모리 부족, ITN(Inverse Text Normalization) 오류로 인한 오프셋 문제, 그리고 GRPC 통신 시 boolean 값 생략 버그 등 기술적 장애와 해결 시도들이 상세히 기록되어 있습니다. 또한 일본어용 Triton Server 빌드 및 VAD 모델 관련 설정도 언급됩니다.

Key Points

  • 팀벨 온프레미스 환경에 개인정보(PII) 필터링 파이프라인 구축 중
  • pronaia-engine 최신 버전의 LICENSE_KEY 적용 및 버그 수정 진행
  • online_bmt 서비스에서 raw_result 추가 저장 로직 구현 완료
  • PII 필터링 기술적 이슈: 공유 메모리 부족(4GB 증설), ITN 스페이스 오류, offset 계산 실패, GRPC boolean 필드 생략 문제
  • 일본어 처리를 위한 Triton Server 빌드(fugashi, mecab 의존성) 및 VAD 모델 경로 확인
  • SIMS 구성 가이드 전달 및 라이선스 발급 업무 진행

그래프 뷰

백링크