AncomWiki

WFST 엔진 구현 및 Commitment 작업 (Day 392)

Properties1
descriptionDan과 WFST(Wide Finite State Transducer) 룰 제작 및 Commitment 관련 공동 작업을 진행했다. 이후 WFST 엔진의 추가 구현을 목표로 블랙리스트 처리, 유연한 띄어쓰기 처리(closure), 사전 기반 문자열 생성, 토큰 내 클로저 기능 등을 계획했다. 구현 방식에 대해 정규표현식(re) 사용 여부보다는 `cdrewrite`, `union`, `optimize()` 조합을 통한 트랜스듀…

36 min read

WFST 엔진 구현 및 Commitment 작업 (Day 392)

Source

  • Field Notes/ReturnZero/Daily Notes/Day 392. 2022-07-27.md

Summary

Dan과 WFST(Wide Finite State Transducer) 룰 제작 및 Commitment 관련 공동 작업을 진행했다. 이후 WFST 엔진의 추가 구현을 목표로 블랙리스트 처리, 유연한 띄어쓰기 처리(closure), 사전 기반 문자열 생성, 토큰 내 클로저 기능 등을 계획했다. 구현 방식에 대해 정규표현식(re) 사용 여부보다는 cdrewrite, union, optimize() 조합을 통한 트랜스듀서 최적화 접근을 고민했다.

Key Points

  • Dan과 WFST 룰 정의 및 Commitment 주제에 대한 2시간 공동 작업 수행
  • WFST 엔진 확장 목표: 블랙리스트 필터링, 선택적 띄어쓰기 처리, 사전 기반 문자열 생성
  • 토큰 구조 제어: 토큰 내/외부 문자열 길이 지정 및 클로저(0,1) 기능 도입 검토
  • 구현 전략: 정규표현식 의존도 낮추고, cdrewrite와 union 후 optimize() 호출을 통한 트랜스듀서 최적화 방식 채택 고려

그래프 뷰

백링크