AncomWiki

MWW 모델 학습/배포 워크플로우 논의 (Day 859)

Properties1
description2023-11-07 일일 노트로, MWW(Model Workspace/Workflow) 관련 모델 학습 및 배포 프로세스에 대한 논의 내용을 기록함. 핵심은 'ottogi' 및 'default' 모델의 학습(LM only), 검증, 그리고 Kubernetes Operator를 통한 자동화된 파드 재시작/모델 로딩 워크플로우 정의임. 또한 keyword boosting과의 호환성 문제 및 일본어 개발계 우선 테스트 계획이 언급…

36 min read

MWW 모델 학습/배포 워크플로우 논의 (Day 859)

Source

  • Field Notes/ReturnZero/Daily Notes/Day 859. 2023-11-07.md

Summary

2023-11-07 일일 노트로, MWW(Model Workspace/Workflow) 관련 모델 학습 및 배포 프로세스에 대한 논의 내용을 기록함. 핵심은 ‘ottogi’ 및 ‘default’ 모델의 학습(LM only), 검증, 그리고 Kubernetes Operator를 통한 자동화된 파드 재시작/모델 로딩 워크플로우 정의임. 또한 keyword boosting과의 호환성 문제 및 일본어 개발계 우선 테스트 계획이 언급됨.

Key Points

  • MWW 아키텍처: workspace -> domain -> model_name 계층 구조 및 default 모델 적용 규칙 논의
  • 학습 범위: AM 학습 제외, LM(Large Model) 학습만 지원하며 기존 model_name 갱신 형태
  • 배포 워크플로우: 학습 완료 시 새 모델 파일 덮어쓰기 후 k8s operator를 통해 파드 재시작(모델 로드)
  • 검증 프로세스: 배치 환경 배포 후 검증, 이후 실제 배포의 2단계 스텝 정의
  • 모델 전략: ‘ottogi’(한국어), ‘default’(범용) 모델 우선 처리 및 일본어 개발계 시험 계획
  • 기술적 제약: LM 추가학습 가능한 모델은 keyword boosting 기능 사용 불가

그래프 뷰

백링크