AncomWiki

두나무 데이터 전사 및 공유스토리지 개선 계획

Properties1
description두나무 프로젝트의 과거 데이터 전사 작업 중 EFS(공유 스토리지) 관련 문제와 WDIAR 파일 전사 오류(328바이트 파일)를 해결하기 위한 방안을 논의한다. 근본적인 공유 스토리지 문제(모델 배포/검증/훈련)를 개선하기 위해 별도 NFS 구성을 고려하며, 2025년 1월부터 4월까지의 데이터를 우선적으로 전사하고 싱크하는 구체적인 마이그레이션 일정을 수립했다. 또한 STT 어드민 권한 및 보안성 검토(계정 잠금 기능) 관…

41 min read

두나무 데이터 전사 및 공유스토리지 개선 계획

Source

  • Field Notes/ReturnZero/Daily Notes/Day 1393. 2025-04-23.md

Summary

두나무 프로젝트의 과거 데이터 전사 작업 중 EFS(공유 스토리지) 관련 문제와 WDIAR 파일 전사 오류(328바이트 파일)를 해결하기 위한 방안을 논의한다. 근본적인 공유 스토리지 문제(모델 배포/검증/훈련)를 개선하기 위해 별도 NFS 구성을 고려하며, 2025년 1월부터 4월까지의 데이터를 우선적으로 전사하고 싱크하는 구체적인 마이그레이션 일정을 수립했다. 또한 STT 어드민 권한 및 보안성 검토(계정 잠금 기능) 관련 이슈도 다룬다.

Key Points

  • EFS 기반 공유 스토리지의 한계로 인한 데이터 전사 및 모델 파이프라인(배포/검증/훈련) 문제 발생
  • WDIAR 파일 전사 오류(328바이트 파일) 해결을 위한 삭제, 이동, 전사, 묶기, 복사 절차 정의
  • 공유 스토리지 문제의 근본적 해결을 위한 별도 NFS 구성 검토
  • 2025년 1~3월 데이터 전사(4/28 기준), 4월 데이터 전사(4/30 기준), 2024년 12월까지 마무리(5/9 기준)의 마이그레이션 일정 수립
  • STT 어드민 권한 기안 및 계정 잠금 기능(30일 제한)을 포함한 보안성 검토 진행

그래프 뷰

백링크