긴 입력 처리 아키텍처 검토 (Day 586)

Source

  • Field Notes/ReturnZero/Daily Notes/Day 586. 2023-02-06.md

Summary

max length 를 초과하는 긴 텍스트 입력 처리를 위한 주체(Input, Space, Triton)별 접근 방식을 비교 검토함. 입력 측 분할 처리는 구현은 간단하나 사용자 불편 및 ID 추적 복잡성이 있고, 결과 중간 저장 방식은 점진적 대치 전략을 고려함.

Key Points

  • 긴 입력 처리 주체: Input(raw text), Space(batch), Triton
  • Input 측 분할 전략: 배치 생성 시 분할 후 합치기 (구현 간단, 사용자 불편, ID 추적 필요)
  • 결과 처리 전략: 중간 저장 후 대치 또는 초기화 후 점진적 붙여넣기