Incremental Text Indexing for Fast Disk-Based Search

Source

  • Evernote/IFTTT Feedly/Incremental Text Indexing for Fast Disk-Based Search.md

Summary

Giorgos Margaritis 외는 실시간 검색을 위한 디스크 기반 증분 텍스트 인덱싱 기법을 제안한다. 기존 메모리 기반 방식의 한계를 넘어, 디스크 저장소에서 낮은 지연 시간으로 빠른 검색을 지원하기 위해 ‘Selective Range Flush (SRF)‘라는 탐욕적 알고리즘을 도입하여 인덱스를 디스크 블록에 연속적으로 구성하고 동적으로 업데이트한다.

Key Points

  • 실시간 검색 환경에서 증분 콘텐츠 업데이트와 저지연 검색 서비스의 필요성 강조
  • 기존 디스크 기반 증분 인덱싱 방식이 인덱스 분산으로 인해 검색 지연 시간을 증가시키는 문제 지적
  • 디스크 블록에 인덱스를 연속적으로 조직화하고 저비용으로 동적 업데이트를 수행하는 ‘Selective Range Flush (SRF)’ 알고리즘 제안
  • 현대 아키텍처 특성을 고려한 디스크 기반 저장소에서의 고속 검색 지원 목표