A term-based inverted index partitioning model for efficient distributed query processing

Source

• Evernote/IFTTT Feedly/A term-based inverted index partitioning model for efficient distributed query processing.md

Summary

공유 없는(shared-nothing) 분산 텍스트 검색 시스템에서, Term-based 인덱스 파티셔닝 전략은 인덱스 서버 간 대량의 데이터 전송으로 인한 높은 통신 오버헤드 때문에 확장성 병목 현상을 유발한다. 본 논문은 이러한 문제를 완화하기 위해 하이퍼그래프 파티셔닝(Hypergraph Partitioning)을 기반으로 한 새로운 인버티드 인덱스 파티셔닝 모델을 제안한다.

Key Points

• 분산 검색 시스템에서 Term-based 인덱스 파티셔닝은 통신 오버헤드로 인해 확장성 저하의 주요 원인이 됨
• 통신 오버헤드 문제를 해결하기 위해 하이퍼그래프 파티셔닝 기반의 새로운 인덱스 파티셔닝 모델 제안
• 논문 출처: ACM Transactions on the Web (TWEB), 2013

Related

• Query Reformulation Modeling using Query Distributions

• Adaptive Speculative Processing of Out-of-Order Event Streams

• Effective and Robust Query-Based Stemming

• vlHMM 기반 컨텍스트 인식 검색

• Intralayer Network Coding 기반 다중 속도 멀티캐스팅

• Second Chance: 검색 엔진의 하이브리드 결과 캐싱 및 프리페칭 접근법

• 분산 환경에서의 검색 확장성 및 클러스터링 역설 연구

• 대용량 텍스트 컬렉션에서의 효율적 퍼지 검색

• Patent Query Formulation by Synthesizing Multiple Sources of Relevance Evidence

• Streaming Balanced Graph Partitioning for Random Graphs

• Enriching Documents with Examples: A Corpus Mining Approach

• Efficient Index-Based Snippet Generation

• XML 데이터에 대한 키워드 쿼리의 컨텍스트 기반 다양화

• Efficient Stream Provenance via Operator Instrumentation

• Supporting Flexible, Efficient, and User-Interpretable Retrieval of Similar Time Series

• Efficient Estimation of Word Representations in Vector Space

• Spaces, Trees, and Colors: 시퀀스 기반 문서 검색의 알고리즘 풍경

• XXS: 압축된 XML 문서에서의 효율적인 XPath 평가

• Beyond Text QA: Multimedia Answer Generation by Harvesting Web Information

• Reducing Lookups for Invariant Checking

• TSum: Fast, Principled Table Summarization

• 규칙 기반 엔티티 해결 (Rule-Based Entity Resolution)

• Efficient Time-Stamped Event Sequence Anonymization

• Scalable Database-Driven Reverse Dictionary

• X-Class: XML 문서 구조 기반 연관 분류

• k-parity 테스트의 비적응적 쿼리 복잡도

• Small-Document Approaches to Resource Selection 분석

• Approximate Recall Confidence Intervals

• Semantic Queries by Example

• 수치 추상 도메인을 이용한 프로세스 발견 알고리즘

• Source-Side Classifier Preordering for Machine Translation

• Deep Web 소스의 관련성 및 신뢰도 평가 (Inter-source Agreement 기반)

• 위키피디아 문서 품질 평가 알고리즘

• 웹 애플리케이션 모델 저장소의 텍스트 및 내용 기반 검색

• HEADY: 이벤트 패턴 클러스터링을 통한 뉴스 헤드라인 추상화

• 비디오 검색 결과의 의미론적 계층 구조화

• 웹 검색의 내재적 다양성(Intrinsic Diversity)과 전체 세션 관련성

• 영어 책 코퍼스 기반 시계열 구문 N-그램 데이터셋

• Iustitia: 정보 이론적 접근을 통한 고속 플로우 성격 식별

• 정보 기하학을 통한 순수 고차 단어 연관성 마이닝

• 통계적 기계 번역 표현을 활용한 교차 언어 정보 검색

• 피드백 세션을 통한 사용자 검색 목표 추론 알고리즘

• Robust and Energy Efficient Multimedia Systems via Likelihood Processing

• Fast Data Processing with Spark (도서 소개)

• 적응형 온톨로지 규칙을 이용한 보상-처벌 기반 개념 탐지

• E-Tree: 데이터 스트림용 앙상블 모델 효율적 인덱싱 구조

• State-based model slicing: A survey

• 계층 구조(Taxonomy) 존재 하의 시간적 변화 패턴 발견 (HiGen)

• Structured Streaming Skeleton (SSS): 온라인 인간 제스처 인식용 새로운 특징 추출 방법

• Efficient Inference and Structured Learning for Semantic Role Labeling

• Biperpedia: 검색 애플리케이션을 위한 온톨로지

• Incremental Text Indexing for Fast Disk-Based Search

• HyperLogLog in Practice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm

• 모델 다이어그램의 의미론에 대한 새로운 접근법

• 인간 동작 분석을 위한 특이값 분해(SVD) 기반 지식 획득 방법

• Localized Tensor Completion (LTC) for Network Data Recovery

• 온라인 리뷰 요약: Starlet 접근법

• Meta-Learning 기반 Instance Selection을 위한 복잡도 측정 지표