Beyond Text QA: Multimedia Answer Generation by Harvesting Web Information

Source

• Evernote/Papers/Beyond Text QA Multimedia Answer Generation by Harvesting Web Information.md

Summary

기존 커뮤니티 질문 답변(cQA) 서비스는 텍스트 답변만 제공하여 정보 부족 문제가 있다. 본 논문은 텍스트 답변을 웹에서 수집한 멀티미디어 데이터(이미지, 비디오 등)로 보강하는 방안을 제안한다. 시스템은 답변 매체 선택, 멀티미디어 검색 쿼리 생성, 데이터 선택 및 제시의 세 구성 요소로 이루어져 있으며, 텍스트 답변에 적합한 미디어를 자동으로 결정하고 웹에서 데이터를 수집한다. 직접적인 멀티미디어 답변 생성이 아닌, 커뮤니티 기여 텍스트 답변을 기반으로 하므로 더 복잡한 질문에 대응할 수 있으며, 다중 소스 QA 데이터셋 실험을 통해 유효성을 입증했다.

Key Points

• 기존 cQA 서비스의 텍스트 중심 답변 한계 해결을 위해 멀티미디어 데이터 보강 방안 제안
• 답변 매체 선택, 검색 쿼리 생성, 데이터 선택/제시 3단계 프로세스 구성
• 직접적인 멀티미디어 답변 생성이 아닌, 기존 텍스트 답변을 기반으로 미디어 추가하여 복잡한 질문 처리 가능
• 다중 소스 QA 데이터셋을 통한 실험으로 접근법의 유효성 검증

Related

• 마이크로블로그 스트림의 소셜 이벤트 멀티미디어 요약

• A Multimedia Recommender System

• 컨텍스트에 답이 있다 (Context has the Answer)

• Enriching Documents with Examples: A Corpus Mining Approach

• XML 데이터에 대한 키워드 쿼리의 컨텍스트 기반 다양화

• 소셜 기반 멀티미디어 콘텐츠 분산 프레임워크

• 멀티미디어 마이크로블로그의 단어-이미지 연관성 모델링

• 웹 기반 분산 콘텐츠 큐레이션 연구

• 정보 과부하는 정보의 양이 아닌 정보를 읽는 플랫폼이 좌우한다

• vlHMM 기반 컨텍스트 인식 검색

• 멀티미디어 공유 웹사이트에서의 사회적 영향력 분석 및 적용

• Patent Query Formulation by Synthesizing Multiple Sources of Relevance Evidence

• When Amazon Meets Google: Product Visualization by Exploring Multiple Web Sources

• Small-Document Approaches to Resource Selection 분석

• Knowledge-Based Approaches to Information Management in Coalition Environments

• A term-based inverted index partitioning model for efficient distributed query processing

• 대규모 이질적 멀티미디어 데이터에 대한 정서 컴퓨팅(Affective Computing) 서베이

• 협업 필터링을 도입한 컨텍스트 광고 개선

• 온라인 리뷰 요약: Starlet 접근법

• Knowledge-Based Approaches to Information Management in Coalition Environments

• Efficient Index-Based Snippet Generation

• TSum: Fast, Principled Table Summarization

• Collaborative Filtering beyond the User-Item Matrix: A Survey of the State of the Art and Future Challenges

• XXS: 압축된 XML 문서에서의 효율적인 XPath 평가

• Neighbor Selection and Weighting in User-Based Collaborative Filtering: A Performance Prediction Approach

• Effective and Robust Query-Based Stemming

• Web Service Compositions with Fuzzy Preferences: A Graded Dominance Relationship-Based Approach

• Nonlinear Latent Factorization by Embedding Multiple User Interests

• Approximate Recall Confidence Intervals

• Spaces, Trees, and Colors: 시퀀스 기반 문서 검색의 알고리즘 풍경

• Reducing Lookups for Invariant Checking

• Semantic Queries by Example

• Query Reformulation Modeling using Query Distributions

• PASS Approximation: 휴리스틱 분석 및 설계 프레임워크

• Instant Foodie: Grassroots 평가로부터 전문가 평점 예측

• 강화학습 기반 음악 추천 시스템의 탐색-활용 균형

• k-Order Statistic Loss 를 활용한 추천 시스템의 Learning to Rank

• k-parity 테스트의 비적응적 쿼리 복잡도

• HyperLogLog in Practice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm

• 사용자 생성 콘텐츠의 순위 기반 메커니즘에 대한 게임 이론적 분석

• 위키피디아 문서 품질 평가 알고리즘

• Jalopnik 신차 구매 결정 플로우차트

• Deep Web 소스의 관련성 및 신뢰도 평가 (Inter-source Agreement 기반)

• Stock Selection Model Based on Machine Learning with Wisdom of Experts and Crowds

• 규칙 기반 엔티티 해결 (Rule-Based Entity Resolution)

• 도대체 소비자에게 상품은 어떻게 추천하지

• 불신 정보를 활용한 사회적 추천 시스템 (Matrix Factorization)

• X-Class: XML 문서 구조 기반 연관 분류

• Scalable Database-Driven Reverse Dictionary

• Source-Side Classifier Preordering for Machine Translation

• LCARS: 공간 기반 아이템 추천 시스템

• 명시적 불신(Explicit Distrust)을 활용한 신뢰 기반 추천 시스템 강화

• 넷플릭스의 취향 예측 알고리즘: 인구통계학적 데이터의 한계

• Spotify 의 협업 필터링 (Collaborative Filtering) 구현

• Form-Based Web Service Composition for Domain Experts

• P2P 소셜 태깅 네트워크에서의 온라인 Top-k 처리 개인화

• 추천 시스템 분석: 아마존과 넷플릭스의 취향 예측 원리

• Similarity-based Clustering by Left-Stochastic Matrix Factorization

• 대용량 텍스트 컬렉션에서의 효율적 퍼지 검색

• 웹 애플리케이션 모델 저장소의 텍스트 및 내용 기반 검색

• 추천 시스템 분석: 아마존과 넷플릭스의 취향 예측 원리

• Semantic content-based recommendation of software services using context

• Twitter 기반 YouTube 동영상 추천: 시간 인식 및 개인화

• 음악 컨텍스트 데이터 기반 음악 유사도 및 추천 방법론 조사

• The Semantic Web and End Users: What’s Wrong and How to Fix It

• R 기반 맥주 추천 엔진 구현 (Beer Advocate 데이터)

• Supporting Flexible, Efficient, and User-Interpretable Retrieval of Similar Time Series

• 위키백과 링크 의미소거를 위한 토픽 모델링

• 웹 검색 쿼리의 감정 분석 및 활용

• 온라인 소셜 네트워크 샘플링 알고리즘

• Efficient Estimation of Word Representations in Vector Space

• Friendbook: 의미 기반 소셜 네트워크 친구 추천 시스템

• Semantic contextual advertising based on the open directory project

• 비디오 검색 결과의 의미론적 계층 구조화

• 통계적 기계 번역 표현을 활용한 교차 언어 정보 검색

• 스페인어 온라인 비디오의 다중모달 감정 분석

• 인터넷 TV를 위한 콘텐츠 및 사회적 관련성 기반 개인화 광고 추천

• Profile-Based Summarisation for Web Site Navigation

• A Pure Visual Approach for Automatically Extracting and Aligning Structured Web Data

• 감성 분석 중심 웹 크롤링 (Sentiment-Focused Web Crawling)

• Unsupervised Spatial Event Detection in Targeted Domains with Applications to Civil Unrest Modeling

• Social Event Classification via Boosted Multimodal Supervised Latent Dirichlet Allocation

• Incremental Text Indexing for Fast Disk-Based Search

• Up-Fusion: 진화하는 멀티미디어 퓨전 방법

• ReputationPro: E-커머스 환경에서의 문맥 기반 거래 신뢰도 계산

• Statistical Approaches to Concept-Level Sentiment Analysis

• 정보 기하학을 통한 순수 고차 단어 연관성 마이닝