Entity-Annotation 시스템 벤치마킹 프레임워크

Source

• Evernote/Papers/A Framework for Benchmarking Entity-Annotation Systems.md

Summary

이 논문은 엔티티 주석(Entity-Annotation) 시스템의 공정하고 포괄적인 비교를 위한 벤치마킹 프레임워크를 제안합니다. 다양한 텍스트 유형(뉴스, 트윗, 웹 페이지)을 포함한 공개 데이터셋과 평가 척도를 정의하여 시스템 성능을 측정하며, 오픈 소스로 공개되었습니다. 이를 통해 기존 모든 엔티티 주석 도구(학계 및 상용)의 효율성과 효과성을 비교 분석하고 통찰을 도출했습니다.

Key Points

• 엔티티 주석 시스템 비교를 위한 확장 가능한 벤치마킹 프레임워크 설계 및 오픈 소스 공개
• 뉴스, 트윗, 웹 페이지 등 다양한 유형의 공개 데이터셋을 활용한 포괄적 평가
• 학계 및 상용 엔티티 주석 도구의 효율성과 효과성에 대한 첫 번째 광범위한 비교 분석

Related

• YouTube 채널 분류를 위한 실용적 시스템

• 온라인 소셜 태깅 시스템에서의 소셜 링크 예측

• 뉴스 읽기를 위한 소셜 주석 연구: ‘All the news that’s fit to read’

• Entity Linking with a Knowledge Base: Issues, Techniques, and Solutions

• Universal Dependency Annotation for Multilingual Parsing

• 웹 검색에서 소셜 주석의 인식 및 이해

• 규칙 기반 엔티티 해결 (Rule-Based Entity Resolution)

• 이미지 주석 및 검색을 위한 Feature-Word-Topic 모델

• 웹 엔티티 발견을 위한 병렬 경로 프레임워크 (The Parallel Path Framework)

• YouTube, Google+ 기반 새 댓글 시스템 발표 (2013)

• Image Annotation in Presence of Noisy Labels

• DSLabs: 분산 시스템 교육용 모델 체킹 프레임워크

• 웹 엔티티 페이지 발견을 위한 URL 및 HTML 특징 결합 방법 (SSUP)

• 소셜 웹의 댓글 및 댓글 평가 분석과 마이닝

• 멀티미디어 마이크로블로그의 단어-이미지 연관성 모델링

• DOM 구조 지식 기반 모델을 이용한 반구조화 웹 레코드 강건한 탐지

• 웹 데이터 서비스 통합 및 쿼리 위한 하향식 지식 기반 접근법

• 정보 기하학을 통한 순수 고차 단어 연관성 마이닝

• ReFr: 오픈소스 리랭커 프레임워크

• 지향적 엔티티-관계 기반 1차 확률 언어(FOPL) 조사

• 관계 추출을 위한 원거리 감독에서 지식 베이스의 간극 메우기

• 네트워크 가장자리에서의 연합 정보 공유를 위한 지식 관리

• Iustitia: 정보 이론적 접근을 통한 고속 플로우 성격 식별

• 지리 공간 데이터의 불확실성 주석 처리 (GML 확장)

• TRECVID 기반 콘텐츠 기반 비디오 복사 탐지 벤치마킹

• Knowledge Management for Coalition Information Sharing at the Network Edge

• NautiLOD: 연결된 데이터 웹을 위한 형식적 탐색 언어

• XMHF: 확장 가능 및 모듈식 하이퍼바이저 프레임워크

• 소셜 기반 멀티미디어 콘텐츠 분산 프레임워크

• StatParser: 통계적 파싱을 통한 쿼리 인터페이스 이해

• 협동 계획 모델 (CPM): 계획의 생명화

• 온톨로지 작성에서의 위키 협업 기능 평가

• 인터넷 TV를 위한 콘텐츠 및 사회적 관련성 기반 개인화 광고 추천

• 적응형 온톨로지 규칙을 이용한 보상-처벌 기반 개념 탐지

• 버즈피드 트래픽 시스템 분석 (2014)

• Parliament: A Threshold Secret Sharing Service

• Biperpedia: 검색 애플리케이션을 위한 온톨로지

• 자동화에 대한 신뢰 (Trust in Automation)

• Exploratory OLAP을 위한 시맨틱 웹 기술 활용: 서베이

• JSONiq: 쿼리 언어의 역사

• MOWL: 웹 기반 멀티미디어 애플리케이션을 위한 온톨로지 표현 언어

• X-Class: XML 문서 구조 기반 연관 분류

• 수치 추상 도메인을 이용한 프로세스 발견 알고리즘

• 위키백과 링크 의미소거를 위한 토픽 모델링

• ClangMR: 대규모 C++ 코드베이스 자동 리팩토링 시스템

• 음성 피드백 고려)

• Knowledge-Based Approaches to Information Management in Coalition Environments

• Casebook: 사례 관리를 위한 클라우드 기반 참여 시스템

• Friendbook: 의미 기반 소셜 네트워크 친구 추천 시스템

• 온라인 정확한 문자열 매칭 문제: 최근 결과 리뷰

• 인간 동작 분석을 위한 특이값 분해(SVD) 기반 지식 획득 방법

• GeoVisNews: 뉴스 조직 및 검색 시스템

• 지리공간 사회 컴퓨팅 환경 생성 프레임워크

• PASS Approximation: 휴리스틱 분석 및 설계 프레임워크

• Twitter 기반 YouTube 동영상 추천: 시간 인식 및 개인화

• 지리 참조 객체를 위한 로컬 검색 엔진 결과 병합

• 통계적 기계 번역 표현을 활용한 교차 언어 정보 검색

• 중국 교통 체증과 소셜 미디어 분석

• SocialRank Index: 글로벌 브랜드 소셜 미디어 성과 추적 도구

• 소셜 네트워크에서의 비디오 공유 전파 이해: 측정 및 분석

• Semantic contextual advertising based on the open directory project

• 택시 GPS 추적 데이터 마이닝 연구 동향

• 모바일 햅틱 전자책 시스템: 3D 몰입형 독서를 위한 연구

• URL 기반 웹 페이지 언어 분류 기술 종합 연구

• 소셜 미디어 인기 역학: 유튜브 사례 연구

• 인간 행동 인식용 온톨로지 조사

• Circle & Search: 속성 기반 신발 검색 시스템

• EXIP: 임베디드 웹 개발을 위한 프레임워크

• 명시적 불신(Explicit Distrust)을 활용한 신뢰 기반 추천 시스템 강화

• VoD 시스템용 네트워크 인지형 캐싱 프레임워크

• Knowledge Systems for Coalition Operations

• 트위터 다면적 토픽 모델링을 위한 사회적 및 보조 의미 통합

• 온라인 소셜 네트워크에서 잠재적 상호작용 이해하기

• ADAMS: QoE 기반 멀티센서리 미디어 전송 프레임워크

• 길찾기 시스템 리팩토링 (2019-06-20)

• 2)

• 온라인 게임 치팅의 소셜 네트워크 관점 분석

• 사회기술 시스템 프로그래밍을 위한 커밋먼트 기반 인프라

• Burst: 더 나은 파라미터화된 테스트 프레임워크

• Photon: Google의 실시간 스트림 조인 시스템

• 사회 네트워크의 정보 제리맨더링과 집단 의사결정 왜곡

• Collective Sensemaking and Military Coalitions

• Knowledge-Based Approaches to Information Management in Coalition Environments

• 위키백과 반달리즘 탐지를 위한 크로스-러닝 (봇 vs 사용자)

• NFV 기반 엣지 컴퓨팅을 위한 IoT 서비스 프레임워크 (VLH)

• 베이지언 계산 방법 정리 (Grid Approximation 등)

• 멀티미디어 공유 웹사이트에서의 사회적 영향력 분석 및 적용

• 훈련 레이블 정제를 통한 텍스트 분류 정확도 향상

• 헬싱키의 ‘필요할 때 이용하는 교통’ 시스템 실험

• LCARS: 공간 기반 아이템 추천 시스템

• 모델 다이어그램의 의미론에 대한 새로운 접근법

• 불신 정보를 활용한 사회적 추천 시스템 (Matrix Factorization)

• 그래프 전파를 통한 개인화 비디오 추천

• 협업 필터링을 도입한 컨텍스트 광고 개선

• YouTube 영상 음향 분석을 통한 유망 음악가 자동 발견

• 관성 항법 시스템(INavigation Systems) 소개

• Regularized Latent Semantic Indexing (RLSI): 대규모 토픽 모델링을 위한 새로운 접근법

• 마이크로블로그 스트림의 소셜 이벤트 멀티미디어 요약

• 시간적 이미지 시퀀스를 위한 최적화된 만화 스토리텔링 시스템

• 분산 시스템 설계 소개: 마이크로서비스 아키텍처에서의 분할 (CodeProject)

• Join 및 관련 큐잉 시스템 분석

• Geo-Store: 시맨틱 위치 기반 서비스 프레임워크

• Cross-Media Tag Transfer (CMTT): 이미지에서 비디오로 태그 지식 이전

• YouTube 영화 리뷰의 오디오-비주얼 맥락 기반 감정 분석

• 웹 애플리케이션 모델 저장소의 텍스트 및 내용 기반 검색

• 소셜 미디어 및 이메일 최적 게시 시간 가이드 (Buffer)

• Script-to-Movie: 스크립트 기반 자동 영화 생성 프레임워크

• WLAN-셀룰러 음성 핸드오버 평가를 위한 분석적 프레임워크

• 건물 에너지 효율을 위한 지능형 관리 시스템: 서베이