DOM 구조 지식 기반 모델을 이용한 반구조화 웹 레코드 강건한 탐지

Source

• Evernote/IFTTT Feedly/Robust detection of semi-structured web records using a DOM structure-knowledge-driven model.md

Summary

이 논문은 단일 웹페이지에서 유사한 객체 레코드(데이터)를 추출하는 문제를 다룹니다. 기존 DOM 트리 분석 방식이 전역적 관점(global view)이 부족하여 근시안적인 결정을 내리고, 무차별적 탐색으로 유연성과 강건성이 떨어진다는 한계를 지적합니다. 이를 해결하기 위해 다양한 종류의 데이터 레코드와 레코드 영역을 강건하게 탐지할 수 있는 ‘Structure-Knowledge-Oriented Global Analysis (Skoga)’ 프레임워크를 제안합니다.

Key Points

• 웹 데이터 레코드 추출: 단일 페이지 내 규칙적 형식으로 배치된 유사 속성 레코드 추출
• 기존 방법의 한계: DOM 트리 분석의 전역적 관점 부재, 근시안적 결정, 무차별 탐색으로 인한 유연성/강건성 저하
• 제안 방법: Skoga (Structure-Knowledge-Oriented Global Analysis) 프레임워크
• 주요 성과: 다양한 유형의 데이터 레코드 및 레코드 영역에 대한 강건한 탐지 가능

Related

• 규칙 기반 엔티티 해결 (Rule-Based Entity Resolution)

• 웹사이트 구조 개선을 통한 사용자 탐색 효율화

• A Pure Visual Approach for Automatically Extracting and Aligning Structured Web Data

• 웹 엔티티 발견을 위한 병렬 경로 프레임워크 (The Parallel Path Framework)

• 웹 애플리케이션 모델 저장소의 텍스트 및 내용 기반 검색

• Weakly Supervised Learning of Object Segmentations from Web-Scale Video

• 위키백과 링크 의미소거를 위한 토픽 모델링

• Quora 기술 스택 및 아키텍처 분석

• X-Class: XML 문서 구조 기반 연관 분류

• 웹 데이터 서비스 통합 및 쿼리 위한 하향식 지식 기반 접근법

• 온라인 탐색 난이도 설명을 위한 상호작용 데이터 활용

• TRECVID 기반 콘텐츠 기반 비디오 복사 탐지 벤치마킹

• Entity Linking with a Knowledge Base: Issues, Techniques, and Solutions

• 수치 추상 도메인을 이용한 프로세스 발견 알고리즘

• vlHMM 기반 컨텍스트 인식 검색

• 지향적 엔티티-관계 기반 1차 확률 언어(FOPL) 조사

• 관계 추출을 위한 원거리 감독에서 지식 베이스의 간극 메우기

• 웹 엔티티 페이지 발견을 위한 URL 및 HTML 특징 결합 방법 (SSUP)

• 인간 동작 분석을 위한 특이값 분해(SVD) 기반 지식 획득 방법

• Entity-Annotation 시스템 벤치마킹 프레임워크

• 적응형 온톨로지 규칙을 이용한 보상-처벌 기반 개념 탐지

• 네트워크 가장자리에서의 연합 정보 공유를 위한 지식 관리

• NautiLOD: 연결된 데이터 웹을 위한 형식적 탐색 언어

• 스케치 기반 비디오 클립 상호작용 조직화 접근법

• Iustitia: 정보 이론적 접근을 통한 고속 플로우 성격 식별

• Knowledge Management for Coalition Information Sharing at the Network Edge

• Biperpedia: 검색 애플리케이션을 위한 온톨로지

• MOWL: 웹 기반 멀티미디어 애플리케이션을 위한 온톨로지 표현 언어

• Meta-Learning 기반 Instance Selection을 위한 복잡도 측정 지표

• 지리 공간 데이터의 불확실성 주석 처리 (GML 확장)

• 온톨로지 작성에서의 위키 협업 기능 평가

• Structured Streaming Skeleton (SSS): 온라인 인간 제스처 인식용 새로운 특징 추출 방법

• 인간 행동 인식용 온톨로지 조사

• XML 데이터에 대한 키워드 쿼리의 컨텍스트 기반 다양화

• Exploratory OLAP을 위한 시맨틱 웹 기술 활용: 서베이

• 협동 계획 모델 (CPM): 계획의 생명화

• StatParser: 통계적 파싱을 통한 쿼리 인터페이스 이해

• Parliament: A Threshold Secret Sharing Service

• E-Tree: 데이터 스트림용 앙상블 모델 효율적 인덱싱 구조

• 자동화에 대한 신뢰 (Trust in Automation)

• JSONiq: 쿼리 언어의 역사

• URL 기반 웹 페이지 언어 분류 기술 종합 연구

• Pay by the Bit: 집단 인간 판단을 위한 정보 이론적 지표

• 위키백과 반달리즘 탐지를 위한 크로스-러닝 (봇 vs 사용자)

• Deep Web 소스의 관련성 및 신뢰도 평가 (Inter-source Agreement 기반)

• Dynamic Time Warping for Music Conducting Gestures Evaluation

• 다중 모드 특징 표현 및 시간 피라미드 매칭을 통한 콘텐츠 기반 복제 탐지

• Localized Tensor Completion (LTC) for Network Data Recovery

• Hoeffding 경계 기반 온라인 및 비모수 드리프트 탐지 방법

• Spaces, Trees, and Colors: 시퀀스 기반 문서 검색의 알고리즘 풍경

• 모델 다이어그램의 의미론에 대한 새로운 접근법

• 통계적 기계 번역 표현을 활용한 교차 언어 정보 검색

• 다중 Kinect 기반 실시간 3D 재구성

• 계층 구조(Taxonomy) 존재 하의 시간적 변화 패턴 발견 (HiGen)

• 언어 독립적 시간 표현 판별적 파싱 (Language-Independent Discriminative Parsing of Temporal Expressions)

• 대규모 저장소에서의 효율적인 비디오 스트림 모니터링 및 유사 중복 탐지

• PhishStorm: 스트리밍 분석을 통한 피싱 탐지

• 건강 정보 검색자와 의료 지식 간 어휘 격차 해소

• 피드백 세션을 통한 사용자 검색 목표 추론 알고리즘

• Web browsing behavior analysis and interactive hypervideo

• Semantic contextual advertising based on the open directory project

• 비디오 스트림에서 음향 및 시각적 단서를 이용한 광고 탐지

• 지리공간 데이터의 계층적 텐서 기반 압축 및 쿼리 방법

• 웹 페이지의 시각적 복잡성 측정 (Measuring the Visual Complexities of Web Pages)

• PADUA: 비정상 활동 탐지를 위한 병렬 아키텍처

• 다중 사용자 생성 영상 기반 미적 가이드 요약 (Aesthetics-Guided Summarization)

• CPCDN: Context 및 User Intelligence 기반 콘텐츠 전달

• 온라인 정확한 문자열 매칭 문제: 최근 결과 리뷰

• 웹 검색의 내재적 다양성(Intrinsic Diversity)과 전체 세션 관련성

• When Amazon Meets Google: Product Visualization by Exploring Multiple Web Sources

• Cross-Media Tag Transfer (CMTT): 이미지에서 비디오로 태그 지식 이전

• NFV 기반 엣지 컴퓨팅을 위한 IoT 서비스 프레임워크 (VLH)

• 고객 리뷰에서 제품 특징 및 의견 추출 방법론

• Form-Based Web Service Composition for Domain Experts

• YouTube 영화 리뷰의 오디오-비주얼 맥락 기반 감정 분석

• Query Reformulation Modeling using Query Distributions

• 정보 기하학을 통한 순수 고차 단어 연관성 마이닝

• Efficient Time-Stamped Event Sequence Anonymization

• Spatiotemporal Deformable Part Models for Action Detection

• 감성 분석 중심 웹 크롤링 (Sentiment-Focused Web Crawling)

• 화자 추적 기반 영상 자막 배치 (Speaker-Following Video Subtitles)

• 스마트 홈 서비스 조정을 위한 AI 기반 동적 구성 아키텍처

• 과학의 레시피: 데이터 기반 푸드 궁합 및 비즈니스 모델

• 이미지 기반 추천 시스템에서의 정서적 라벨링 (Affective Labeling)

• 비디오 검색 결과의 의미론적 계층 구조화

• 훈련 레이블 정제를 통한 텍스트 분류 정확도 향상

• 웹 기반 분산 콘텐츠 큐레이션 연구

• K-RBMs를 이용한 다중 비선형 부분공간 학습

• Supporting Flexible, Efficient, and User-Interpretable Retrieval of Similar Time Series

• Continuous Birdsong Recognition Using Gaussian Mixture Modeling of Image Shape Features

• Scalable Database-Driven Reverse Dictionary

• 지리 참조 객체를 위한 로컬 검색 엔진 결과 병합

• 온라인 건강 검색의 콘텐츠 편향성

• ReputationPro: E-커머스 환경에서의 문맥 기반 거래 신뢰도 계산