AncomWiki

일단 합쳤다가 풀기 (Batch Processing & Async Architecture)

Properties1
description이 노트는 비동기 처리 및 배치(Batch) 아키텍처 설계에 대한 기술적 고찰을 담고 있다. 요청과 응답이 1:1 대응되지 않는 비동기 환경에서 결과를 저장할 공간의 필요성을 지적하며, '클라이언트-프록시' 간 데이터 흐름을 두 가지 모델(1. 클라이언트에서 모아서 발사, 2. 프록시에서 모아서 발사 및 저장)로 비교한다. 또한 텍스트 전처리 파이프라인의 성능 벤치마크(500자/0.33초)와 관련 Docker 서비스 설정,…

38 min read

일단 합쳤다가 풀기 (Batch Processing & Async Architecture)

Source

  • Field Notes/ReturnZero/Daily Notes/Day 513. 2022-11-25.md

Summary

이 노트는 비동기 처리 및 배치(Batch) 아키텍처 설계에 대한 기술적 고찰을 담고 있다. 요청과 응답이 1:1 대응되지 않는 비동기 환경에서 결과를 저장할 공간의 필요성을 지적하며, ‘클라이언트-프록시’ 간 데이터 흐름을 두 가지 모델(1. 클라이언트에서 모아서 발사, 2. 프록시에서 모아서 발사 및 저장)로 비교한다. 또한 텍스트 전처리 파이프라인의 성능 벤치마크(500자/0.33초)와 관련 Docker 서비스 설정, SSH 키 등 개발 환경 설정 정보를 포함하고 있다.

Key Points

  • 비동기 처리 시 요청/응답의 비동기성으로 인한 결과 저장소 필요성 제기
  • 배치 처리를 위한 두 가지 아키텍처 모델 비교: (1) 클라이언트 측 집계 vs (2) 프록시 측 집계 및 저장
  • 텍스트 데이터 전처리(정제/분할) 파이프라인의 성능 측정 결과 기록
  • 관련 크롤러 서비스(gkeep-tweet-crowler)의 Docker Compose 설정 및 환경 변수 정보

그래프 뷰

백링크