Scrapy 로 웹사이트 크롤링 해보기
Source
Evernote/Inbox/Scrapy로 웹사이트 크롤링 해보기.md
Summary
지속적인 웹사이트 크롤링을 위해 Selenium 과 Scrapy 등 라이브러리를 비교 검토한 내용입니다. Selenium 은 UI 요소 해석의 어려움과 별도 서버 데몬 실행의 불편함으로 포기하고, 상대적으로 가벼운 Scrapy 로 전환하는 과정을 다룹니다.
Key Points
- 지속적인 웹사이트 크롤링을 위한 라이브러리 비교 (Selenium vs Scrapy)
- Selenium 의 단점: 의미 없는 UI 요소 해석의 어려움, 별도 서버 데몬 필요로 인한 운영 불편
- 대안으로 Scrapy 채택: 비교적 규모가 작은 웹사이트 크롤링에 적합