• 다양한 소스(웹/앱/오픈 API/브라우저 렌더링 기반 등)의 **크롤러 설계·개발·운영**
• 크롤링 대상 사이트 구조 분석 및 **반(反)크롤링 우회 로직 구현**
- Header/쿠키 우회, 세션 유지, Captcha 대응, Proxy 회전 등
• 크롤러 동작 모니터링 및 **데이터 적재 안정성 보장**
- Airflow 스케줄링, Failover 처리, Retry 정책 설계
• 크롤링 성능 최적화
- 수집 속도·정확도 향상, 중복 수집 제거, 에러율 감소
• 장애 대응 및 유지 보수
- XPath·DOM 변경 대응, 신규 수집 규칙 업데이트