logo
logo
https://groupby-public-image.s3.ap-northeast-2.amazonaws.com/startups/1510/1758174438/56462b62e4d2643461139ea45e03b3d5_uKgcXLjx_2efa94293b1bf76f5f47fc92feba5422619656e9.jpg
코넥시오에이치공개된 온라인 사업자 데이터를 허용된 범위에서 수집하여 분석, 가공 후 SME 성공을 위해 금융기관과 신용평가회사에 다양한 서비스로 제공
서울 강남구AI ‧ 핀테크 ‧ SaaS ‧ IT 컨설팅 ‧ 빅데이터
데이터 크롤링 엔지니어(3년 이상)
포지션데이터 엔지니어
경력 구분경력 3년 이상
특이사항CTO 있음, 부분 원격근무 가능
스킬
Airflow
AWS
주요업무

• 다양한 소스(웹/앱/오픈 API/브라우저 렌더링 기반 등)의 **크롤러 설계·개발·운영**

• 크롤링 대상 사이트 구조 분석 및 **반(反)크롤링 우회 로직 구현**

  - Header/쿠키 우회, 세션 유지, Captcha 대응, Proxy 회전 등

• 크롤러 동작 모니터링 및 **데이터 적재 안정성 보장**

  - Airflow 스케줄링, Failover 처리, Retry 정책 설계

• 크롤링 성능 최적화

  - 수집 속도·정확도 향상, 중복 수집 제거, 에러율 감소

• 장애 대응 및 유지 보수

  - XPath·DOM 변경 대응, 신규 수집 규칙 업데이트

자격요건

• 웹 크롤러 개발 **3년 이상** 실무 경험

• Selenium, Playwright, Puppeteer, Scrapy 등 **브라우저/비브라우저 기반 크롤러 프레임워크 경험**

• AWS, GCP 등 **클라우드 환경에서 개발·배포·모니터링 경험**

• HTTP/REST, Proxy, 브라우저 렌더링, 세션 관리 등 **웹 전반에 대한 깊은 이해**

우대사항

• 초당 수천~수만 건 규모의 **대용량 데이터 수집 및 처리 경험**

• 다양한 Anti-bot(보안·클라우드플레어·아카마이) 대응 경험

• 전산학 기반 지식(네트워크·운영체제·자료구조·알고리즘)

채용절차

서류전형 - 1차면접 -임직원 면접 - 처우협의 - 최종입사

※ 일부 포지션과 전형 결과에 따라 레퍼런스 체크를 요청드릴 수 있습니다.


• 필수 제출 서류(PDF포맷): 경력중심의 이력서, 자기소개서, 포트폴리오 혹은 졸업 논문

• 미제출 항목이 있을 경우 서류 검토가 불가하오니 확인 후 제출해 주세요.

• 자기소개서에는 지원 동기를 포함해 주세요.

• 포트폴리오는 문제를 발견하고 해결한 과정과 성과를 중심으로 작성해 주세요. 기여도를 명확히 표시해 주세요.

• 서류 합격자에게는 인터뷰 진행에 대한 상세 안내를 별도로 드립니다.

합류하면 얻을 수 있는 것
#성장_지원_복지#새로운_일에_도전
근무지
서울특별시 강남구 강남대로 388 15F (서울, 강남구)
logo
(주)그룹바이HR | 서울특별시 영등포구 영등포로 150 C동 908호대표 : 임진하 / 박상민사업자등록 : 333-88-02226유료직업소개업 등록번호 : 제 2005-3180270-14-5-00019호직업정보제공사업 신고번호 : J1200020230023문의 : hello_world@groupby.biz | 070-8018-7502 (평일 오전 10시 ~ 오후 6시)
instagramkakaotalkyoutube