• ChatGPT 등 AI 응답 결과를 자동으로 수집(crawling, scraping)하는 시스템 개발 및 운영

• 웹 브라우저 상의 특정 페이지(예: 검색결과, 문서 등) 데이터 크롤링

• 수집한 데이터를 정제하고 Google Cloud Platform(GCP)의 데이터베이스(BigQuery 등)에 자동 적재

• 수집/적재된 데이터를 조회/분석할 수 있도록 간단한 API 또는 대시보드 연동 지원

• 크롤링 및 적재 자동화를 위한 스케줄링 시스템 관리 (예: Cloud Scheduler, Airflow 등)

※ 자체 Saas솔루션인 리스닝마인드 허블에 대한 데이터 엔지니어 포지션은 아닙니다. 허블의 데이터도 활용은 하지만 컨설팅본부의 사업을 위한 별도의 데이터 엔지니어 포지션 입니다.

• 관련 경력 1~5년

• 자연어 등 비정형 데이터 처리 경험

• 웹 크롤링 및 데이터 수집 자동화에 대한 실무 경험 (HTML/CSS/DOM 구조에 대한 이해도)

• Python기반의 자동화 스크립트 작성 능력 (Selenium, BeautifulSoup, Scrapy 등)

• 데이터 정제 및 가공 경험 (pandas, SQL 등)

• 데이터 파이프라인 구축/운영 경험 (ETL 또는 ELT)

• GCP(Google Cloud Platform) 서비스 활용 경험 (특히 BigQuery, Cloud Storage, Cloud Functions 등)

• Airflow 또는 Cloud Composer 등 워크플로우 스케줄러 활용 경험

• Git 등 협업을 위한 기본적인 형상관리 도구 사용 능력

• R, Node.js(선택) 활용 경험

• JavaScript 렌더링 기반 사이트 크롤링 대응 경험 (예: Puppeteer, Playwright)

• 개인정보보호 및 크롤링 윤리에 대한 기본 지식

• Tableau, Power BI 등 BI 도구 활용 경험

[서류검토 → 1차 면접 → 2차 면접 → 최종합격]

※ 제출한 서류 등에 허위사실이 발견된 경우 채용이 취소될 수 있습니다.

※ 전형이 생략되거나 추가, 변경되는 등 기타 상황에 따라 전형이 유연하게 진행될 수 있습니다.