[챌린저스] 백엔드 인턴 - 데이터 수집 (크롤링)
스킬
주요업무
• 다양한 커머스 플랫폼의 상품·순위·가격·리뷰 데이터를 수집하는 크롤러를 개발하고 운영합니다.
• 플랫폼별 페이지 구조와 데이터 제공 방식을 분석하고, 새로운 수집 대상과 지표를 추가합니다.
• 페이지 구조 변경이나 요청 실패로 발생하는 수집 오류를 추적하고, 안정적으로 복구할 수 있도록 개선합니다.
• 수집한 데이터를 정제·검증하고 데이터베이스에 적재해, 누락과 중복을 줄이고 데이터의 정확성을 높입니다.
• 수집량이 늘어도 안정적으로 돌아가도록 스케줄링·병렬 처리·재시도·모니터링을 함께 개선합니다.
• 사업·마케팅 팀이 필요한 데이터를 활용할 수 있도록 API를 개발하고, 데이터 요구사항을 함께 구체화합니다.
근무 환경
• 1명 / 월 416만 원(연 5천 수준)
• 3개월 전환형 혹은 6개월 체험형
자격요건
• 크롤러를 직접 만들어 본 경험이 있는 분 (개인 프로젝트·부트캠프·인턴 경험 모두 포함)
• HTTP 요청/응답, HTML·DOM 구조, JSON API 응답을 읽고 원하는 데이터를 찾아낼 수 있는 분
• 잘 되던 수집이 갑자기 깨졌을 때, 원인을 끝까지 파고들어 복구하는 과정에 재미를 느끼는 분
• 시키는 것만 하기보다, “이 데이터 이렇게 쓰면 더 낫지 않나?“를 먼저 말할 수 있는 분
• 사용자 경험과 고객 가치를 최우선으로 하여, 개발을 통해 비즈니스 성장에 기여하고 싶은 열망이 있는 분
• 진짜 ‘성공‘을 만들고자 하는 열망이 강한 분
• 이 업무를 왜 해야 하는지를 항상 고민하며, 해당 이유를 근거로 설명할 수 있는 분
• 컴퓨터공학 전공 혹은 이에 준하는 지식 및 활용 역량이 있으신 분
• 재학·휴학 중이며, 인턴 기간 동안 풀타임 근무가 가능한 분
우대사항
• FastAPI, Flask, Django 등으로 간단한 API 서버를 만들어 본 경험이 있는 분
• Playwright, Selenium 등 브라우저 자동화 도구로 동적 페이지를 다뤄 본 경험이 있는 분
• asyncio, 멀티프로세싱 등으로 수집 속도와 효율을 개선해 본 경험이 있는 분
• 일정 규모 이상의 데이터를 지속적으로 수집·적재해 본 경험이 있는 분
• Docker 등 컨테이너 환경을 다뤄 본 경험이 있는 분
• 커머스·광고 도메인 데이터에 관심이 있는 분
• Go 언어에 관심이 있거나 익숙하신 분
화이트큐브에서 사용하는 기술
• Go(Gin), Python(FastAPI)
• MySQL, PostgreSQL, Gorm, SqlModel, Redis, ElasticSearch, MongoDB
• Kubernetes + Istio, Nginx
• ArgoCD, ArgoWorkflow, Docker, Git, Vault
화이트큐브 개발자가 일하는 방식
• 상호 코드리뷰가 보다 더 잘 이루어질 수 있도록, 기능 개발에 필요한 작업을 작은 단위로 나눠서 진행합니다.
• 이슈가 발생하는 상황에서도, 다같이 해결할 수 있는 동료들이 모여 있습니다. (범인을 찾지 않고, 문제 해결에 집중하는 동료들이 모여 있어요.)
• 데이터를 수집할 때는 각 플랫폼의 정책과 서버 부하를 함께 고려합니다. 빠르게 가져오는 것만큼, 지속 가능하게 가져오는 것을 중요하게 생각해요.
채용절차
서류합격 > 온라인 컬쳐 인터뷰(30분) > 온라인 기술 인터뷰(1시간) > 오프라인 최종 인터뷰(1시간) > 최종합격