Data Pipeline Engineer Intern

이런 일을 해요

업무의 중심은 데이터 파이프라인 운영과 개선이에요. 70여 개 채널에서 들어오는 데이터가 매일 정확하게 쌓이도록 지키고, 새 채널을 붙이고, 반복되는 대응을 알람과 문서로 줄여나가는 일이에요.

저희가 가장 경계하는 장애 유형은 하나예요. 배치는 성공으로 기록됐지만 실제 데이터는 적재되지 않은 경우예요. 이 원인을 mart → staging → raw 원본 순으로 내려가며 규명하는 역량이 이 포지션에 상시 요구돼요.

매일 하는 일

- 파이프라인 운영 — Prefect에서 스케줄 run 상태와 자가치유 flow 동작 여부를 확인하고, BigQuery mart와 PostgreSQL DB의 최신 파티션이 전일 기준까지 정상적으로 생성됐는지 점검해요.

- 장애 1차 트리아지 — 실패한 flow run의 에러 코드를 고객 조치·사내 조치·외부 벤더 문제로 분류하고 대응해요.

- 정합성 조사 — “수집은 됐는데 컬럼이 전부 NULL”인 유형의 신고가 접수되면 raw JSONL을 직접 열어 원본에 값이 존재하는지부터 확인해요. UI가 아니라 로그·원본 파일·DB 테이블을 진실 원천으로 삼아요.

- 협업 기반 데이터 품질 관리 — CX·PM 및 고객사가 확인하는 기준을 함께 정리하고, 원천 플랫폼·API 응답·내부 mart 사이에서 수치가 달라지는 원인을 재현하고 설명 가능한 조사 결과로 남겨요.

만들고 개선하는 일

1. 신규 채널 데이터 파이프라인 개발 및 dbt 모델링 — 서로 다른 채널의 원천 데이터를 표준화된 staging·mart 구조로 변환하고, 확장 가능하고 유지보수할 수 있는 데이터 모델을 설계해요.
2. 기업용 데이터 적재 로직 구축과 쿼리 성능 최적화, 필터링 기능 구현에 참여해요.
3. 데이터 품질 검증을 위한 자동화 테스트를 작성하고, 데이터 누락과 이상 징후를 조기에 발견할 수 있는 구조를 개선해요.
4. AI 기반 운영 자동화(AX) — Claude Code 서브에이전트로 반복 운영을 절차서와 규칙으로 정형화하고, 알람·uptime·메트릭 관측성을 붙여 회사 인프라로 남겨요.
5. 파이프라인의 쿼리·적재 성능뿐 아니라 클라우드 리소스와 쿼리 비용까지 고려해 운영 효율을 개선해요.

제품 개발도 일부 함께해요

Cigro v2가 표시하는 수치는 위 파이프라인에서 생성돼요. 그래서 장애를 조사한 경험이 그대로 화면의 검증과 예외 처리 설계로 이어져요. 파이프라인 업무와 맞물리는 범위에서 제품 개발에도 참여해요.

1. 기능 수직 슬라이스 구현 — spec 승인 → contracts(zod) → api(Fastify) → web(Next.js) → pnpm verify 통과까지가 완료의 정의예요.
2. 계약 기반 개발 — packages/contracts의 zod 스키마를 단일 계약 소스로 두고, BE의 safeParse와 FE의 parse를 함께 일치시켜요.
3. v1 국소 버그 수정 — 운영 중인 Python·FastAPI 레거시의 엑셀 업로드 파싱 방어 등을 문서화된 선례에 따라 수행해요. TypeScript와 Python 두 스택을 함께 다루는 것이 이 포지션 업무의 일부예요.

이런 분과 함께하고 싶어요

필수 요건

1. Claude Code 등 AI 코딩 도구로 결과물을 완성해 본 경험
2. 규모는 작아도 괜찮아요. 다만 AI가 틀렸을 때 어떻게 발견하고 교정했는지, 검증 없이 push하지 않기 위해 어떤 장치를 뒀는지는 설명하실 수 있어야 해요. 저희 시스템은 멀티테넌트 구조이기 때문에 검증되지 않은 수정 하나가 여러 고객사의 데이터에 그대로 증폭될 수 있어요.
3. 추측과 확인된 사실을 구분하는 태도
4. 불확실한 사항을 사실처럼 단정하지 않고, 확인이 필요한 부분을 명확히 밝힐 수 있어야 해요. 문서와 업무 모두 확인된 사실만 기재하는 것이 원칙이에요. 다른 역량은 교육할 수 있지만 이 태도는 교육만으로 형성하기 어렵다고 판단해요.
5. SQL 집계 쿼리 작성 경험
6. JOIN과 GROUP BY를 사용해 원하는 수치를 산출해 본 수준이면 충분해요.

이런 분이면 더 좋아요

아래 내용은 필수 요건이 아니라 강점이 되는 경험이에요.

1. 파이프라인 운영 경험 — 구축에 그치지 않고 일정 기간 운영해 본 경험. 헬스체크 알림 구성, 장애 및 복구 기록이 남아 있으면 강점이에요.
2. 데이터 불일치의 원인을 규명해 본 경험 — 정산서·엑셀 다운로드·매출 수치가 일치하지 않는 문제를 부분 수집, 환불 소급, 부가세 포함·제외까지 짚어 정리해 본 경험이면 충분해요.
3. dbt·BigQuery — incremental 모델, 외부 테이블, 파티션 필터의 비용 개념을 이해하고 있으면 좋아요.
4. HTTP·네트워크 디버깅 — API 요청·응답, 인증, 상태 코드, rate limit 등의 문제를 추적해 본 경험이 있으면 좋아요.
5. 이커머스·재무 도메인 — 매출, 수수료, VAT, 취소·환불의 과거 소급 구조를 이해하고 있으면 좋아요.
6. AI 도메인 지식 및 인프라 세팅 경험