[미리디] Data Engineer Part lead

| ​팀 ​소개

미리디 ​데이터 엔지니어링 ​파트는 미리디의 제품과 서비스, ​그리고 ​다양한 내부·외부 ​데이터를 안정적으로 수집하고 ​활용할 수 ​있는 ​데이터 기반을 ​만들어 ​갑니다.

40TB ​이상의 데이터 레이크하우스를 ​운영하며 ​배치·실시간 데이터 파이프라인부터 ​데이터 ​모델링, ​품질 관리, 분석 ​데이터 제공까지 ​데이터가 ​만들어지고 활용되는 ​전 과정을 ​다룹니다.

지금까지 ​데이터를 수집하고 적재하는 ​기반을 만들어 ​왔다면, 앞으로는 데이터의 신뢰성과 활용성을 높이고 전사가 데이터를 더 잘 활용할 수 있는 환경을 만드는 것에 집중하고 있습니다.

이를 위해 데이터 모델링과 품질 기준을 표준화하고, 데이터 거버넌스를 체계화하며, 반복적인 데이터 엔지니어링 업무에는 AI Agent를 적극적으로 도입하고 있습니다.

데이터 엔지니어링 파트는 단순히 데이터를 전달하는 조직을 넘어, 회사의 의사결정과 제품의 성장을 뒷받침하는 데이터 플랫폼을 직접 설계하고 발전시키는 조직을 지향합니다.

"미리디 DE 팀에 합류하면 이런 경험을 할 수 있어요"

1. 대규모 데이터 처리 및 인프라 운영: 40TB 이상의 데이터 레이크하우스를 운영하고, 실시간 및 배치 데이터 파이프라인을 개발하고 인프라를 운영합니다.
2. 전사 데이터 표준을 만드는 경험: 모델링 표준과 데이터 품질 기준을 직접 수립하고, 전사가 신뢰하고 재사용하는 분석 데이터 기반을 만듭니다.
3. 미래 지향적 데이터 기술 경험: Delta Lake, Databricks, Kubernetes 등 최신 데이터 도구로 환경을 구성하고, AI Agent를 데이터 엔지니어링 업무에 직접 도입하여 일하는 방식 자체를 바꿔갑니다.
4. 기술 리더십의 성장: 파트의 기술 방향을 정의하고, 채용과 성장 지원을 통해 함께 일하는 팀을 직접 만들어 갑니다.

| 빠르게 성장하는 조직의 데이터 기반을 어떻게 설계할까요?

👉 데이터브릭스 도입 과정과 도입 이후의 변화 보러 가기(Data Intelligence Day 발표내용)

👉 대용량 고객 온라인 데이터 관리 성능 대폭 향상(Databricks 고객 성공 사례)

| 주요 업무

"미리디에서 이런 일들을 함께 하고 싶어요"

1. 파트의 기술 방향과 로드맵을 정의하고, 채용·성장 지원·성과 관리를 통해 파트원의 역량과 파트의 실행력을 함께 키웁니다. 기술 의사결정의 기준을 세우고 코드 리뷰와 아키텍처 리뷰를 통해 파트의 기술 수준을 끌어올립니다.
2. grain, fact/dimension, conformed dimension, SCD 등 모델링 표준을 수립하고, 이를 기준으로 Silver·Gold 마트를 재설계합니다. Databricks Asset Bundle 기반의 변환·테스트·CI/CD 개발 체계를 구축하여 마트 개발과 배포를 자동화합니다.
3. 소스↔Bronze 정합성, freshness, schema drift 등 파이프라인 전 구간의 품질을 지표로 정의하고 상시 모니터링하여, 데이터 문제를 소비 단계 이전에 탐지합니다. Unity Catalog 기반의 메타데이터 관리와 배포 시점 자동 검증 체계를 만들어 데이터 거버넌스를 운영합니다.
4. 미리디의 다양한 포맷의 원천 데이터를 수집하는 확장성 있는 배치·실시간 파이프라인을 구축하고, Server-side GTM 등을 통해 수집 데이터의 완결성을 확보합니다. 마트 데이터를 사내 서비스와 AI Agent가 가볍고 빠르게 조회할 수 있는 OLAP 서빙 환경을 설계하고 구축합니다.
5. 온콜·에드혹 요청을 스스로 해석해 파이프라인을 수정하고 PR을 생성하는 데이터 엔지니어링 Agent를 구축·운영합니다. Agent가 참조할 표준·메타데이터·컨벤션을 컨텍스트로 정비하고, PR 리뷰 기반의 Human-in-the-loop 승인 체계로 안전성을 확보하며 적용 범위를 단계적으로 넓혀갑니다.
6. 데이터 파이프라인과 인프라의 비용을 워크로드·서비스 단위로 추적할 수 있는 가시성 체계를 구축합니다. 이를 근거로 컴퓨트 리소스와 스토리지, 배치 작업의 비효율을 찾아내고, 쿼리·파이프라인 최적화와 아키텍처 개선을 통해 데이터 플랫폼의 비용 효율을 지속적으로 높여갑니다.

| 자격요건

"이런 분이라면 목표 달성에 확신을 얻을 것 같아요"

1. 6년 이상의 유관 경력과 함께, 파트/팀 리드 또는 테크 리드로서 기술 방향을 정의하고 구성원의 성장을 이끌어 본 경험이 있으신 분
2. 자료구조, 알고리즘, OS, 네트워크, 데이터베이스에 대한 충분한 CS 지식과 다양한 데이터 스토리지(Hadoop, RDBMS 등)에 대한 이해를 갖고 계신 분
3. 데이터 수집, 변환, 저장을 위한 데이터 파이프라인을 직접 개발하고 운영한 경험을 갖고 계신 분
4. 차원 모델링에 대한 이해를 바탕으로 데이터 웨어하우스/마트를 설계하고, 조직에 적용할 모델링 표준을 정의해 보신 경험이 있으신 분
5. Python, SQL 및 Java/Kotlin/Scala 등 JVM 기반 개발 언어 활용이 가능하신 분
6. AWS 클라우드 환경 내의 데이터 인프라 구축과 운영을 위한 기본적인 지식과 이해를 갖고 계신 분
7. 데이터 사용자 및 유관 조직과 적극적으로 소통하며, 기술적 판단의 근거를 설득력 있게 전달할 수 있는 분

| 우대 사항

"이런 분이라면 장기적으로 서로에게 더 긍정적일 것 같아요!"

1. Databricks 기반 데이터 플랫폼을 직접 운영하고, Unity Catalog 등으로 데이터 거버넌스를 구성해 본 경험이 있으신 분
2. 표준화되고 검증 가능한 데이터 변환 환경을 구축하고, 테스트 및 CI/CD를 포함한 개발 체계를 만들어 운영해 보신 분
3. Delta Lake, Iceberg 와 같은 Open Table Format 기술 또는 카프카 기반 실시간 스트리밍 개발 및 운영 경험이 있으신 분
4. 데이터 품질 검증 도구·프레임워크를 도입하여 정합성·freshness·schema drift 등을 지표화하고 모니터링해 보신 경험이 있으신 분
5. ClickHouse, StarRocks 등 오픈소스 기반 OLAP 엔진 기반의 서빙 환경이나 Kubernetes 클러스터 기반 데이터 인프라를 운영해 보신 경험이 있으신 분
6. LLM/AI Agent를 활용해 개발 및 운영 업무를 자동화하고, 실제 워크플로우에 적용해 보신 경험이 있으신 분

| 미리디 DE팀 활용 기술 스택

1. 언어: Python, SQL, Java
2. 인프라: AWS, Kubernetes(EKS)
3. 데이터 플랫폼: Databricks(Delta Lake, Workflow), Apache Airflow, DuckDB, Delta-rs, AWS MSK(Kafka), * Debezium, AWS Athena, AWS Glue
4. 거버넌스: Databricks Unity Catalog, DataHub
5. AI: Claude Code, Codex

1. [서류 전형] - [기술 스크리닝] - [1차 인터뷰] - [2차 인터뷰] - [처우 협의] - [입사] 의 프로세스로 진행됩니다.
2. 서류는 원활한 검토를 위해 PDF 형식으로 제출 부탁 드립니다.
3. 기술 스크리닝 : 실무 인터뷰 전, 컴퓨터 공학 기초 지식을 확인합니다. (온라인, 30분 내외)
4. 2차 인터뷰의 경우, 직무/직급에 따라 생략될 수 있습니다.
5. 직급에 따라 인터뷰 후 레퍼런스 체크 전형이 추가될 수 있습니다.
6. 입사 후 3개월의 수습 기간 및 수습 평가가 진행됩니다. (급여 100%)
7. 서류 전형 결과 안내까지는 최대 2주, 인터뷰 결과 안내까지는 최대 3주가 소요됩니다.
8. 여러 포지션에 동시에 지원해주시는 것은 가능하지만 동일한 포지션의 경우 최종 결과 안내를 받은 시점으로부터 6개월 후에 재지원이 가능합니다.