ㅇ 데이터 아키텍처 및 플랫폼 총괄

• 데이터 플랫폼(크롤링 ETL Data Lake Data Warehouse Data Mart)의 전체 구조 설계 및 고도화

• AWS 기반 데이터 인프라 구성/운영 (S3, EC2, Lambda, ECS, CloudWatch 등)

• 데이터 저장 포맷, 파티셔닝 전략, 인덱싱 정책, 스키마 표준 등 **데이터 엔지니어링 규칙 수립**

ㅇ 대용량 데이터 파이프라인 설계·개발·운영

• Airflow 기반 배치/스트리밍 파이프라인 설계 및 DAG 개발

• 크롤러팀과 협업하여 수집 정제 변환 파이프라인 전반을 관리

• ClickHouse, PostgreSQL 등 적재 스토리지의 성능 최적화 및 운영

• 장애 자동 복구, 재시도 전략, 모니터링 체계 설계

ㅇ 데이터 품질 및 신뢰성 관리

• 데이터 검증 체계 구축 (Null/이상값 탐지, 중복 관리, 스키마 Drift 감지)

• 데이터 신뢰성 확보를 위한 SLA/SLO 설정 및 품질 리포트 작성

• 서비스/BI 팀 요구사항을 위한 데이터 품질 개선 프로세스 운영

ㅇ데이터 품질 및 신뢰성 관리

• 데이터 검증 체계 구축 (Null/이상값 탐지, 중복 관리, 스키마 Drift 감지)

• 데이터 신뢰성 확보를 위한 SLA/SLO 설정 및 품질 리포트 작성

• 서비스/BI 팀 요구사항을 위한 데이터 품질 개선 프로세스 운영  

ㅇ팀 리딩 및 협업 구조 구축

• 데이터 엔지니어(ETL/파이프라인), 크롤러 엔지니어와의 유기적 협업 체계 구축

• 우선순위 정리, 업무 분배, 코드 리뷰 및 기술 가이드 제공

• 서비스 개발팀 및 BI/분석 팀과 협업하여 데이터 요구사항 명확화

• DSL 전체 데이터 인프라의 로드맵 수립 및 실행

ㅇ성능·비용 최적화

• AWS 비용 최적화 전략 수립 (S3 Storage Class, EC2 타입, 파티셔닝 전략 등)

• 쿼리 성능 개선 및 ClickHouse 최적화

• 장애/성능 이슈 분석 및 지속적 개선

• **5년 이상의 데이터 엔지니어링 실무 경험**

• AWS를 활용한 데이터 인프라 구축·운영 경험

• Airflow 활용한 ETL/ELT 파이프라인 경험 (DAG 설계·최적화 가능)

• ClickHouse, Redshift, BigQuery, PostgreSQL 등 중 하나 이상 데이터베이스 고급 활용 가능

• 대규모 데이터 처리 경험 (수백 GB~수 TB 단위)

• SQL 최적화와 성능 튜닝 능력 보유

• Python 기반의 데이터 처리 경험 (Pandas, PySpark, SQLAlchemy 등)

• ClickHouse 운영 경험 (Sharding, Replication, TTL, Materialized View, Part 관리)

• 크롤링 파이프라인 또는 웹 데이터 수집 환경에 대한 이해

• FastAPI/Node 기반 API 개발 경험 (데이터 제공용 API라도 OK)

• 데이터 품질 플랫폼 구축 경험 (Great Expectations 등)

• ELT 기반 아키텍처 설계 경험 (ETL+DBT)

• 대규모 로그 수집/처리 경험 (CloudWatch, FluentBit, Kafka 등)

• 스타트업 환경에서 데이터 조직을 0 1로 만들어본 경

서류전형 - 1차면접 -임직원 면접 - 처우협의 - 최종입사

※ 일부 포지션과 전형 결과에 따라 레퍼런스 체크를 요청드릴 수 있습니다.

• 필수 제출 서류(PDF포맷): 경력중심의 이력서, 자기소개서, 포트폴리오 혹은 졸업 논문

• 미제출 항목이 있을 경우 서류 검토가 불가하오니 확인 후 제출해 주세요.

• 자기소개서에는 지원 동기를 포함해 주세요.

• 포트폴리오는 문제를 발견하고 해결한 과정과 성과를 중심으로 작성해 주세요. 기여도를 명확히 표시해 주세요.

• 서류 합격자에게는 인터뷰 진행에 대한 상세 안내를 별도로 드립니다.