데이터 플랫폼 엔지니어

포지션 개요

• 현재 운영 중인 Trino 기반 데이터 분석 환경을 StarRocks로 전환하여 실시간 데이터 처리 및 분석 역량을 강화할 데이터 플랫폼 엔지니어를 모집합니다.
• StarRocks의 MPP 아키텍처를 활용하여 대용량 데이터의 실시간 수집, 저장, 분석 파이프라인을 설계하고 구현할 전문가를 찾고 있습니다.

주요 업무

• 기존 Trino 워크로드 분석 및 StarRocks로의 마이그레이션 전략 수립
• StarRocks 클러스터 설계, 구축 및 운영 (FE/BE 노드 구성, 스토리지 전략)
• 실시간 데이터 수집 파이프라인 구축 (Kafka, Flink 등과의 연동)
• Primary Key 테이블, Aggregate 테이블 등 StarRocks 테이블 모델 설계 및 최적화
• Materialized View를 활용한 쿼리 성능 최적화
• 데이터 적재 성능 튜닝 (Stream Load, Broker Load, Routine Load 등)
• 쿼리 성능 모니터링 및 튜닝 (파티셔닝, 버킷팅, 인덱싱 전략)
• 기존 BI 도구 및 데이터 소비 애플리케이션과의 통합

기술 스택

• 분석 엔진: StarRocks, Trino
• 스트리밍: Kafka, Flink
• 오케스트레이션: Airflow, Kubernetes
• 모니터링: Prometheus, Grafana
• 스토리지: HDFS, MinIO 등

주요 과제

1. Trino 워크로드 평가: 현재 Trino에서 실행 중인 쿼리 패턴 분석 및 StarRocks 적합성 평가
2. 실시간 처리 아키텍처: StarRocks 실시간 적재 파이프라인 구축
3. 성능 최적화: StarRocks의 Colocate Join, Bucket Shuffle Join 등을 활용한 쿼리 최적화
4. 하이브리드 운영: 단계적 전환을 위한 Trino-StarRocks 하이브리드 아키텍처 설계

• 3년 이상의 대용량 데이터 처리 경험
• MPP 데이터베이스(Trino, Presto, ClickHouse, Greenplum 등) 운영 경험
• SQL 및 데이터 모델링에 대한 깊은 이해
• 분산 시스템 아키텍처에 대한 이해
• 실시간 데이터 파이프라인 구축 경험

• StarRocks 또는 Apache Doris 운영 경험
• Trino에서 타 분석 엔진으로의 마이그레이션 경험
• Kafka, Flink 등 스트리밍 플랫폼 활용 경험
• Kubernetes 환경에서의 데이터 플랫폼 운영 경험
• 컬럼나 스토리지 및 벡터화 실행 엔진에 대한 이해
• Python, Java 등을 활용한 데이터 파이프라인 개발 경험
• 쿠버네티스 데이터 플랫폼 구축 경험

1. 서류 전형

2. 1차 실무 면접 (기술 역량 및 직무 적합성 평가)

3. 2차 임원 면접 (인성 및 글로벌 적응력 평가)

4. 최종 합격

지원 및 혜택 (Benefits & Support)

• 체계적인 교육: 파견 전 업무 및 현지 환경 적응을 위한 3~6개월의 심도 있는 기술 교육 제공

• 본사 지원: 현지 이슈 발생 시 본사 전문가 조직의 즉각적인 기술 서포트 및 가이드 제공

• 근무 조건: * 기본 급여 외 파견 수당(상주 비용 등) 별도 지급

• 숙소 지원 및 현지 생활 관련 편의 제공 (세부 사항 협의)