Data Engineer

• 흩어진 R&D 원천을 하나로 엮습니다. 공공 기업 데이터(국민연금·금융위원회 등), IRIS와 부처별 정부 R&D 공고, 대학·연구실 공개 웹 정보, 논문·특허·공시·뉴스까지 형식도 출처도 다른 데이터를 수집·정제하는 파이프라인을 설계하고 운영합니다.

• 같은 원천을 두 갈래로 공급합니다. 기업·연구실·과제·논문·특허 등을 같은 대상끼리 식별하고 연결해(entity resolution) R&D 파트너 매칭용 프로필을 만들고, 문서 단위로는 기술 분류·키워드·시계열 집계를 만들어 R&D Intelligence에 공급합니다.

• LLM이 파이프라인 곳곳에서 일합니다. 정제, 분류·추출, 엔티티 매칭 판정 등 여러 단계에 LLM이 들어가 있고, 천만 건 단위 배치의 처리 구조, 비용, 재시도를 설계합니다. 프롬프트와 품질 기준은 AI 엔지니어와 함께 정하고, 처리 파이프라인은 직접 맡습니다.

• 언제든 다시 돌릴 수 있게 만듭니다. BigQuery·GCS 위에서 멱등성, 증분 처리, 백필·재처리가 가능한 구조를 설계합니다. 결과가 확률적인 LLM 단계까지 재현 가능하게 관리하는 것이 핵심 과제입니다.

• Airflow/Dagster로 asset 단위 오케스트레이션을 합니다. 스케줄링, 의존성, 모니터링, 실패 복구를 책임집니다.

• 데이터 품질을 체계로 만듭니다. 스키마 변경, 누락, 중복, 이상치를 잡는 검증과 모니터링을 구축합니다. (dbt 도입을 준비하고 있어, SQL 변환 계층과 테스트 체계를 처음부터 함께 설계합니다.)

• 정제된 데이터를 검색(Elasticsearch)과 서비스 DB(PostgreSQL)에 반영하는 인덱싱·동기화 흐름을 운영합니다.

• 다음 기술 결정을 직접 내립니다. 지금은 BigQuery 중심의 ELT로 버티고 있지만, 문서 규모가 커지면서 대규모 중복 제거나 entity resolution처럼 SQL만으로 다루기 어려운 처리가 급증하고 있습니다. Spark, Databricks 등 다음 처리 스택을 규모와 비용 근거로 비교하고, 도입 여부와 시점을 직접 결정하게 됩니다.

• 고객과 동료의 요구를 데이터 요구사항으로 구체화하고 문서로 합의합니다.

• 데이터 엔지니어링 또는 백엔드 실무 3년 이상

• 프로덕션 데이터 파이프라인을 직접 설계·운영해본 경험 (장애 대응, 백필·재처리 포함)

• Python과 SQL로 대규모 데이터를 다룰 수 있는 분

• LLM API를 직접 호출해 데이터 처리에 써본 분 (사이드 프로젝트도 괜찮습니다)

• 모호한 요구를 데이터 요구사항으로 구체화하고, 문서로 동료나 고객과 합의할 수 있는 분

• Airflow, Dagster 등 오케스트레이터 운영 경험

• BigQuery, Snowflake, Databricks 등 클라우드 환경에서 데이터 레이크·웨어하우스·마트를 설계하고 ETL/ELT 파이프라인을 구축해본 경험

• dbt로 변환 계층과 데이터 테스트를 설계해본 경험

• Spark 등 분산 처리 엔진 경험, 그리고 언제 써야 하고 언제 쓰지 말아야 하는지에 대한 판단

• 이름·조직 매칭(entity resolution), 중복 제거, 다국어 텍스트 정규화 경험

• 대규모 LLM 배치에서 비용과 품질의 트레이드오프를 관리해본 경험

• Elasticsearch 인덱싱 파이프라인 경험

• 관측 스택(OpenTelemetry, Datadog 등) 경험

• 논문·특허·정부과제·공시 데이터를 다뤄본 경험, 또는 제조·철강·바이오·R&D 도메인 이해

• 지식 그래프나 온톨로지 설계 경험

서류 ＞ 1차 비대면 기술 면접 (20~30분) ＞ 2차 대면 기술 면접 ＞ 경영진 면접 ＞ 최종 합격