[삼성전자 DS부문 프로젝트] LLM Gateway·Agent 백엔드 엔지니어

포지션 소개

삼성전자 DS(반도체)부문 사내 LLM 플랫폼 구축 프로젝트에 함께할 시니어 백엔드 엔지니어를 찾습니다.

사내 여러 팀과 과제가 다양한 LLM을 안정적이고 통제된 방식으로 사용할 수 있도록, LiteLLM Proxy 기반 LLM Gateway를 구성·운영하고 그 위에서 동작하는 Agent 백엔드를 개발하는 역할입니다. 모델 라우팅, 폴백, 키·비용 통제처럼 실제 운영 환경에서 마주치는 문제를 직접 설계하고 해결하게 됩니다.

총 10명 규모로 팀이 구성되며, 기흥 테라타워에 상주하여 근무합니다.

주요 업무

LLM Gateway 구축 및 운영

1. LiteLLM Proxy 기반 사내 LLM 게이트웨이 구성 및 운영
2. 모델 라우팅 정책 설계 (로드밸런싱, 레이턴시 기반 분배)
3. 장애·레이트리밋 발생 시 폴백(fallback) 체인 구성
4. 팀·과제별 가상 키(Virtual Key) 발급 및 모델 접근 범위 통제
5. 사용량·비용 집계 및 한도(budget) 정책 적용

LLM 연동 및 Agent 백엔드 개발

1. OpenAI 호환 API 기반 모델 호출 모듈 개발 (스트리밍·취소·재시도)
2. Agent 워크플로 구현 및 도구(Tool) 호출 규격 정의
3. RAG 검색 연계 및 근거·출처 정규화

1. Python 백엔드 개발 경력 7년 이상
2. LiteLLM Proxy(Gateway) 구성 및 운영 실무 경험 (필수)
3. FastAPI 기반 비동기 서버 개발 경험
4. OpenAI API 연동 경험 (Chat Completions / Responses API)
5. 커넥션 풀, 타임아웃, 재시도 등 비동기 처리 설계 경험
6. PostgreSQL, Redis 운영 경험

1. LiteLLM 심화 활용 경험 (라우팅·폴백·Virtual Key·Budget 등 고급 기능)
2. LangGraph 기반 Agent 워크플로 설계 경험
3. RAG 파이프라인 구축 경험
4. 폐쇄망(에어갭) 환경 개발 경험
5. 대기업 SI 프로젝트 수행 경험