서울시 테스트베드 — LLM 엔지니어 (Gemma 3)

오픈소스 LLM 기반 도메인 특화 파인튜닝 및 데이터셋 구축

1. Gemma 3 등 최신 오픈소스 LLM을 활용하여 기업 및 서비스 도메인에 특화된 파인튜닝을 주도합니다.
2. 효율적인 모델 학습을 위해 LoRA/QLoRA 기법을 적용하며, SFT(Supervised Fine-Tuning) 및 DPO(Direct Preference Optimization)를 위한 고품질 정렬 데이터셋을 설계하고 구축합니다.

고도화된 RAG(검색 증강 생성) 아키텍처 설계 및 파이프라인 최적화

1. 대규모 지식 베이스를 활용한 RAG 시스템을 구축하고 검색 정확도를 극대화합니다.
2. 도메인 지식에 맞춘 청킹(Chunking) 전략 수립, 최적의 임베딩 모델 선정, 벡터 데이터베이스(Vector DB) 및 리랭킹(Reranking) 파이프라인을 최적화합니다.

LLM 서빙 인프라 구축 및 레이턴시/처리량 최적화

1. vLLM, SGLang, llama.cpp 등 최신 서빙 프레임워크를 활용하여 고성능 LLM 추론 엔드포인트를 구축하고 서빙 효율을 극대화합니다.
2. 실무 서비스에 LLM 인텔리전스를 연동하기 위해 Python 및 FastAPI 기반의 툴 호출(Tool Calling) 백엔드 아키텍처를 설계합니다.

모델 경량화(양자화) 및 다양한 환경(온프레미스/보안) 배포

1. GPTQ, AWQ, bitsandbytes 등의 경량화 기법을 적용하여 모델 추론 비용을 절감하고 리소스를 최적화합니다.
2. 인프라 제약이 있거나 데이터 보안이 엄격한 온프레미스(On-Premise) 및 프라이빗 클라우드 환경에 LLM을 안정적으로 배포하고 운영합니다.

정량적 모델 평가 체계 수립 및 LLMOps 환경 고도화

1. 개발된 모델의 성능을 객관적으로 검증하기 위해 벤치마크 데이터셋, 한국어 평가셋, LLM-as-a-judge 등 체계적인 모델 평가 파이프라인을 구축합니다.
2. 모델 데이터 적재, 학습, 평가, 배포, 모니터링이 유기적으로 순환하는 LLMOps 체계를 고도화합니다.

1. RAG 구축 경험 (임베딩 모델, 벡터DB, 청킹/리랭킹 전략)
2. LLM LoRA 파인튜닝 경험
3. LLM 서빙 및 커스터마이징 경험 (vLLM, SGLang, llama.cpp)
4. LLM 데이터셋 구축 경험 (SFT, DPO)
5. 툴 호출 도구 백엔드 구성 경험 (Python)

1. 모델 평가 체계 경험 (벤치마크, LLM-as-judge, 한국어 평가셋)
2. 양자화 경험 (GPTQ, AWQ, bitsandbytes)
3. 온프레미스 / 보안 환경 배포 경험