A.
SLM 모델링 및 최적화 (Core AI)오픈소스 LLM/SLM 활용: Llama-3, Mistral, Gemma 등 최신 소형 언어 모델(SLM)의 아키텍처 이해 및 핸들링 능력.
Fine-tuning (미세 조정): LoRA, QLoRA 등 효율적인 파인튜닝(PEFT) 기법을 활용한 자체 데이터 학습 경험.
STT 오인식 문장에 대한 후처리(Post-processing) 및 문맥 기반 교정 모델 개발 경험.
RAG (검색 증강 생성) 구현: Vector DB(Pinecone, Milvus 등) 연동을 통해 모델이 학습하지 않은 최신/내부 정보를 참조하여 답변 정확도를 높이는 기술 구현.
B.
데이터 엔지니어링 (Data Engineering)Instruction Dataset 구축: 서비스 내 발생하는 비정형 텍스트 데이터를 모델 학습용 포맷(Instruction/Input/Output)으로 전처리 및 가공.
Data Augmentation(증강)을 통한 학습 데이터셋 품질 확보.
Tokenizer 최적화: 한국어 및 특정 도메인(현장 용어, 약어 등) 처리를 위한 토크나이저 확장 및 임베딩 최적화 경험.
C.
시스템 연동 및 배포 (MLOps & Engineering)모델 경량화 (Quantization):
Inference 비용 절감 및 속도 향상을 위한 모델 양자화(Quantization, FP16 → INT8/INT4) 수행 (GGUF, AWQ 활용).
Inference Pipeline 구축: ONNX, TensorRT, vLLM 등을 활용한 고성능 서빙 환경 구축.
Whisper (STT)의 스트리밍 출력값을 실시간으로 받아 SLM이 즉시 처리하도록 파이프라인 설계 및 API 연동.
