음성 대화 에이전트 엔지니어

실시간 음성 AI 에이전트 시스템 설계 및 개발

1. 초저지연(Ultra Low-Latency) 실시간 음성 대화 에이전트의 End-to-End 아키텍처를 설계하고 고도화합니다.
2. STT, LLM, TTS 파이프라인을 스트리밍 방식으로 연동하여 자연스러운 실시간 대화 경험을 구현합니다.

텔레포니(Telephony) 인프라 연동 및 음성 처리 최적화

1. SIP 프로토콜 및 Asterisk, WebRTC 환경을 기반으로 전화 네트워크와 AI 에이전트 간의 안정적인 연동 시스템을 구축합니다.
2. 8kHz 오디오 환경(G.711, Opus 등)에서의 샘플레이트 변환, AEC(음향 에코 억제), 노이즈 제거 등 텔레포니 환경에 특화된 오디오 전처리를 수행합니다.

음성 대화 인터랙션 및 상태 관리(Dialogue Management) 고도화

1. VAD(Voice Activity Detection) 및 엔드포인팅 기술을 활용하여 정교한 턴테이킹(Turn-taking) 및 사용자의 중간 개입(Barge-in) 프로세스를 처리합니다.
2. 복잡한 대화 맥락 속에서 안정적인 다이얼로그 상태 관리와 화자 분리(Diarization), 구두점 복원을 통해 대화의 흐름을 유지합니다.

LLM 최적화, 서빙 및 인텔리전스 확장

1. SaaS/AI 도구 연동을 위한 Python 기반의 툴 호출(Tool Calling) 백엔드를 구성하고, 신뢰도 높은 RAG(Retrieval-Augmented Generation) 시스템을 구축합니다.
2. vLLM, SGLang, llama.cpp 등을 활용하여 LLM 서빙 레이턴시를 최적화하며, 대화 목적에 맞는 LoRA 파인튜닝을 수행합니다.

STT/TTS 모델 커스터마이징 및 텍스트 정문화(ITN)

1. 실시간 스트리밍 STT/TTS 모델을 도입하고 레이턴시를 최소화하며, 숫자나 단위 등을 자연스럽게 처리하는 ITN(Inverse Text Normalization) 모델을 적용합니다.
2. 합성 음성의 화자 일관성, 운율(Prosody), 명료성(Intelligibility)을 개선하기 위한 음성 데이터셋 구축 및 학습을 주도합니다.

1. 실시간 음성 분할 경험 (VAD)
2. SIP 연동 경험
3. Asterisk 경험
4. STT 모델 경험
5. TTS 모델 경험
6. LLM LoRA 파인튜닝 경험
7. LLM 서빙 및 커스터마이징 경험 (vLLM, SGLang, llama.cpp)
8. 음성 합성 데이터 경험 (화자 일관성, prosody, intelligibility 등)
9. ITN 경험
10. 툴 호출 도구 백엔드 구성 경험 (Python)
11. RAG 구축 경험

1. 스트리밍 STT/TTS 및 종단 레이턴시 최적화 경험
2. 턴테이킹 / 엔드포인팅 / 바지인(barge-in) 처리 경험
3. 텔레포니 오디오 처리 경험 (8kHz, G.711 μ-law/a-law, Opus, 샘플레이트 변환, AEC·노이즈 억제)
4. 다이얼로그 상태관리 경험
5. 화자 분리(diarization), 구두점 복원 경험