Physical AI 엔지니어

두핸즈는 물류 포장 자동화(Packaging Automation)를 목표로, 싱글암 및 양팔 로봇에 적용 가능한 Physical AI 모델과 Robot Action Policy를 연구·개발합니다. 본 포지션은 Hugging Face의 LeRobot 오픈소스 생태계를 기반으로, 포장 시나리오에 특화된 Vision-Action(VA) 모델과 모방학습(Imitation Learning) 기반 작업 학습 모델을 설계하고 개선하는 역할을 담당합니다.

단순 연구 데모를 넘어, 실제 물류센터 환경에서 물체 인지 → Pick → Wrapping → Box Insert → Box Push 로 이어지는 장기 시퀀스(Long-horizon Task)를 자율 수행하는 현장 적용형 Physical AI 시스템을 구현하는 것이 핵심 과제입니다.

로봇 행동 모델(Action Policy) 설계 및 학습

1. 포장 5단계 시나리오에 특화된 Robot Action Policy 설계 및 학습
2. 단계별 스킬 정책(인지 · Pick · Wrapping · Insert · Push)을 정의하고, 하나의 연속 작업 흐름으로 연결하는 오케스트레이션 구조 설계
3. Imitation Learning, Behavior Cloning, Diffusion Policy, ACT(Action Chunking with Transformers) 기반 싱글암/양팔 로봇 행동 모델 설계 및 학습
4. Pi0Policy 기반 자연어 행동 모델(VLA 정책) 설계 및 학습

멀티모달 데이터 파이프라인 구축 및 자산화

1. LeRobot 프레임워크 기반 시연 데이터 수집 · 정제 · 라벨링 및 LeRobotDataset 포맷의 멀티모달 데이터셋 구축
2. 데이터 품질 관리와 재현성 확보를 KPI로 하는 데이터 자산화 파이프라인 개발
3. RGB-D, 멀티뷰 카메라(전면 · 손목 · 상단), 로봇 관절 상태, 엔드이펙터 상태, 작업 결과 등 멀티모달 데이터 기반 정책 학습
4. LeRobot 외 타 오픈소스 프레임워크 기반 경험도 동등하게 인정

시스템 구현 및 엔지니어링

1. 학습된 정책의 Inference 모듈 개발
2. Perception(물체 인지 · 파지점 추정), Sequencing, Control 시스템과의 안정적 연동 및 최적화

성능 평가 및 Sim-to-Real 개선

1. 시뮬레이션 및 실제 로봇 환경에서 단계별 progress score 기반 성능 평가
2. 실환경 적용 시 발생하는 실패 케이스 분석 및 Sim-to-Real 격차 개선

크로스오버 협업

1. 로봇 SW · 제어 · 하드웨어 엔지니어 및 PM과의 긴밀한 협업을 통해 현장 적용 가능한 수준의 Physical AI 시스템 완성

학력

1. 로봇공학, 컴퓨터공학, 인공지능 등 관련 전공 석사 학위 이상
2. 학사 학위 소지자도 LeRobot 프레임워크 활용 및 실로봇 조작 학습 분야에서 뚜렷한 프로젝트 실적 또는 포트폴리오가 있다면 지원 가능

경력

1. 관련 분야 연구 및 개발 경력 2년 이상

핵심 역량

1. Python 및 PyTorch 기반 머신러닝/딥러닝 모델 개발 및 최적화 경험
2. Imitation Learning, Behavior Cloning, Diffusion Policy, Transformer 기반 시퀀스 모델 중 하나 이상에 대한 깊은 이해 또는 직접 구현 경험
3. 로봇 조작(Manipulation), 로봇 러닝, 멀티모달 데이터 학습, 시뮬레이션 기반 학습 중 하나 이상의 프로젝트를 주도적으로 수행한 경험
4. 실제 로봇 또는 시뮬레이션 환경에서 모델 성능을 정량적으로 평가하고 한계를 분석하여 개선한 경험
5. 로봇 SW · 제어 · 하드웨어 엔지니어 및 PM 등 다양한 직군과 협업하여 현장 문제를 해결한 경험

기술 스택

1. AI & 딥러닝: Python, PyTorch, LeRobot, Hugging Face
2. 로보틱스 & 시뮬레이션: ROS 2, NVIDIA Isaac Sim, Isaac Lab, MuJoCo
3. 컴퓨터 비전: OpenCV, Open3D
4. MLOps & 배포: Docker, Git, WandB, TensorRT, ONNX

1. Hugging Face LeRobot 생태계(데이터셋 기록, ACT/Diffusion Policy 학습, Hub 활용, 실로봇 배포) 실사용 경험 — 본 포지션의 핵심 우대 요건
2. SO-100/SO-101, ALOHA, Koch 등 LeRobot 지원 하드웨어로 pick-and-place 또는 멀티스텝 조작 정책을 직접 학습·배포한 경험
3. 피스피킹, 패킹, 팔레타이징/디팔레타이징 등 물류 로봇 태스크 경험, 또는 박스 인서트·컨베이어 연계 작업 경험
4. 천·필름·포장재 등 변형 물체 조작을 데이터 기반으로 다룬 경험 — 포장지 감기 단계와 직결
5. 장기 시퀀스 작업을 단계별 스킬로 분절하고 연결한 경험, 또는 멀티스텝 조작 정책 설계 경험
6. Isaac Sim/Lab, MuJoCo 등 물리 시뮬레이터 활용 및 Domain Randomization, Sim-to-Real 개선 경험
7. RGB-D, 2D/3D 비전, Pose Estimation, Grasp Planning 경험
8. 대규모 로봇 시연 데이터셋 구축·정제·품질 관리 파이프라인 개발 경험

[채용 전형]

•서류 전형 - 1차 인터뷰 - 레퍼런스 체크- 2차 인터뷰 - 처우 협의 - 최종 합격

* 채용 절차는 포지션에 따라 생략/추가될 수 있습니다.

* 모든 면접은 두핸즈 성수오피스에서의 대면 진행을 원칙으로 합니다.

• 입사 지원 서류에 허위 사실이 발견될 경우, 채용 확정 이후라도 채용이 취소될 수 있습니다.

우리는 오래 함께할 동료를 찾고 있어요. 함께 두핸즈를 만들어갈 두핸더를 기다립니다.💛