PAI, 말로 지시하는 양팔 쓰레기 수거 로봇
"청소해줘"라고 입력하면 SO-101 양팔이 ACT 정책으로 책상 위 초록 조각을 쓰레받기에 쓸어 담는 데모입니다. Vision, Language, Action 세 프로세스를 하나의 파이프라인으로 묶었습니다.
내 역할: Language 파트(대화와 실행 트리거), LeRobot 연동 어댑터, 세 프로세스의 통합과 실행 스크립트를 맡았고, ACT 학습용 텔레옵 데이터 수집에 팀과 함께 참여했습니다. Vision 파트는 팀원의 작업입니다.
구조
설계 판단
명령 한 번에 정해진 시간만 움직이게 했다
LeRobot 롤아웃은 시작하면 끝까지 계속 돕니다. 롤아웃 코드를 고치는 대신 get_action을 감싸는 어댑터를 만들었습니다. 실행 창 밖에서는 정책 출력 대신 처음 자세를 계속 명령해 팔을 고정하고, 트리거를 받으면 2초 대기 후 정해진 시간만 정책을 돌린 뒤 돌아옵니다. "멈춰"는 즉시 멈추고 큐를 비웁니다.
문제와 해결
같은 명령인데 1회차와 2회차 동작이 달랐다
ACT의 액션 청크 큐와 temporal ensemble 버퍼가 대기 중에 멈춰 있다가, 다음 트리거 때 남은 동작부터 재생한 것이 원인이었습니다. 트리거마다 정책 상태를 리셋하게 했고, 명령을 받는 스레드와 제어 루프 사이에는 락 대신 플래그 하나(받는 쪽이 세우고 제어 루프가 소비)로 넘겼습니다.
GPU 경로로 바꾸자 팔이 위험할 만큼 빨라졌다
--fps는 상한일 뿐인데, 이전 CPU 경로가 25Hz를 채우지 못해 우연히 속도 제한 역할을 하고 있었습니다. 기본 제어 주기를 20Hz로 낮췄습니다.
실기 없이 검증할 방법이 필요했다
Language 유닛 테스트 113개와 어댑터 테스트 24개, 모두 137개를 만들었습니다. 실행 의도 4종은 트리거되고 일반 대화 4종은 막히는지, 5557 채널과 정지가 동작하는지를 팔 없이 확인하는 dry-run 하니스도 만들었습니다.
한계
- ACT는 언어 조건이 없는 정책이라 말로 동작을 조종하는 것은 아닙니다. LLM은 대화에 답하고, 실행은 키워드 게이트가 시작합니다.
- 리셋은 소프트웨어 잔여 상태만 없앱니다. 팔 자세나 조각 배치가 다르면 동작은 여전히 달라집니다.
- 성공률은 따로 측정하지 않았습니다.
사용 기술
Jetson AGX Thor (aarch64, CUDA 13), LeRobot v0.5.2, ACT, ZMQ, WebSocket, Docker, udev. 사용한 정책과 데이터셋은 Hugging Face에 있습니다.