ActFovea — 시각·행동 일관성으로 로봇 VLA를 실행 중 보호하기

1. 한줄 요약

ActFovea는 로봇 VLA 정책을 다시 학습시키지 않고도, 카메라 관측·로봇 상태·최근 행동 사이의 시간적 일관성을 실행 중 점검해 복구하거나 안전하게 멈추게 하는 보호 계층입니다.

2. 왜 등장했는가 (Background)

시각언어행동 정책은 조작 작업을 수행하지만, 화면 위 가림·관측 지연·행동 드리프트처럼 실행 시점의 교란이 생기면 시각 정보와 실제 움직임의 정렬이 깨질 수 있습니다. 이때 모델의 원래 성공률만 보는 평가는 위험한 실패가 언제 감지되고 어떻게 중단되는지 설명하지 못합니다. 재학습이 어려운 현장 시스템에는 정책 바깥에서 작동하는 런타임 안전 장치가 필요합니다.

3. 핵심 아이디어

ActFovea는 로봇 운동학, 고유수용감각 상태, 최근 행동으로 접촉이 중요한 영역과 예상 이동 경로를 포함하는 행동 조건부 시각 초점을 만듭니다. 이어 시각 움직임과 관측의 최신성이 상태·행동 전이와 맞는지 검사합니다. 복구 가능한 교란은 후보 관측과 행동 묶음을 검증한 뒤 수용하고, 복구가 불가능하면 제한된 safe-failure로 전환합니다.

상태·최근 행동 → 행동 조건부 시각 영역 구성
→ 시각/상태/행동 일관성 검사
→ 복구 후보 검증 → 통과: 실행 / 실패: 안전 정지

4. Model Architecture

이 방법은 기존 VLA 내부를 수정하지 않는 plug-and-play 보호 프레임워크로 제시됩니다. 입력은 시각 관측과 로봇의 운동학·고유수용감각·최근 행동이고, 출력은 원래 정책의 행동 묶음을 그대로 실행할지 복구 후보를 선택할지 또는 안전 실패할지에 대한 게이트입니다. 초록에는 별도의 학습 모델 구조나 계산량 세부값이 없습니다.

5. Training & Data

ActFovea의 장점은 underlying VLA를 재학습하거나 수정하지 않는다는 점입니다. 초록에서 확인되는 평가는 π0를 대상으로 여러 LIBERO 제품군의 폐루프 환경에서 수행되며, 국소 시각 오버레이·행동 드리프트·시각 지연·고정 관측 재생을 교란으로 사용합니다. 교란 생성 규모와 세부 실험 프로토콜은 초록에 공개되어 있지 않습니다.

6. Result

여러 LIBERO 제품군의 폐루프 평가에서 국소 시각 오버레이 상황의 성공률을 49.3%에서 90.3%로 높였고, 정상 조건 성능은 유지했다고 보고합니다. 이는 깨끗한 성능과의 격차 중 93.7%를 줄인 수치입니다. 행동 드리프트와 시각 지연에서는 각각 7.0, 9.8 퍼센트포인트 향상됐으며, 고정 관측 재생에서는 모든 시험에서 적시에 안전 실패를 실행했습니다.

7. 한국 독자 적용 사례

국내 제조 로봇이나 물류 피킹 시스템에서 카메라 가림과 통신 지연을 감지하는 독립 안전 계층으로 시험할 수 있습니다. VLA 모델을 바꾸기 어려운 기업도 접촉 부위와 이동 경로를 확인한 뒤 위험하면 행동 묶음을 실행하지 않는 정책을 추가할 수 있습니다. 실제 산업 인증에서는 LIBERO 결과를 그대로 현장 안전성으로 해석하지 말고 설비별 시험을 해야 합니다.

8. 한계 + 후속 영향

초록에 제시된 결과는 시뮬레이션 성격의 LIBERO 평가에 기반하며, 실제 로봇·다양한 센서 고장·예상 밖 접촉에 대한 일반화는 확인되지 않았습니다. 안전 실패는 위험을 줄이지만 작업 중단 비용과 복구 지연을 만들 수 있습니다. 후속 연구는 현장 데이터, 오탐·미탐 비용, 지연·전력 오버헤드, 안전 인증 절차를 함께 평가해야 합니다.