[VLA]촉각은 왜 VLA에 넣기 어려울까? | T-Rex 촉각 반응형 로봇 최신 논문 분석
2026-08-15
조회수 260
제목: 촉각은 왜 VLA에 넣기 어려울까? | T-Rex 촉각 반응형 로봇 최신 논문 분석
질문: 로봇이 카메라로 사물을 보고 언어 명령까지 이해할 수 있는데, 왜 사람처럼 정교하게 물체를 다루려면 촉각이 필요할까요?
답변: 현재 VLA(Vision-Language-Action) 모델은 시각과 언어를 기반으로 전체 행동을 계획하는 데는 뛰어나지만, 물체가 미끄러지는 순간이나 힘의 미세한 변화처럼 빠르게 변하는 접촉 정보를 처리하는 데 한계가 있습니다. T-Rex는 이를 해결하기 위해 비교적 느린 시각·언어 기반 행동 계획과 빠른 촉각 기반 행동 보정을 분리하는 구조를 제안합니다.
Physical AI에서 촉각은 왜 단순히 센서를 하나 더 붙인다고 해결되지 않을까요?
최근 공개된 T-Rex: Tactile-Reactive Dexterous Manipulation은 시각으로 천천히 계획하고, 촉각으로 빠르게 반응하는 새로운 구조를 제안합니다.
단순히 촉각을 입력으로 추가하는 것이 아니라, 접촉 순간의 힘과 미끄러짐을 별도의 고속 경로에서 처리해 실제 조작 성능을 크게 향상시켰습니다.
이번 영상에서는 "왜 기존 VLA는 촉각을 제대로 활용하기 어려웠는지" ,"T-Rex는 어떤 구조로 이 문제를 해결했는지", "촉각 정보를 왜 별도의 Expert로 분리했는지", "실제 실험에서 얼마나 성능이 향상되었는지" 를 논문 Figure와 실험 결과를 바탕으로 쉽게 설명해드립니다.
앞으로 Physical AI가 발전할수록 '잘 보는 AI'보다 '잘 느끼는 AI'가 더 중요해질지도 모릅니다.
영상 재밌게 시청해주세요!
00:00 인트로
01:51 T-Rex의 핵심 아이디어: 느린 시각 계획과 빠른 촉각 반응을 분리한다
17:58 실험 결과: 촉각이 필요한 작업에서 무엇이 달라졌나
24:11 아웃트로
T-Rex(Tactile-Reactive Dexterous Manipulation)는 로봇이 물체를 실제로 만지는 순간 발생하는 힘, 접촉, 미끄러짐, 변형 등의 촉각 정보를 빠르게 활용하도록 설계된 모델입니다.
기존 VLA에 단순히 촉각 센서 데이터를 추가하는 방식과 달리, 약 5Hz로 전체 행동을 계획하는 액션 엑스퍼트(Action Expert)와 약 20Hz로 촉각 변화에 대응하는 택타일 엑스퍼트(Tactile Expert)를 분리해 작동시키는 것이 핵심입니다.
이를 통해 카드 빼기, 열쇠 돌리기, 치약 짜기, 얇은 종이 넘기기처럼 힘 조절이 중요한 작업에서 높은 성능을 보였으며, 12개 촉각 중심 작업에서 평균 성공률 65%를 기록했습니다. 특히 기존 VLA에 촉각을 단순 추가한 방식의 평균 성공률이 6%에 그쳤다는 결과는 중요한 의미를 갖습니다.
결국 미래의 로봇 파운데이션 모델은 단순히 보고 이해하는 AI를 넘어, 사람처럼 접촉하는 순간 느끼고 즉각 행동을 수정하는 피지컬 AI로 발전해야 한다는 점을 보여주는 연구입니다.
제목: 촉각은 왜 VLA에 넣기 어려울까? | T-Rex 촉각 반응형 로봇 최신 논문 분석
질문: 로봇이 카메라로 사물을 보고 언어 명령까지 이해할 수 있는데, 왜 사람처럼 정교하게 물체를 다루려면 촉각이 필요할까요?
답변: 현재 VLA(Vision-Language-Action) 모델은 시각과 언어를 기반으로 전체 행동을 계획하는 데는 뛰어나지만, 물체가 미끄러지는 순간이나 힘의 미세한 변화처럼 빠르게 변하는 접촉 정보를 처리하는 데 한계가 있습니다. T-Rex는 이를 해결하기 위해 비교적 느린 시각·언어 기반 행동 계획과 빠른 촉각 기반 행동 보정을 분리하는 구조를 제안합니다.
Physical AI에서 촉각은 왜 단순히 센서를 하나 더 붙인다고 해결되지 않을까요?
최근 공개된 T-Rex: Tactile-Reactive Dexterous Manipulation은 시각으로 천천히 계획하고, 촉각으로 빠르게 반응하는 새로운 구조를 제안합니다.
단순히 촉각을 입력으로 추가하는 것이 아니라, 접촉 순간의 힘과 미끄러짐을 별도의 고속 경로에서 처리해 실제 조작 성능을 크게 향상시켰습니다.
이번 영상에서는 "왜 기존 VLA는 촉각을 제대로 활용하기 어려웠는지" ,"T-Rex는 어떤 구조로 이 문제를 해결했는지", "촉각 정보를 왜 별도의 Expert로 분리했는지", "실제 실험에서 얼마나 성능이 향상되었는지" 를 논문 Figure와 실험 결과를 바탕으로 쉽게 설명해드립니다.
앞으로 Physical AI가 발전할수록 '잘 보는 AI'보다 '잘 느끼는 AI'가 더 중요해질지도 모릅니다.
영상 재밌게 시청해주세요!
00:00 인트로
01:51 T-Rex의 핵심 아이디어: 느린 시각 계획과 빠른 촉각 반응을 분리한다
17:58 실험 결과: 촉각이 필요한 작업에서 무엇이 달라졌나
24:11 아웃트로
기존 VLA에 단순히 촉각 센서 데이터를 추가하는 방식과 달리, 약 5Hz로 전체 행동을 계획하는 액션 엑스퍼트(Action Expert)와 약 20Hz로 촉각 변화에 대응하는 택타일 엑스퍼트(Tactile Expert)를 분리해 작동시키는 것이 핵심입니다.
이를 통해 카드 빼기, 열쇠 돌리기, 치약 짜기, 얇은 종이 넘기기처럼 힘 조절이 중요한 작업에서 높은 성능을 보였으며, 12개 촉각 중심 작업에서 평균 성공률 65%를 기록했습니다. 특히 기존 VLA에 촉각을 단순 추가한 방식의 평균 성공률이 6%에 그쳤다는 결과는 중요한 의미를 갖습니다.
결국 미래의 로봇 파운데이션 모델은 단순히 보고 이해하는 AI를 넘어, 사람처럼 접촉하는 순간 느끼고 즉각 행동을 수정하는 피지컬 AI로 발전해야 한다는 점을 보여주는 연구입니다.
#VLA #피지컬AI #촉각센서 #로봇기술 #로보타운