Dogecoin Fanboy, Web3
Joined January 2022
- Tweets15.6K
- Following2.9K
- Followers2.2K
- Likes20.4K
Pinned Tweet
<AI시대에 왜 빨래를 내가 개야함?>
AI한테 어려운 질문을 하면 답을 엄청 길게 해줌.
코드도 짜주고 글도 써주고 내가 이해 못 하는 내용도 설명해줌.
근데 의자에 쌓인 빨래 좀 개달라고 하면 아무것도 못 함.
빨래 개는 방법은 알려줄 수 있음.
그 방법을 실행해야 하는 사람이 여전히 나라는 게 문제임 ㅋㅋㅋㅋ
@axisrobotics 브리프에서 눈에 들어온 것도 이 부분이었음.
언어 모델은 인터넷의 글을 읽으면서 배우지만, 로봇이 물체를 잡고 옮기는 법을 배우려면 실제 행동에 관한 데이터가 필요하다는 것임.
설명을 잘하는 것과 몸을 움직여 일을 해내는 건 필요한 학습 데이터부터 다른 셈임.
Axis는 사람들이 브라우저에서 가상 로봇을 조작하도록 하고, 그 과정에서 나온 행동 데이터를 모으고 있음.
사람이 과제를 처음부터 수행한 시범 데이터뿐 아니라, 모델이 과제를 수행하다가 사람이 개입해 수정한 데이터도 수집하는 구조라고 함.
어떻게 해야 하는지 보여주고, 잘못하는 부분도 고쳐주는 것임.
이런 설명을 보니까 Physical AI가 조금 더 와닿았음.
내가 기다리는 미래는 AI가 빨래 잘 개는 법을 10단계로 설명해주는 미래가 아님.
설명 읽고 있는 동안 빨래가 개어져 있는 미래임…
일단 의자부터 되찾고 싶음 ㅋㅋㅋㅋ
[ Physical AI에서 중요한 건 데이터의 양일까, 학습 방식일까? ]
@axisrobotics 의 기술 자료를 살펴보면서 흥미로웠던 부분이 있습니다.
Axis는 단순히 로봇 학습용 데이터를 대량으로 수집하는 프로젝트에서 벗어나, 로봇이 스스로 성능을 개선할 수 있는 데이터 학습 구조를 구축하고 있습니다.
여기서 주목할 기술이 DAgger(Dataset Aggregation) 입니다.
일반적인 로봇 학습에는 Behavior Cloning이라는 모방 학습 방식이 사용됩니다.
사람이 로봇을 조작하는 모습을 데이터로 기록하고, AI가 동일한 행동을 재현하도록 학습시키는 방식입니다.
문제는 로봇이 학습 과정에서 경험하지 못한 상황에 놓였을 때 발생합니다.
예를 들어 로봇팔이 컵을 집는 방법을 배웠다고 해도, 컵의 위치가 조금 달라지거나 집는 과정에서 오차가 발생하면 이후 동작까지 실패할 수 있습니다.
이를 Covariate Shift라고 하는데, 쉽게 말하면 학습할 때 경험한 상황과 실제 실행 과정에서 마주치는 상황 사이에 차이가 발생하는 문제입니다.
Axis V2는 이 문제를 해결하기 위해 Human-Gated DAgger(HG-DAgger)를 도입했습니다.
작동 방식은 다음과 같습니다.
AI가 먼저 로봇을 제어하며 작업을 수행합니다.
AI가 실수하거나 어려움을 겪으면 사람이 개입합니다.
사람이 올바른 동작을 알려주고 제어권을 다시 AI에 넘깁니다.
수정된 행동 데이터를 기존 데이터와 결합해 모델을 재학습합니다.
중요한 건 이 과정이 한 번으로 끝나지 않는다는 점입니다.
모델을 학습시키고 끝내는 것이 아니라, 새롭게 학습된 모델이 다시 작업을 수행하면서 부족한 부분을 찾아내고 그 부분에 필요한 데이터를 추가로 확보합니다.
이런 구조를 Closed-loop Learning이라고 합니다.
Axis가 추구하는 방향도 결국 여기에 있다고 생각합니다.
데이터를 100만 개, 1,000만 개 모으는 것도 중요하지만, 실제 모델의 성능을 개선하는 데 어떤 데이터가 필요한지 파악하고 효율적으로 학습시키는 것이 더 중요해질 수 있습니다.
최근 Axis가 공개한 연구 결과도 흥미롭습니다.
시뮬레이션 데이터로 학습한 로봇 모델에 실제 환경에서 얻은 소량의 실행 데이터를 추가해 재학습했을 때, 특정 실험에서 실제 로봇의 작업 성공률이 약 22%에서 52%로 상승했다고 합니다.
또한 모든 데이터를 무조건 사용하는 것보다 Proxy Model을 통해 학습 가치와 다양성을 평가하고, 유용한 Trajectory를 선별하는 방식도 연구하고 있습니다.
여기에 개별 작업을 높은 성공률로 수행하는 Expert Policy를 학습시키고, 여러 Expert를 연결해 복잡한 작업까지 확장하려는 시도도 진행 중입니다.
결국 Axis가 구축하려는 것은 단순한 로봇 데이터 저장소가 아닙니다.
데이터 수집 → 모델 학습 → 오류 발견 → 데이터 보완 → 재학습
이 과정이 반복되면서 로봇의 성능을 지속적으로 개선하는 인프라에 가깝습니다.
물론 개별 실험에서 확인된 성능 개선이 다양한 로봇과 실제 산업 환경에서도 동일하게 나타날지는 추가적인 검증이 필요합니다.
다만 앞으로 Physical AI 시장에서는 누가 더 많은 데이터를 확보했는지만큼, 누가 그 데이터를 효율적으로 활용해 로봇의 실제 성능을 끌어올릴 수 있는지가 중요한 경쟁력이 될 것 같습니다.
개인적으로 Axis를 단순한 데이터 수집 프로젝트가 아니라 로봇 학습 인프라 프로젝트로 봐야 하는 이유도 여기에 있다고 생각합니다.
