로봇에게 세상을 가르치는 선생님

WoRV Robot Foundation Model Engineer 인터뷰 · 2026년 11월 13일

로봇은 어떻게 주변 환경을 이해하고, 행동을 결정할까요?
사람이 새로운 일을 배울 때 설명을 듣고, 직접 해보고, 실수를 고쳐가며 익숙해지는 것처럼 로봇도 새로운 작업을 수행하려면 학습이 필요합니다. 이 과정에서는 어떤 데이터를 활용해 무엇을 가르칠지 결정하고, 학습한 내용을 실제로 잘 수행하는지 평가하는 것이 중요합니다.

삼우님은 RFM Engineer의 업무를 '선생님'에 비유했습니다. 로봇을 만들고 싶다는 꿈에서 출발해, 이제는 로봇에게 새로운 행동을 가르치고 있는 삼우님의 이야기를 들어봤습니다.

Q. 안녕하세요, 삼우님. 먼저 자기소개 부탁드려요.

[성삼우] 안녕하세요. WoRV에서 Robot Foundation Model Engineer로 일하고 있는 성삼우입니다.

이전에는 로봇의 위치와 자세를 추정하는 기술을 연구했어요. 학사와 석사 과정에서 관련 분야를 공부했고, 졸업 후에는 물류센터 등에서 사용하는 자율주행 로봇을 개발하는 회사에서 약 4년간 근무했어요. 당시에는 로봇이 자신의 위치를 파악하고 목표 지점까지 이동할 수 있도록 하는 기술을 주로 다루었고, 지금은 그 경험을 바탕으로 WoRV에서 Robot Foundation Model을 실제 로봇 프로젝트에 활용하는 일을 하고 있어요.

Q. Robot Foundation Model에 관심을 갖고 WoRV에 합류하신 계기가 궁금해요.

[성삼우] 원래도 로봇에 관심이 있었는데, 영화 아이언맨 3를 보면서 직접 로봇을 만들어 보고 싶다는 생각을 하게 됐어요. 영화에서 사람이 조종하지 않아도 스스로 움직이는 슈트가 나오거든요.

당시에는 로봇에 대해 잘 몰랐지만, 로봇이라면 주변 환경을 이해하고 사람과 대화할 수 있어야 한다고 생각했어요. 그래서 AI를 공부하기 위해 유학을 갔습니다. 당시에는 AI를 실제 로봇에 적용하기에 기술적인 한계가 많았어요. 그래서 우선 로봇의 위치를 파악하고 이동 경로를 계획하는 등 기존의 로봇 제어 기술을 연구했어요. 이후 AI 기술이 발전하면서 하나의 모델로 여러 기능을 수행할 수 있게 됐고, 제가 처음 꿈꿨던 로봇을 구현할 가능성도 커졌다고 생각했어요. 그렇게 Robot Foundation Model에 다시 관심을 갖게 됐죠.

WoRV에 합류한 이유도 연구 주제 때문이었어요. 이직을 준비하면서 여러 회사를 알아봤는데, 당시 다른 회사들은 기존 모듈 기반 시스템을 개발하거나 향후 AI 모델을 도입할 계획을 세우고 있었어요. 반면 WoRV는 이미 Robot Foundation Model을 연구하고 있었거든요. 제가 관심 있는 분야를 직접 경험할 수 있다는 점이 가장 매력적이었어요.

Q. 지금 WoRV에서는 어떤 일을 하고 계신가요?

[성삼우] 쉽게 생각하면 선생님과 역할이 비슷해요.

수능을 준비하는 학생을 가르친다고 생각해 볼게요. 선생님은 어떤 교재를 사용할지, 어떤 방법으로 공부해야 효과적일지 고민하잖아요. 시험을 본 뒤에는 학생이 어떤 문제를 잘 풀고, 어떤 부분이 부족한지도 확인하고요.

제가 하는 일도 비슷해요. 로봇이 수행해야 할 작업에 맞춰 필요한 데이터를 고민하고, 그 데이터를 활용해 AI 모델을 학습시켜요. 이후 모델이 실제로 작업을 얼마나 잘 수행하는지 평가하고, 부족한 부분을 찾아 다음 학습 방법을 고민하고 있어요.

Q. 연구를 하면서 어려운 점은 없으신가요? 원하는 결과가 나오지 않을 때는 어떻게 해결하시나요?

[성삼우] AI 모델을 학습시켰다고 해서 항상 원하는 결과가 나오는 건 아니에요. 로봇이 예상과 다른 행동을 보일 때는 확인해야 할 부분이 꽤 많아요.

먼저 학습에 사용한 데이터가 적절했는지 살펴봐요. 필요한 데이터를 충분히 모았다고 생각했는데, 실제로는 의도와 다른 데이터가 수집됐을 수도 있거든요. 학습할 때와 실제 로봇이 동작할 때의 차이도 확인해야 해요. 모델을 학습시킬 때는 미리 수집한 데이터를 사용하지만, 실제 로봇은 동작하는 순간 들어오는 정보를 활용하거든요. 데이터의 특성을 제대로 이해하지 못하거나 실제 동작 과정에서 적절하게 활용하지 못하면 예상과 다른 결과가 나올 수 있어요.

모델 자체의 한계도 고려해야 하고요. 덧셈만 할 수 있는 학생에게 곱셈 문제를 풀라고 하면 어렵겠죠. 모델도 현재 수행할 수 있는 수준보다 어려운 작업을 요구받고 있을 수 있어요. 그래서 문제가 생기면 데이터가 적절했는지, 학습과 실제 동작 과정에서 놓친 부분은 없는지, 모델 자체의 한계는 무엇인지 살펴봐요. 그리고 개선할 부분에 대해 가설을 세우고 실험하면서 확인합니다.

물론 어려운 문제를 혼자 해결하는 건 아니에요. 저도 포기하지 않고 꾸준히 진행했지만, 프로젝트에서 어려운 문제들은 주변 동료분들이 많이 해결해 주셨어요. 그래서 함께 일하는 동료들에게 감사한 마음이 커요. 특히 어려운 상황에서도 해야 할 일을 계속하고, 고객과 소통하면서 프로젝트를 마무리해 나가는 동료들의 모습을 보면서 많이 배웠어요.

Q. 실제 로봇 프로젝트에서는 다른 팀들과 어떻게 협업하시나요?

[성삼우] RFM 엔지니어는 데이터 수집부터 모델 학습, 실제 로봇의 동작까지 전체 과정을 이해하고 있어야 해요.

먼저 WoRV 모델 연구팀에서는 PonderPounce¹와 같은 AI 모델을 연구하고 개발해요. 저는 이렇게 개발된 기술을 실제 프로젝트에서 활용하는 역할을 맡고 있어요. 로봇이 수행해야 하는 작업에 따라 필요한 데이터와 적합한 모델 구성이 달라질 수 있어서, 프로젝트에 맞는 방법을 찾아 직접 실험합니다.

동시에 Data팀과도 협업해요. Data팀에서 프로젝트에 필요한 데이터를 수집하고 학습에 적합하도록 준비해 주시면 그 데이터를 활용해 AI 모델을 학습시키고, 실제로 작업을 얼마나 잘 수행하는지 평가해요. 다음으로는 로봇 구동을 담당하는 Control팀과 협업해요. 모델이 어떤 행동을 출력하는지 공유하고, 그 결과를 실제 로봇의 움직임에 어떻게 활용할지 함께 논의하죠. 필요한 코드를 준비하거나 데이터를 어떤 형태로 주고받을지도 협의하고요.

여러 팀과 함께 일하다 보니 서로 정확하게 이해하고 소통하는 게 중요하다고 생각해요. 상대방이 어떤 의도로 이야기했는지 생각해 보고, 제가 이해한 내용이 맞는지도 직접 확인하려고 해요. 문서로 소통하는 것도 필요하지만, 저는 직접 대화하는 방식을 조금 더 선호해요. 궁금한 부분을 바로 질문하고 서로의 생각을 확인할 수 있으니까요.

¹ PonderPounce는 WoRV 연구팀이 개발한 로봇 파운데이션 모델로, RoboMME 벤치마크에서 60.83%의 성능을 기록했습니다.

Q. WoRV에서 일하면서 가장 만족하는 부분은 무엇인가요?

[성삼우] 무엇보다 관심 있는 연구를 실제 프로젝트에서 경험할 수 있다는 점이 좋아요. 아직 Physical AI 분야에는 해결해야 할 문제가 많고, 새로운 방법을 직접 시도하고 검증해야 할 일도 많거든요.

연구하는 방식도 저와 잘 맞아요. 저는 주도적으로 일하는 편인데, 제가 생각한 접근 방식을 동료들과 함께 검토하고 더 나은 방향을 찾아갈 수 있어요. 어떤 방법을 시도해 보고 싶을 때 동료들과 의견을 나누고 함께 고민할 수 있고요. 서로의 제안을 발전시킬 수 있는 분들이 있어서 즐겁게 일하고 있어요.

실제 데이터를 활용해 모델을 학습시킬 기회가 있다는 점도 좋아요. WoRV에는 데이터를 직접 수집할 수 있는 프로젝트도 있고, 이미 확보한 데이터도 있어요. 그래서 새로운 방법을 생각했을 때 직접 실험하고 결과를 확인해 볼 수 있죠. Robot Foundation Model 분야에서 경험을 쌓고 싶은 분들에게도 이런 환경이 도움이 될 거라고 생각해요.

Q. WoRV의 RFM Engineer 포지션에는 어떤 경험과 역량을 갖춘 분이 잘 맞을까요?

[성삼우] 우선 새로운 지식을 탐구하고, 직접 실험하는 걸 좋아하는 분이면 좋겠어요. 아직 정답이 없는 문제가 많기 때문에 스스로 방법을 찾아보려는 태도가 중요하거든요.

기술적으로는 World Action Model이나 Vision-Language-Action Model을 다뤄본 경험이 있으면 좋아요. 다만 어떤 모델을 사용해 봤는지보다 왜 그 모델을 선택했고, 어떤 결과를 얻었는지 설명할 수 있는 분이면 더 좋겠어요. 모델을 적용했을 때 잘되는 부분과 부족한 부분을 분석하고, 개선을 위한 가설을 세워 직접 실험해 본 경험이 있다면 좋을 것 같아요.

자신의 생각과 진행 상황을 동료들에게 적극적으로 공유하고, 서로 필요한 부분을 함께 논의할 수 있는 분이면 좋겠어요. 특히 어려운 문제가 생겨도 쉽게 포기하지 않고, 맡은 일을 끝까지 해내려는 책임감이 있는 분과 함께 일하고 싶어요.

Q. 마지막으로 WoRV의 Robot Foundation Model Engineer 포지션에 관심 있는 분들께 한마디 부탁드려요.

[성삼우] Robot Foundation Model 분야에서 직접 경험을 쌓고 싶은 분이라면 환영합니다.
팀에 합류하면 저와 함께 실제 프로젝트에 참여하면서 다양한 실험을 진행하게 될 거예요. 처음에는 익숙하지 않은 부분도 있겠지만, 필요한 지식과 경험을 서로 공유하면서 함께 배워 나가면 좋겠어요. 새로운 기술을 직접 시도하고 동료들과 문제를 해결하는 과정이 즐거운 분이라면 WoRV에서 재미있게 일하실 수 있을 거예요.

로봇에게 세상을 가르쳐주고 싶다면, 지원 바로가기