피지컬 AI 및 로보틱스 데이터는 시스템이 퍼셉션, 의사결정, 행동을 학습하도록 훈련하는 데 사용되는 멀티모달 데이터셋(이미지, 영상, LiDAR, 오디오, 센서 데이터)을 포함합니다. 자율주행차, 드론, 휴머노이드 로봇, 산업용 로봇, 협동 로봇(코봇), 스마트 팩토리 환경에서 운영되는 자율 이동 로봇(AMR) 등 다양한 시스템을 지원합니다.

피지컬 AI 시스템은 3D 라이다(LiDAR) 큐보이드 어노테이션, 센서 퓨전 데이터, 에고센트릭 데이터셋, 모션 캡처(MOCAP) 데이터 등 다양한 데이터 유형에 의존합니다. 이러한 데이터셋은 비전-언어-액션(VLA) 모델과 비전 AI 에이전트를 지원하기 위해 카메라, IMU(관성 측정 장치), IR 마커 및 마커리스 트래킹 시스템의 입력 데이터를 통합하는 경우가 많습니다.

로보틱스 및 엠바디드 AI 시스템은 실세계 환경에서 작동하기 때문에 맥락을 이해하고, 퍼셉션 신호를 통합하며, 센서 퓨전과 실시간 처리를 통해 안정적으로 행동을 실행하기 위한 멀티모달 데이터가 필요합니다.

궤적 수집은 내비게이션 및 제어를 위한 동작 시퀀스를 캡처하고, 텔레오퍼레이션은 인간이 원격 조작하는 행동을 기록합니다. 이 데이터셋에는 관절 위치와 속도 등 키네마틱 데이터가 포함되는 경우가 많으며, 로봇의 매니퓰레이션, 내비게이션, 실세계 상호작용 학습에 필수적입니다.

그래스프 포인트 라벨링은 로봇이 객체와 상호작용해야 하는 위치와 방법을 식별합니다. 특히 세밀한 상호작용을 수행하는 산업용 로봇, 협동 로봇(코봇), 휴머노이드 시스템의 매니퓰레이션 과제에서 핵심적인 역할을 합니다.

고품질 어노테이션 데이터는 객체 탐지, 추적, 환경 이해 등 정확한 퍼셉션을 가능하게 합니다. 이는 AMR, 드론, 협동 로봇(코봇), 스마트 팩토리 시스템과 같은 응용 분야에 필수적입니다.

모션 캡처(MOCAP)는 신체, 손, 포즈 데이터를 포함한 인간의 움직임을 기록합니다. IR 마커 기반 시스템이나 마커리스 방식으로 수집할 수 있으며, 로봇이 인간의 동작을 모방하고 엠바디드 AI 시스템에서의 상호작용을 개선할 수 있도록 지원합니다.

스마트 팩토리 환경에서 데이터는 산업용 로봇, 협동 로봇(코봇), AMR 전반에 걸친 시각 검사, 워크플로우 자동화, 로봇 상호작용을 지원합니다. 데이터 팩토리 파이프라인은 지속적인 데이터 수집, 어노테이션, 최적화를 보장합니다.

VLA 모델은 시각, 언어, 행동 데이터를 결합하여 로봇이 지시를 이해하고 과제를 수행할 수 있도록 합니다. 이미지-텍스트 쌍, 궤적 데이터, 키네마틱 신호, 상호작용 어노테이션을 포함한 멀티모달 데이터셋에 의존합니다.

엣지 AI는 디바이스에서 직접 데이터를 처리하여 더 빠른 응답 시간과 실시간 의사결정을 가능하게 합니다. 이는 저지연 운영을 위해 카메라, IMU 등 온보드 센서에 의존하는 AMR, 드론, 협동 로봇(코봇)과 같은 시스템에 특히 중요합니다.