고객사 개요
고객사는 인간과 AI의 상호작용 연구를 하는 미국 소재 연구소입니다. 이 회사는 인간의 행동처럼 보이고 느껴지는 방식으로 디지털 플랫폼을 활용할 수 있는 AI 시스템 구축을 목표로 하며 이를 위해 현실적인 사용자 상호작용 데이터를 대량으로 필요로 했습니다.
비즈니스 과제
고객은 여러 애플리케이션에서 사람의 활동을 시뮬레이션하고, 이러한 상호작용을 대형언어모델(LLM) 개발을 위한 학습 데이터로 캡처해 달라고 요청했습니다.
- 다양한 스크립트에 따라 가능한 한 많은 다양한 작업을 생성할 수 있도록 프레임워크와 여러 스크립트를 구축해야 했습니다.
- 라벨링 전문가들이 하루 6~8시간 동안 화면 녹화를 하며 앱의 실제 사용을 모방했습니다.
- 상호작용별로 약 2~3초의 리듬을 유지하며, 사람들이 앱을 사용하는 방식과 자연스러운 상호작용 속도를 모방했습니다.
- 라벨링 전문가들이 프로젝트 매니저와 일대일로 소통하며, 마치 AI 모델과 상호작용하는 것처럼 작업을 진행했습니다.
- 엄격한 품질 관리(QA) 기준을 적용했으며, 정확성, 완전성, 효율성, 품질, 설정, 키보드 및 마우스 조작 등이 평가 대상이었습니다.
- 본 프로젝트는 다양한 스크립트와 행동 양식을 우선시하며, 허용 오차율은 최대 10%입니다.
프로젝트 정보
도메인: Artificial Intelligence
솔루션
- 요구사항: 앱 범위, 주요 사용자 행동(게시, 쇼핑, 신청, 편집) 및 현실적인 사용자 행동과 데이터셋 양의 균형 방법에 대해 고객과 조율하였습니다.
- 팀 구성: 총 45명 배치 – 프로젝트 매니저 2명, 작업 설계자 3명, 품질 관리 담당 10명, 일일 앱 상호작용 녹화를 담당하는 라벨링 전문가 30명입니다. .
- 교육: 라벨링 전문가들이 소셜, 전자상거래, 콘텐츠, 전문 플랫폼 전반에서 자연스러운 앱 사용을 모사할 수 있도록 훈련했습니다.
- 실행: 스크립트에 따라 다양한 앱 상호작용을 유도했습니다. 라벨링 전문가들은 하루 6~8시간씩 실제 행동(스크롤, 게시, 좋아요 등)을 흉내 내며 녹화했으며, 이 작업으로 주당 수천 분에 달하는 영상이 98% 이상의 정확도로 생성되었습니다.
- 딜리버리: 납품: 영상 녹화, 작업 로그, 품질관리 보고서를 정기 배치로 전달하여 고객이 이를 LLM 학습에 바로 활용할 수 있도록 했습니다.
주요 결과
