경진대회

홈 > 경진대회

프린트

하드웨어 센서가 필요 없는 5G기반 언택트 가정용 AI 인터랙티브 프로그램

공감 투표기간 : 2020-08-03 ~ 2020-09-25

내용

※ 제안하신 아이디어에 대한 공감투표 모집을 위해 아이디어 제안서 요약내용을 등록해 주세요.

1. 아이디어의 개요

[제안배경]

- 대형 테마파크 및 키즈카페에서 이용 가능 했던 어두운 환경에서의 객체의 동

작 및 이동등을 학습하여 사용자를 인식하고 정보 수집 및 인공지능 동작분석

을 통한 가정용 인터렉티브 콘텐츠 구현

- 아동의 적정 시간 수면 유도 가능한 ‘그림자 놀이’에서 모티브로 함

- 기존에 사용하던 1차원적 폰 플래쉬 활용 그림자를 직접 만들어주는 방법에서

벗어나, 앱이 애니메이션 콘텐츠 기반 그림자를 생성하여 부모의 수고를 덜고

콘텐츠 정확도와 다양성을 확보하면서, 아이들의 몰입 유도 가능성 예측

- 단순 디스플레이 통한 아동 에듀테인먼트 콘텐츠의 시장 과포화에 따라 신체활동 유도 인터랙티브 콘텐츠에 대한 수요 충족 위함

- 높은 밝기가 필요 없는 흑백 콘텐츠로서 안구 피로감 감소시켜 지나친 시력 사용을 억제하고 신체 활동만을 유도하고자 함 아이와 함께 쉽게 즐길 수 있는 점 고려

- 외적 요인(코로나, 날씨 등)과 관계없이 가정 내에서 부모님이 공간 활용하여 아이와 함께 즐길 수 있는 점 고려

[핵심내용]

■ 키넥트를 활용한 일반적인 RGB카메라와 고도의 정확성을 요하는 센서를 활용 하여 인터렉티브 되는 형태가 아닌 어떤 카메라가 됐든 프로그램 딥러닝을 통해 객체 인식 및 암전 상태에서의 사용자 검출로 가정 내에서 대규모 키즈카페에서 볼 수 있었던 인터렉티브 콘텐츠를 구현 현재 시제품 제작 중

- 코로나 19로 인한 비대면 놀이/교육 제품으로 키즈카페에서 할 수 있었던 복잡한 형태의 인터렉티브를 가정에서 구현

- 키즈카페 등 다중이용시설에서 즐기는 인터랙티브 콘텐츠와 달리 개별 가정에서 개인 단위로 플레이 가능

- 가정에서 통상적으로 활용하는 디지털 콘텐츠와 달리(스마트폰) 벽체 등 넓은 공간 최대한으로 활용하여 색다른 놀이 환경 조성

■ 기술내용

본 기술의 실시 형태에 의하면 송출장치에 의한 투사면과 콘텐츠 실행장치의 모니터 화면의 오차를 줄이기 위해 매번 영점 조정(Calibration)에 소요되는 많은 시간과 운영중 발생하는 간격 틀어짐 문제를 해소할 수 있는 카메라에 의해 입력된 화면에서 지정된 콘텐츠 요소를 식별하여 충돌 여부를 감지하는 장치를 제공한다.

콘텐츠를 재생하고 재생되는 콘텐츠를 송출하는 스마트폰 및 상기 스 스마트 폰으로부터 송출되는 콘텐츠를 투영하는 빔 프로젝트에 동작을 정보를 전달 할 수 있는 카메라를 설치를 포함하여 투영된 콘텐츠와 동작 정보를 분류하여 동작 정보를 스마트폰으로 송출 하고 촬영된 콘텐츠 중 상기 빔 프로젝트에 의해 투영된 콘텐츠 중 특정 콘텐츠 요소를 식별하고 식별된 특정 콘텐츠 요소와 카메라에 의해 촬여된 신규 피사체와의 충돌 여부를 감지하도록 구성된 장치가 제공 된다.

[차별성]

■ 제품화 구현 및 우위 요소

- 인공지능 영상분석을 토대로 한 실시간 사용자추적 시스템

- 딥러닝 인공지능이 인간 행동 패턴 분석을 통해 사용자 식별능력을 학습 및 프로그램 기술

- 딥러닝 인공지능 학습을 통한 영상 분석 및 사용자 인식 장애요소 해결

- 실시간 다중 객체 식별(인식) 및 추적 알고리즘

- 딥러닝 기반 저해상도 얼굴영상에 대한 딥러닝 기반 인식기술

- 객체 추적 기법을 통한 객체 추출 경량화 기술

- 검출 및 식별된 객체들에 대한 다중 추적 기법

- 검색 영역 제한을 위한 프레임 간 움직임 정보 및 적응적 가속도 모델링을 통한 위치 예측

- 겹침(occlusion)에 강인한 에너지맵 기반 객체 추적 기술 개발

- 조명 변화에 강인한 객체 검출 알고리즘 개발

- 일반조명, 집중조명, 색상조명 등의 다양한 가정에 사용되는 조명환경 데이터 수집 개발

- 다양한 조명 변화에 대한 분류 및 정의 개발

- 조명환경 분류에 따른 영상 컬러 특성 모델링 등을 통한 제품화 구현

< 다양한 조명환경 기반 강인한 객체(사용자) 검출 구조 >

- 다중 사용자 정보 수집 및 분석

- 사용자 식별 정보: 얼굴, 분장(복장), 체형 등 다양한 정보 수집

- 부가 정보의 계층적 구조화를 통한 사용자 식별 구조 설계

- MnasNet, FBNet 등 모바일 임베디드 환경에 맞는 최적화 된 학습모듈 연구

< MnasNet 기반의 모바일 이미지 검출모델 학습 flow >

- 그림자놀이의 특성에 따른 조도가 낮은 암전 환경에서의 객체 식별 기능

- Gray scale transform 기법 적용으로 모바일 임베디드 환경 성능 및 베터리 소모량 최적화

- 어두운 환경에서의 객체를 인식 할 수 있는 기술

- 현재 키넥트 센서 및 레이저 센서를 활용한 동작 인식 기술들은 개발 되어 있는 상태 프로그램 자체가 굉장히 무거움

- 현재 개발 된 동작인식 센서 프로그램들은 데스크탑 환경에서 구동 가능

- 적외선을 활용 하지 않은 자체 카메라로 객체를 식별하고 객체의 행동 패턴을 익힐 수 있는 AI시스템의 정교화 및 고도화가 필요 함

- 모바일 기기에서 프로그램 구동 가능해야 하기 때문에 프로그램을 가볍게 제작 해야함

■ 객체 데이터 입력도구 개발

- 객체들의 움직임 데이터는 표준화 데이터가 아니며 다양한 동작을 토대로 움직임 주요 데이터로 점프, 손짓, 발짓 등 다양한 데이터들이 산재하고 있으며 사람이 움직인는 것인지 전송되어 온 영상이 투영된 움직임인지에 대한 산재한 데이터들을 표준화 하여 분석할 툴이 필요함

- 각 객체들의 데이터를 그대로 입력도구에 업로드 하고 인공지능 기술을 활용하여 데이터들을 분석하여 표준 움직임 데이터로 가공한 후 데이터베이스에 추가 후 CMS로 해당 데이터베이스 리소스들을 관리해야 함

- 각 객체들의 비표준 데이터를 인공지능 학습을 통해 표준화 데이터로 가공하는 기술이 요함

< 비표준 데이터 가공 도식표 >

■ 모바일 카메라 내에서의 객체식별 및 영역 처리

- 다양한 실험을 통해 Mask R-CNN 기법이 어두운 조명에서 효과적임을 확인

- 모바일에 맞게끔 연산량과 베터리 소모량을 최소화 한 성능 최적화

- 그림자놀이의 특성에 따른 조도 낮은 암전 환경에 최적화 된 Gray 단계에 의한 이미지 식별

■ 모바일 임베디드용 객체검출 학습모듈 주요 성능 지표

솔루션 기능 요소	주요 성능 지표	단위	개발목표치
객체 검출 알고리즘 개발	모바일 영상 분석을 통한 단일 사용자 검출 정확도	%	91 이상
객체 검출 알고리즘 개발	모바일 영상 분석을 통한 단일 사용자 검출 추론 시간	ms	250 이하
실시간 다중 객체 식별(인식) 및 추적 알고리즘 개발	모바일 영상 분석을 통한 다중 사용자 식별 인원	명	2
	모바일 영상 분석을 통한 다중 사용자 식별 정확도	%	87 이상
	모바일 영상 분석을 통한 다중 사용자 식별 및 추적처리 시간	ms	420 이하
다중 객체 행동(제스쳐 패턴) 식별 및 시스템 통합 개발	바일 영상 분석을 통한 단일 사용자 행동(제스처 패턴) 인식 대상 항목	종	3
	모바일 영상 분석을 통한 단일 사용자 행동(제스처 패턴) 인식 정확도	%	82 이상
	모바일 영상 분석을 통한 단일 사용자 동(제스처 패턴) 식별 처리 속도	fps	5 이상

주요 성능 지표	성능 지표 기준
단일 사용자 검출 정확도	입력 테스트 영상 내 사용자 대비 검출된 사용자 비율 측정
단일 사용자 검출 추론 시간	최대 2명의 주요 사용자가 있는 입력 영상에 대해서 사용자 위치 추출 시간 측정
사용자 검출 동시 추론 가능 인원	주요 사용자가 있는 입력 영상에 대해서 사용자 위치 추출 가능 최대 인원
사용자 인식 정확도	입력 테스트 영상 내 최대 2명의 주요 사용자가 있는 입력 영상에 대해서 사용자를 인식하는 비율 측정
다중 사용자 식별 및 추적 처리 시간	입력 테스트 영상 내 최대 2명의 주요 사용자가 있는 입력 영상에 식별 및 추적하는데 걸리는 시간 측정
사용자 행동(제스쳐 패턴) 인식 정확도	입력 테스트 영상 내 단일 사용자가 입력 영상 부분에 대해서 사용자의 행동(제스쳐)을 인식하는 비율 측정
사용자 행동 패턴 인식 대상 항목	입력 테스트 영상 내 단일 사용자가 입력 영상 부분에 대해서 검출/식별/행동인식을 위한 대상 패턴 항목 검출
사용자 행동 식별 처리 속도	입력 테스트 영상 내 단일 사용자가 입력 영상 부분에 대해서 검출/식별/행동인식 까지의 처리 속도를 측정

2. 실현가능성 및 기대효과

[실현가능성]

■ 주요 개발 내용

목표 구분

세부목표

영상인식 솔루션

모바일 기기 내에서 실시간 카메라 영상 인식

: 모바일 RGB 카메라로부터 영상을 인식한 후 약 200ms 단위로 이미지를 샘플링하여 gray scale transform 기법을 사용하여 data 전처리

모바일 카메라 영상 내 실시간 객체 검출

: 샘플링 된 영상의 이미지들에서 (사용자) 객체를 검출

검출된 객체와 영상 속 특정 요소와의 충돌 감지

: 샘플링 된 영상의 이미지들에서 (사용자) 객체와 모바일 영상 속 object와의 위치를 비교하여 충돌 여부 감지

모바일 임베디드용 학습모듈 SDK 패키징

: 안드로이드 모바일 기기에 임베디드 할 수 있도록 SDK 형태로 패키징

그림자 놀이

플레이어

모바일 기기 back-buffer 화면을 빔프로젝트로 송출

: 실제 공간 화면에 출력하기 위한 영상image는 모바일 기기의 back-buffer로부터 빔프로젝트를 통해 출력

간단한 콘트롤로 동작되는 인터렉션 그림자 콘텐츠

: 그림자 공연을 진행하는 주최(부모님)자가 사용자(아이들)와 상호작용을 할 수 있는 단순 구조의 콘텐츠 제작

그림자 콘텐츠의 인터렉션 애니메이션 및 연출

: 시각적인 효과를 부각시키기 위한 애니메이션 및 연출

data 전처리

모델 학습을 위한 제스쳐 이미지 라벨링

: 영상인식 솔루션의 모델을 학습시키기 위한 지도학습용 제스쳐 이미들에 대한 라벨링 처리

네트웍 시스템

임베디드용 학습모듈 다운로드 환경 구축

: 학습모듈을 모바일 기기에서 내려받을 수 있도록 파일 업로드/다운로드 웹 환경 구축

제스쳐 이미지 학습환경 구축

: 영상인식 솔루션 모델을 학습시키기 위한 환경 구축

■추진일정(전체)

세부 업무	수행내용	추 진 일 정(월)							비중 (%)
세부 업무	수행내용	9월	10월	11월	12월	1월	2월	3월	비중 (%)
어플 기획	어플기획서 작성								5%
어플 기획	연출물 기획서 작성								10%
하드웨어	하드웨어구조설계, 앱연 동								15%
하드웨어	게임프로그래밍, 하드웨 어제작연동								15%
서비스 환경 구축	콘텐츠 기획, 데이터 수 집서버 설계, 리소스디 자인								5%
	QA1차 진행, 디버깅 수 정, QA2차 진행								5%
	결과보고								10%

■ 추진일정(S/W)

세부 업무	수행내용	추 진 일 정(월)							비중 (%)
세부 업무	수행내용	9월	10월	11월	12월	1월	2월	3월	비중 (%)
시스템 설계	시스템 프레임웍 구축								5%
	기본 테이블 구성								10%
	학습모델 학습을 위한 제스처 이미지 라벨링								15%
데이터구축 및 AI엔진을 통한 가치 정보 제공	테이블 상세 구성 및 개발 백업								15%
	모바일 카메라 영상 속 객체검출 학습모델 개발								15%
	모바일 기기 back-buffer 화면 송출 기능 개발								5%
	암전된 실내 환경에서의 학습모델 필드테스트 및 고도화								15%
서비스 환경 구축	모바일 임베디드용 학습모델의 SDK 패키징								5%
	임베디드용 학습모듈 다운로드 환경 구축								5%
	결과								10%

“5G스마트폰 프로젝터와 동작인식 카메라 연동 및 딥러닝 프로그램을 활용한 출동 애니멀레스큐 인터렉티브 쉐도우 키트”

- 테마파크 및 키즈카페에서 가능한 인터렉티브 콘텐츠를 암전 환경에서 객체 동작, 이동 등을 학습 사용자를 인식하고 정보 수집, 인공지능 동작분석을 통한 가정용 인터렉티브 콘텐츠 구현

- 아동의 적정 시간 수면 유도 가능한 ‘그림자 놀이’에서 모티브로 함

- 기존에 사용하던 1차원적 폰 플래쉬 활용해 그림자를 직접 만들어주는 방법에

서 벗어나, 앱이 애니메이션 콘텐츠 기반으로 그림자를 생성하여 부모의 수고로

움을 덜고 콘텐츠 정확도와 다양성을 확보하면서, 아이들의 몰입 유도 가능 예측

- 단순 디스플레이 통한 아동 에듀테인먼트 콘텐츠의 시장 과포화에 따라 신체활동 유도 인터랙티브 콘텐츠에 대한 수요 충족 위함

- 흑백 콘텐츠를 활용 안구 피로감 감소, 지나친 시력 사용 억제, 신체 활동만을 유도 함

- 외적 요인(코로나, 날씨 등)과 관계없이 가정 내에서 부모님이 공간 활용하여 아이와 함께 쉽게 즐길 수 있는 점 고려

<대면 활동이 많은 키즈카페>

■ 가격 경쟁력

- 놀이 특성상 게임 구현에 하이스펙 하드웨어 불필요 - 기존 인터랙티브 미디어 게임에 비해 저렴한 가격대로 게임 구현 가능

■ 편의성

- 특별한 프로그래밍, 프로젝터 설치 등 가정에서 수행하기 힘든 복잡한 작업 제거 프로젝터+모션인식 카메라 프로그래밍+스마트폰+앱 연동 프로그램으로 구현

■ 콘텐츠의 다양 및 효과

- 간단한 그림자 활용 인터렉티브 놀이만이 아닌 동화구연, 숫자/글자 교육, 보드게임 등의 교육/놀이 활동을 한번에 진행 가능

- 교육적 효과 - 그림자 형태를 활용한 교육콘텐츠로의 활용 가능

ex – 숫자 맞추기, 알파벳 맞추기, 그림자 동화구연, 그림자 색칠하기, 음영 만들기 놀이 등

- 아동 집중도, 몰입도 향상

- 상상력, 창의력 발달

- 가정 내 인터랙티브 놀이로써 신체활동 빈도 증가, 가족간 유대감 형성

■ 활용성

- 공간 대비 게임의 큰 역동성으로 놀이 지루함 감소 및 플레이 시간 증가

- 날씨, 유행감염질병, 주변 사용자 등 외부 요인에 구애 받지 않는 온라인 기반 실내 형 놀이

1		2		3
스마트폰 케이스 형태의 빔 프로젝터의 전원 on		스마트폰과 케이스 빔 프로젝터가 연동 된 쉐도우 키트 전용 앱 연결		앱 내 사용할 콘텐츠 선택(동화, 그림자 액션, 동물, ABC교육, 한글교육 등)

4		5		6
그림자 콘텐츠(동화, 그림자 액션, 동물, ABC교육, 한글 교육 등)을 집안 벽체를 활용 하여 콘텐츠 시청		재생 및 움직이는 물체를 활용 인터렉티브 요소를 통해 교육/교감 프로그램 체험		이용 종료 후 앱 내 결과분석 창을 바탕으로 분석된 콘텐츠 흥미도 이용 패턴 등의 데이터가 분석된 리포트 제공

■ 서비스 이용 시나리오

- 스마트폰 어플을 통한 인터랙티브 그림자 놀이 게임 서비스

- 현재 키즈카페에서 상용화 되고 있는 상호작용이 가능한 높은 비용의 제품들 (IR 센서 및 키넥트센서, 아바타 매칭 게임 솔루션 등)을 사용하지 않고 미니 빔프로젝터 위에 부착된 카메라가 사람의 동작을 인식 할수 있는 프로그램 개발

- 쉐도우 키트 전용 앱 연동을 통해 위 나열된 센서들 보다 민감하고 세밀한 정확성을 유지 하지 않지만 가정에서 간편한게 인터렉티 가능 하도록 제작 가정에서 쉽게 즐기는 인터렉티브 동화, 교육, 놀이 등이 가능

[파급효과]

기대효과

가) 디지털 콘텐츠가 설치된 키즈카페 뿐 아니라 집에서도 간편하게 즐길 수 있

도록 휴대성 및 가격 경쟁력 고려하여 게임을 키트화

나)기존의 대형 공간, 자본을 필요로 하던 인터랙티브 놀이터 형태가 아닌 누구나

개인 단위로 즐길 수 있는 인터랙티브 콘텐츠

다) 역동성과 스토리 뛰어난 어린이 애니메이션 ‘출동! 애니멀 레스큐’ IP활용

한 게임 캐릭터 개발하여 집중력 향상, 운동 통한 에너지 소모

3) 적용기술

가) 인터랙션: 카메라로 아이의 모션을 인식하고, 스마트폰 어플 상에서 실시간

으로 그림자 효과(캐릭터 그림자 움직임, 각종 이펙트 등)를 구현한 결과를 빔을

통해 벽체(스크린)로 실시간 송출

3) AI솔루션

가) 해당 과정에서 아이의 모션값을 데이터화하고, 그 정보를 기반으로 각각 다

양한 모션에 맞는 캐릭터 그림자의 움직임을 계산하여, 빠르고 다양한 형태의 그

림자 놀이를 할 수 있도록 개선하고자 함

나) 다양한 그림자 콘텐츠로의 적용을 위해 클라우드와 연동, 콘텐츠 업데이트,

관리 등 서비스 위한 정보처리 필요

수익 모델	플랫폼 정액 과금 모델 : 앱을 통한 월별 결제로 콘텐츠 무제한 체험 정액 과금 수취 이용기간/이용량에 따른 지속 과금 모델 : 교육기관 등 무상 설치 후 이용에 따른 요금 부과 IP업체 대상 콘텐츠 위탁 유통에 따른 과금 수취 IP업체와의 협업을 통한 S/W 및 H/W 판매

상품구분	내 용
인터렉티브 빔 프로젝터	판매 비용 10~15만원 (콘텐츠 3개월 이용권 포함)
콘텐츠 구독 비용	- 과금 월 3900원~5900원 사용 콘텐츠에 따른 추가 과금
콘텐츠 상품	캐릭터 상품, 동물 상품, 그림자 의상 등 콘텐츠에 따른 상품
광고	무과금 사용자를 대상으로 한 광고 수익(어린이 제품, 서적 등)

구 분	2020	2021	2022	합계(천원)	비고
국내 인터렉티브 빔 프로젝터	150,000	450,000	750,000	1,350,000	하드웨어 판매/콘텐츠 구독/광고 수익 등
유럽지역 인터렉티브 빔 프로젝터	75,000	300,000	675,000	1,050,000
신동방 베트남 기반 아시아 지역	15,000	750,000	1,050,000	1,815,000
콘텐츠 월 정액 과금	10,620	53,100	159,300	223,020
광고 수익	5,000	25,000	40,000	60,000
합 계	257,640	1,580,121	2,676,322	4,498,020
산출 근거	∘국내 미니 빔 프로젝터 가격 구매 단가 (150,000 원) ∘국내 콘텐츠 구독형 모델 단가 (5900원)