기간종료

하드웨어 센서가 필요 없는 5G기반 언택트 가정용 AI 인터랙티브 프로그램

경진대회
목표 공감인원 50명
2 명 공감
0%
100%
by  ○ 기 ○

공감투표

공감투표 인원이 50명을 넘으면 경진대회 본선진출 자격이 주어집니다.

현재 공감투표 인원 2 명 / 50 명

 

공감투표기간

2020. 8. 3 ~ 2020. 9. 25

 상세내용

※ 제안하신 아이디어에 대한 공감투표 모집을 위해 아이디어 제안서 요약내용을 등록해 주세요.

1. 아이디어의 개요

[제안배경]

- 대형 테마파크 및 키즈카페에서 이용 가능 했던 어두운 환경에서의 객체의 동

작 및 이동등을 학습하여 사용자를 인식하고 정보 수집 및 인공지능 동작분석

을 통한 가정용 인터렉티브 콘텐츠 구현

- 아동의 적정 시간 수면 유도 가능한 ‘그림자 놀이’에서 모티브로 함

- 기존에 사용하던 1차원적 폰 플래쉬 활용 그림자를 직접 만들어주는 방법에서

벗어나, 앱이 애니메이션 콘텐츠 기반 그림자를 생성하여 부모의 수고를 덜고

콘텐츠 정확도와 다양성을 확보하면서, 아이들의 몰입 유도 가능성 예측

- 단순 디스플레이 통한 아동 에듀테인먼트 콘텐츠의 시장 과포화에 따라 신체활동 유도 인터랙티브 콘텐츠에 대한 수요 충족 위함

- 높은 밝기가 필요 없는 흑백 콘텐츠로서 안구 피로감 감소시켜 지나친 시력 사용을 억제하고 신체 활동만을 유도하고자 함 아이와 함께 쉽게 즐길 수 있는 점 고려

- 외적 요인(코로나, 날씨 등)과 관계없이 가정 내에서 부모님이 공간 활용하여 아이와 함께 즐길 수 있는 점 고려

[핵심내용]

■ 키넥트를 활용한 일반적인 RGB카메라와 고도의 정확성을 요하는 센서를 활용 하여 인터렉티브 되는 형태가 아닌 어떤 카메라가 됐든 프로그램 딥러닝을 통해 객체 인식 및 암전 상태에서의 사용자 검출로 가정 내에서 대규모 키즈카페에서 볼 수 있었던 인터렉티브 콘텐츠를 구현 현재 시제품 제작 중

- 코로나 19로 인한 비대면 놀이/교육 제품으로 키즈카페에서 할 수 있었던 복잡한 형태의 인터렉티브를 가정에서 구현

- 키즈카페 등 다중이용시설에서 즐기는 인터랙티브 콘텐츠와 달리 개별 가정에서 개인 단위로 플레이 가능

- 가정에서 통상적으로 활용하는 디지털 콘텐츠와 달리(스마트폰) 벽체 등 넓은 공간 최대한으로 활용하여 색다른 놀이 환경 조성

기술내용

본 기술의 실시 형태에 의하면 송출장치에 의한 투사면과 콘텐츠 실행장치의 모니터 화면의 오차를 줄이기 위해 매번 영점 조정(Calibration)에 소요되는 많은 시간과 운영중 발생하는 간격 틀어짐 문제를 해소할 수 있는 카메라에 의해 입력된 화면에서 지정된 콘텐츠 요소를 식별하여 충돌 여부를 감지하는 장치를 제공한다.

콘텐츠를 재생하고 재생되는 콘텐츠를 송출하는 스마트폰 및 상기 스 스마트 폰으로부터 송출되는 콘텐츠를 투영하는 빔 프로젝트에 동작을 정보를 전달 할 수 있는 카메라를 설치를 포함하여 투영된 콘텐츠와 동작 정보를 분류하여 동작 정보를 스마트폰으로 송출 하고 촬영된 콘텐츠 중 상기 빔 프로젝트에 의해 투영된 콘텐츠 중 특정 콘텐츠 요소를 식별하고 식별된 특정 콘텐츠 요소와 카메라에 의해 촬여된 신규 피사체와의 충돌 여부를 감지하도록 구성된 장치가 제공 된다.

[차별성]

제품화 구현 및 우위 요소

- 인공지능 영상분석을 토대로 한 실시간 사용자추적 시스템

- 딥러닝 인공지능이 인간 행동 패턴 분석을 통해 사용자 식별능력을 학습 및 프로그램 기술

- 딥러닝 인공지능 학습을 통한 영상 분석 및 사용자 인식 장애요소 해결

- 실시간 다중 객체 식별(인식) 및 추적 알고리즘

- 딥러닝 기반 저해상도 얼굴영상에 대한 딥러닝 기반 인식기술

- 객체 추적 기법을 통한 객체 추출 경량화 기술

- 검출 및 식별된 객체들에 대한 다중 추적 기법

- 검색 영역 제한을 위한 프레임 간 움직임 정보 및 적응적 가속도 모델링을 통한 위치 예측

- 겹침(occlusion)에 강인한 에너지맵 기반 객체 추적 기술 개발

- 조명 변화에 강인한 객체 검출 알고리즘 개발

- 일반조명, 집중조명, 색상조명 등의 다양한 가정에 사용되는 조명환경 데이터 수집 개발

- 다양한 조명 변화에 대한 분류 및 정의 개발

- 조명환경 분류에 따른 영상 컬러 특성 모델링 등을 통한 제품화 구현

< 다양한 조명환경 기반 강인한 객체(사용자) 검출 구조 >

- 다중 사용자 정보 수집 및 분석

- 사용자 식별 정보: 얼굴, 분장(복장), 체형 등 다양한 정보 수집

- 부가 정보의 계층적 구조화를 통한 사용자 식별 구조 설계

- MnasNet, FBNet 등 모바일 임베디드 환경에 맞는 최적화 된 학습모듈 연구

< MnasNet 기반의 모바일 이미지 검출모델 학습 flow >

- 그림자놀이의 특성에 따른 조도가 낮은 암전 환경에서의 객체 식별 기능

- Gray scale transform 기법 적용으로 모바일 임베디드 환경 성능 및 베터리 소모량 최적화

- 어두운 환경에서의 객체를 인식 할 수 있는 기술

- 현재 키넥트 센서 및 레이저 센서를 활용한 동작 인식 기술들은 개발 되어 있는 상태 프로그램 자체가 굉장히 무거움

- 현재 개발 된 동작인식 센서 프로그램들은 데스크탑 환경에서 구동 가능

- 적외선을 활용 하지 않은 자체 카메라로 객체를 식별하고 객체의 행동 패턴을 익힐 수 있는 AI시스템의 정교화 및 고도화가 필요 함

- 모바일 기기에서 프로그램 구동 가능해야 하기 때문에 프로그램을 가볍게 제작 해야함

■ 객체 데이터 입력도구 개발

- 객체들의 움직임 데이터는 표준화 데이터가 아니며 다양한 동작을 토대로 움직임 주요 데이터로 점프, 손짓, 발짓 등 다양한 데이터들이 산재하고 있으며 사람이 움직인는 것인지 전송되어 온 영상이 투영된 움직임인지에 대한 산재한 데이터들을 표준화 하여 분석할 툴이 필요함

- 각 객체들의 데이터를 그대로 입력도구에 업로드 하고 인공지능 기술을 활용하여 데이터들을 분석하여 표준 움직임 데이터로 가공한 후 데이터베이스에 추가 후 CMS로 해당 데이터베이스 리소스들을 관리해야 함

- 각 객체들의 비표준 데이터를 인공지능 학습을 통해 표준화 데이터로 가공하는 기술이 요함

< 비표준 데이터 가공 도식표 >

모바일 카메라 내에서의 객체식별 및 영역 처리

- 다양한 실험을 통해 Mask R-CNN 기법이 어두운 조명에서 효과적임을 확인

- 모바일에 맞게끔 연산량과 베터리 소모량을 최소화 한 성능 최적화

- 그림자놀이의 특성에 따른 조도 낮은 암전 환경에 최적화 된 Gray 단계에 의한 이미지 식별

 

■ 모바일 임베디드용 객체검출 학습모듈 주요 성능 지표

솔루션 기능 요소

주요 성능 지표

단위

개발목표치

객체 검출 알고리즘 개발

모바일 영상 분석을 통한 단일 사용자 검출 정확도

%

91 이상

모바일 영상 분석을 통한 단일 사용자 검출 추론

시간

ms

250 이하

실시간 다중 객체 식별(인식) 및 추적 알고리즘 개발

모바일 영상 분석을 통한 다중 사용자 식별 인원

2

모바일 영상 분석을 통한 다중 사용자 식별 정확도

%

87 이상

모바일 영상 분석을 통한 다중 사용자 식별 및

추적처리 시간

ms

420 이하

다중 객체 행동(제스쳐 패턴) 식별 및 시스템 통합 개발

바일 영상 분석을 통한 단일 사용자 행동(제스처

패턴) 인식 대상 항목

3

모바일 영상 분석을 통한 단일 사용자

행동(제스처 패턴) 인식 정확도

%

82 이상

모바일 영상 분석을 통한 단일 사용자 동(제스처

패턴) 식별 처리 속도

fps

5 이상

주요 성능 지표

성능 지표 기준

단일 사용자 검출 정확도

입력 테스트 영상 내 사용자 대비 검출된 사용자 비율 측정

단일 사용자 검출 추론 시간

최대 2명의 주요 사용자가 있는 입력 영상에 대해서 사용자 위치 추출 시간 측정

사용자 검출 동시 추론 가능 인원

주요 사용자가 있는 입력 영상에 대해서 사용자 위치 추출 가능 최대 인원

사용자 인식 정확도

입력 테스트 영상 내 최대 2명의 주요 사용자가 있는 입력 영상에 대해서 사용자를 인식하는 비율 측정

다중 사용자 식별 및 추적 처리 시간

입력 테스트 영상 내 최대 2명의 주요 사용자가 있는 입력 영상에 식별 및 추적하는데 걸리는 시간 측정

사용자 행동(제스쳐 패턴) 인식 정확도

입력 테스트 영상 내 단일 사용자가 입력 영상 부분에 대해서 사용자의 행동(제스쳐)을 인식하는 비율 측정

사용자 행동 패턴 인식 대상 항목

입력 테스트 영상 내 단일 사용자가 입력 영상 부분에 대해서 검출/식별/행동인식을 위한 대상 패턴 항목 검출

사용자 행동 식별 처리 속도

입력 테스트 영상 내 단일 사용자가 입력 영상 부분에 대해서 검출/식별/행동인식 까지의 처리 속도를 측정

2. 실현가능성 및 기대효과

[실현가능성]

주요 개발 내용

목표 구분

세부목표

영상인식 솔루션

모바일 기기 내에서 실시간 카메라 영상 인식

: 모바일 RGB 카메라로부터 영상을 인식한 후 약 200ms 단위로 이미지를 샘플링하여 gray scale transform 기법을 사용하여 data 전처리

모바일 카메라 영상 내 실시간 객체 검출

: 샘플링 된 영상의 이미지들에서 (사용자) 객체를 검출

검출된 객체와 영상 속 특정 요소와의 충돌 감지

: 샘플링 된 영상의 이미지들에서 (사용자) 객체와 모바일 영상 속 object와의 위치를 비교하여 충돌 여부 감지

모바일 임베디드용 학습모듈 SDK 패키징

: 안드로이드 모바일 기기에 임베디드 할 수 있도록 SDK 형태로 패키징

그림자 놀이

플레이어

모바일 기기 back-buffer 화면을 빔프로젝트로 송출

: 실제 공간 화면에 출력하기 위한 영상image는 모바일 기기의 back-buffer로부터 빔프로젝트를 통해 출력

간단한 콘트롤로 동작되는 인터렉션 그림자 콘텐츠

: 그림자 공연을 진행하는 주최(부모님)자가 사용자(아이들)와 상호작용을 할 수 있는 단순 구조의 콘텐츠 제작

그림자 콘텐츠의 인터렉션 애니메이션 및 연출

: 시각적인 효과를 부각시키기 위한 애니메이션 및 연출

data 전처리

모델 학습을 위한 제스쳐 이미지 라벨링

: 영상인식 솔루션의 모델을 학습시키기 위한 지도학습용 제스쳐 이미들에 대한 라벨링 처리

네트웍 시스템

임베디드용 학습모듈 다운로드 환경 구축

: 학습모듈을 모바일 기기에서 내려받을 수 있도록 파일 업로드/다운로드 웹 환경 구축

제스쳐 이미지 학습환경 구축

: 영상인식 솔루션 모델을 학습시키기 위한 환경 구축

추진일정(전체)

세부 업무

수행내용

추 진 일 정()

비중

(%)

9

10

11

12

1

2

3

 

 

 

어플 기획

 

어플기획서 작성

 

 

 

 

 

 

 

5%

연출물 기획서 작성

 

 

 

 

 

 

 

10%

하드웨어

하드웨어구조설계, 앱연

 

 

 

 

 

 

 

15%

게임프로그래밍, 하드웨

어제작연동

 

 

 

 

 

 

 

15%

서비스 환경

구축

콘텐츠 기획, 데이터 수

집서버 설계, 리소스디

자인

 

 

 

 

 

 

 

5%

QA1차 진행, 디버깅 수

정, QA2차 진행

 

 

 

 

 

 

 

5%

결과보고

 

 

 

 

 

 

 

10%

추진일정(S/W)

세부 업무

수행내용

추 진 일 정()

비중

(%)

9

10

11

12

1

2

3

 

 

 

시스템 설계

 

 

시스템 프레임웍 구축

 

 

 

 

 

 

 

5%

기본 테이블 구성

 

 

 

 

 

 

 

10%

학습모델 학습을 위한 제스처 이미지 라벨링

 

 

 

 

 

 

 

15%

데이터구축

및 AI엔진을

통한 가치

정보 제공

테이블 상세 구성 및 개발 백업

 

 

 

 

 

 

 

15%

모바일 카메라 영상 속 객체검출 학습모델 개발

 

 

 

 

 

 

 

15%

모바일 기기 back-buffer 화면 송출 기능 개발

 

 

 

 

 

 

 

5%

암전된 실내 환경에서의 학습모델 필드테스트 및 고도화

 

 

 

 

 

 

 

15%

서비스

환경 구축

모바일 임베디드용 학습모델의 SDK 패키징

 

 

 

 

 

 

 

5%

임베디드용 학습모듈 다운로드 환경 구축

 

 

 

 

 

 

 

5%

결과

 

 

 

 

 

 

 

10%

“5G스마트폰 프로젝터와 동작인식 카메라 연동 및 딥러닝 프로그램을 활용한 출동 애니멀레스큐 인터렉티브 쉐도우 키트”

- 테마파크 및 키즈카페에서 가능한 인터렉티브 콘텐츠를 암전 환경에서 객체 동작, 이동 등을 학습 사용자를 인식하고 정보 수집, 인공지능 동작분석을 통한 가정용 인터렉티브 콘텐츠 구현

- 아동의 적정 시간 수면 유도 가능한 ‘그림자 놀이’에서 모티브로 함

- 기존에 사용하던 1차원적 폰 플래쉬 활용해 그림자를 직접 만들어주는 방법에

서 벗어나, 앱이 애니메이션 콘텐츠 기반으로 그림자를 생성하여 부모의 수고로

움을 덜고 콘텐츠 정확도와 다양성을 확보하면서, 아이들의 몰입 유도 가능 예측

- 단순 디스플레이 통한 아동 에듀테인먼트 콘텐츠의 시장 과포화에 따라 신체활동 유도 인터랙티브 콘텐츠에 대한 수요 충족 위함

- 흑백 콘텐츠를 활용 안구 피로감 감소, 지나친 시력 사용 억제, 신체 활동만을 유도 함

- 외적 요인(코로나, 날씨 등)과 관계없이 가정 내에서 부모님이 공간 활용하여 아이와 함께 쉽게 즐길 수 있는 점 고려

 

<대면 활동이 많은 키즈카페>

가격 경쟁력

- 놀이 특성상 게임 구현에 하이스펙 하드웨어 불필요 - 기존 인터랙티브 미디어 게임에 비해 저렴한 가격대로 게임 구현 가능

편의성

- 특별한 프로그래밍, 프로젝터 설치 등 가정에서 수행하기 힘든 복잡한 작업 제거 프로젝터+모션인식 카메라 프로그래밍+스마트폰+앱 연동 프로그램으로 구현

   

■ 콘텐츠의 다양 및 효과

- 간단한 그림자 활용 인터렉티브 놀이만이 아닌 동화구연, 숫자/글자 교육, 보드게임 등의 교육/놀이 활동을 한번에 진행 가능

- 교육적 효과 - 그림자 형태를 활용한 교육콘텐츠로의 활용 가능

ex – 숫자 맞추기, 알파벳 맞추기, 그림자 동화구연, 그림자 색칠하기, 음영 만들기 놀이 등

- 아동 집중도, 몰입도 향상

- 상상력, 창의력 발달

- 가정 내 인터랙티브 놀이로써 신체활동 빈도 증가, 가족간 유대감 형성

 

활용성

- 공간 대비 게임의 큰 역동성으로 놀이 지루함 감소 및 플레이 시간 증가

- 날씨, 유행감염질병, 주변 사용자 등 외부 요인에 구애 받지 않는 온라인 기반 실내 형 놀이

 

1

 

2

 

3

 

스마트폰 케이스 형태의 빔 프로젝터의 전원 on

스마트폰과 케이스 빔 프로젝터가 연동 된 쉐도우 키트 전용 앱 연결

앱 내 사용할 콘텐츠 선택(동화, 그림자 액션, 동물, ABC교육, 한글교육 등)

4

 

5

 

6

 

그림자 콘텐츠(동화, 그림자 액션, 동물, ABC교육, 한글 교육 등)을 집안 벽체를 활용 하여 콘텐츠 시청

재생 및 움직이는 물체를 활용 인터렉티브 요소를 통해 교육/교감 프로그램 체험

이용 종료 후 앱 내 결과분석 창을 바탕으로 분석된 콘텐츠 흥미도 이용 패턴 등의 데이터가 분석된 리포트 제공

■ 서비스 이용 시나리오

- 스마트폰 어플을 통한 인터랙티브 그림자 놀이 게임 서비스

- 현재 키즈카페에서 상용화 되고 있는 상호작용이 가능한 높은 비용의 제품들 (IR 센서 및 키넥트센서, 아바타 매칭 게임 솔루션 등)을 사용하지 않고 미니 빔프로젝터 위에 부착된 카메라가 사람의 동작을 인식 할수 있는 프로그램 개발

- 쉐도우 키트 전용 앱 연동을 통해 위 나열된 센서들 보다 민감하고 세밀한 정확성을 유지 하지 않지만 가정에서 간편한게 인터렉티 가능 하도록 제작 가정에서 쉽게 즐기는 인터렉티브 동화, 교육, 놀이 등이 가능

[파급효과]

기대효과

가) 디지털 콘텐츠가 설치된 키즈카페 뿐 아니라 집에서도 간편하게 즐길 수 있

도록 휴대성 및 가격 경쟁력 고려하여 게임을 키트화

나)기존의 대형 공간, 자본을 필요로 하던 인터랙티브 놀이터 형태가 아닌 누구나

개인 단위로 즐길 수 있는 인터랙티브 콘텐츠

다) 역동성과 스토리 뛰어난 어린이 애니메이션 ‘출동! 애니멀 레스큐’ IP활용

한 게임 캐릭터 개발하여 집중력 향상, 운동 통한 에너지 소모

3) 적용기술

가) 인터랙션: 카메라로 아이의 모션을 인식하고, 스마트폰 어플 상에서 실시간

으로 그림자 효과(캐릭터 그림자 움직임, 각종 이펙트 등)를 구현한 결과를 빔을

통해 벽체(스크린)로 실시간 송출

3) AI솔루션

가) 해당 과정에서 아이의 모션값을 데이터화하고, 그 정보를 기반으로 각각 다

양한 모션에 맞는 캐릭터 그림자의 움직임을 계산하여, 빠르고 다양한 형태의 그

림자 놀이를 할 수 있도록 개선하고자 함

나) 다양한 그림자 콘텐츠로의 적용을 위해 클라우드와 연동, 콘텐츠 업데이트,

관리 등 서비스 위한 정보처리 필요

 

수익 모델

플랫폼 정액 과금 모델 : 앱을 통한 월별 결제로 콘텐츠 무제한 체험 정액 과금 수취

이용기간/이용량에 따른 지속 과금 모델 : 교육기관 등 무상 설치 후 이용에 따른 요금 부과

IP업체 대상 콘텐츠 위탁 유통에 따른 과금 수취

IP업체와의 협업을 통한 S/W H/W 판매

 

상품구분

내 용

인터렉티브 빔 프로젝터

판매 비용 10~15만원 (콘텐츠 3개월 이용권 포함)

콘텐츠 구독 비용

- 과금 월 3900원~5900원

사용 콘텐츠에 따른 추가 과금

콘텐츠 상품

캐릭터 상품, 동물 상품, 그림자 의상 등 콘텐츠에 따른 상품

광고

무과금 사용자를 대상으로 한 광고 수익(어린이 제품, 서적 등)

구 분

2020

2021

2022

합계(천원)

비고

국내

인터렉티브 빔 프로젝터

150,000

450,000

750,000

1,350,000

하드웨어 판매/콘텐츠 구독/광고 수익 등

유럽지역

인터렉티브 빔 프로젝터

75,000

300,000

675,000

1,050,000

신동방 베트남 기반 아시아 지역

15,000

750,000

1,050,000

1,815,000

콘텐츠 월 정액 과금

10,620

53,100

159,300

223,020

광고 수익

5,000

25,000

40,000

60,000

합 계

257,640

1,580,121

2,676,322

4,498,020

 

산출 근거

∘국내 미니 빔 프로젝터 가격 구매 단가 (150,000 원)

∘국내 콘텐츠 구독형 모델 단가 (5900원)

1) 일자리 창출 직간접 효과

가) 신규 기술 개발, 사업 확장을 통해 기술 분야 추가인력 투입 필요

- 클라우드 서비스 전문가, 빅데이터 전문가, 플랫폼 전문가, 사후서비스 담당자

2) AI적용을 통한 비즈니스 가치

가) AI솔루션이 콘텐츠 개선에 직접적인 영향을 미쳐 매출증가, 생산성 향상 등 긍정적 영향 기대

나) 자신의 모션이 콘텐츠에 그대로 적용된다는 점에서 아동들에게 디지털 콘텐츠와의 커뮤니케이션 기회 제공

3) 관련산업 활성화 등 산업 효율성 제고

가) 고화질, 색채, 특별한 기구가 필요한, 현재 기술 경쟁이 치열한 레드오션 실감

콘텐츠 산업에서 인터랙티브 그림자 콘텐츠라는 새로운 돌파구를 찾아 실감 콘텐

츠 분류 내 새로운 콘텐츠 산업으로서의 성장 가능성

나) 새로운 형태의 아동 콘텐츠 플랫폼과 서비스 확산에의 기여

다) 신규 플랫폼 시장 창출 등 시장 확대 가능

라) 콘텐츠 특성상 개발/업그레이드 비용 절감이 가능하며 추후 국내외 콘텐츠

제휴를 통해 무한대의 콘텐츠 공급 및 사업확장 가능 -> IP시장에서 각광받는

홍보 플랫폼으로서의 가치 어필

4) 실감형 콘텐츠 산업에서의 비중 확대

가) 실감콘텐츠 시장이 2023년 41조원(연평균 52.6% 증가)으로 커질 것으로 전망

되고 있고, 국내에서는 2017년 1.2조원에서 2019년 2.8조원으로 연평균 51%증가

나) 현 산업 매출에서 1%이상의 비중을 차지하여 관련된 신규 직무, 산업이 창출될 수 있음

 공감투표 참여안내

등록된 요약 내용이 없습니다.

댓글 (1 개의 댓글이 있습니다.)

로그인 후 댓글 달기 가능합니다.

  • 이은산 ○ 은 ○
    소리의 형태에 대한 정보도 궁금합니다. 개인적으로 미디어 아트를 감상하게 되었을 때나 저녁에 축제 거리를 걸을 때 종종 참여형으로 접근하기도 하는데, 미디어 아트 전시회 같은 경우 설치된 공간 내에 대체로 제공되는 배경음악이 있는 반면 축제 거리 같은 경우는 시간과 공간의 우연성을 고려해 보았을 때 스스로 선택할 수 있는 참여의 폭이 좀 더 넓었던 것 같습니다. 개인적으로 한 축제 때 자연 소리를 배경으로 그림자 놀이를 했을 때가 기억에 남아있습니다.

    2020-09-25