2020-12-24

출원번호

10-2014-0102177

출원일자

2014.08.08

출원인

삼성전자주식회사

공개/등록번호(일자)

10-2077260(2020.02.07)

발명의 명칭

확률 모델에 기반한 신뢰도를 이용하여 얼굴을 인식하는 방법 및 장치


생체인식 기술 중 하나인 얼굴 인식은 스마트폰이 대중화됨에 따라 지문, 홍채 및 얼굴 인식 기술을 이용하여 잠금 해체가 가능한 스마트폰이 출시되면서 친숙해졌다. 얼굴 인식은 장비와 직접 접촉하지 않고 잠금 해체를 할 수 있기 때문에 생체 인식 기술 분야 중 얼굴 인식 기법은 가장 인기 있고 참신한 기술 중 하나다. 특히, 코로나 시대에 얼굴 인식 기술은 장비와 직접 접촉하지 않아 위생적이고 편리하며, 카메라만 있으면 먼 거리에서도 본인 확인이 가능하다. 하지만 이러한 얼굴 인식 기술이 왜 보편화되지 않았을까?

2019년 11월 세계 일보에 따르면 “갤럭시 S8, 9, 10과 노트 9은 얼굴을 등록한 다음에 눈을 감아도 잠금을 해제하면 풀리는 현상이 나타났다.”고 기사를 내보냈다 (그림 1, 2) [1]. 이는 당시 간편한 얼굴 인식 기능을 통해 보안 잠금을 해체함으로써 미래의 다양하게 사용될 것으로 예상되었다. 하지만 앞의 언급한 갤럭시 기기들의 얼굴 인식 기능은 사생활 침해 우려에도 경고가 뜨지 않는 문제가 발생하였고, 삼성전자는 문제점을 해결하기 위해 기술 개발을 통해 해결책을 마련하였다. 갤럭시 S20에서부터 잠금 해체 방식은 패턴 + 얼굴 인식 + 지문 인식을 도입하였다. 갤럭시 S20은 갤럭시 S10과 비교하여 얼굴 인식 속도가 증가하였을 뿐만 아니라, 얼굴 인식 성능도 향상되었다 [2].


그림1. 얼굴 인식 기능이 탑재된 갤럭시 시리즈 [1]

그림2. 눈을 감고 안면 인식 기능 해체 [1]


삼성전자, 애플, 샤오미 등 스마트폰 제조회사들은 자사에서 개발한 얼굴 인식 기법 또는 얼굴 인식 전문 기업과 라이선스를 통해 우수한 얼굴 인식 기술을 유저들(users)에게 제공하는 것으로 보아 본 기술은 스마트폰에 필수적인 기술이 되었다. 삼성전자는 2014년에 출원한 본 특허를 통해 얼굴 인식 기술이 미래에 중요한 기술임을 이미 예상하였고, 지속적인 기술 개발을 통해 우수한 얼굴 인식 성능을 보유하고자 했음을 알 수 있다

(그림 3)는 본 특허에서 제안한 얼굴 인식 알고리즘의 플로우 차트이다. 얼굴을 인식하는 카메라와 같은 장치는 얼굴 영상으로부터 복수의 초기 랜드마크를 검출한다 (그림 4) (110). 단계 (110)으로부터 검출된 초기 랜드마크들을 이용하여 단계 (120)에서는 얼굴 영상을 정규화 (normalization)을 수행한다. 정규화 과정은 얼굴 영상의 크기를 조정하거나 다양한 포즈를 나타내는 얼굴 영상을 정면 얼굴 영상 (frontalized face image)으로 변환시킨다. 단계 (120)을 통해 초기 랜드마크들 중 적어도 하나의 랜드마크의 위치가 바뀔 수 있다. 단계 (130)에서는 정규화를 통해 변형된 랜드마크들의 위치를 업데이트 한다. 본 특허에서는 정규화 과정을 적용한 초기 랜드마크를 “중간 랜드마크”라고 한다. 하나 이상의 중간 랜드마크의 위치에 대한 높은 신뢰도를 얻기 위해 확률 모델 (Probabilistic Model)을 기반으로 위치를 업데이트한다. 얼굴 인식 알고리즘 중 단계(140)는 하나 이상의 중간 랜드마크의 위치가 변경된 얼굴 영상을 재정규화 (re-normalization) 할 수 있다. 얼굴을 인식하는 장치는 재정규화 된 얼굴 영상으로부터 추출된 특징을 이용하여 얼굴은 인식한다 (150).

그림3. 얼굴 인식 기법의 흐름도

그림4. 얼굴 인식 시 초기 랜드마크


다양한 국가와 분야에서 얼굴 인식 기술이 도입되었고, 활용되고 있다. 예를 들어, 중국은 2019년 12월부터 신규 스마트폰 등록 시 얼굴 스캔을 의무적으로 등록하고 있다. 등록된 얼굴을 이용하여 얼굴 인식 검표 시스템을 도입하였다 (그림 5). 미국도 공항에 얼굴 인식 시스템을 도입하였고, 일본은 치안 강화를 위해 얼굴 인식 시스템을 도입 중이다. 각종 생체 인식 기술들은 보안, 근태 관리 분야 등에서 널리 사용되고 있으며, 최근에는 온라인 금융, 전자상거래가 증가함에 따라 비밀번호와 공인인증서를 대신해 핀테크 (FinTech) 분야에서 사용이 증가하고 있다. IoT와 AI와 융합한 생체 인식 기술은 막대한 부가가치를 창출하는 신산업이다. 이러한 가치를 지닌 산업에 삼성전자는 자체 얼굴 인식 알고리즘을 보유함으로써 문제 발생 시 알고리즘을 보완할 수 있다.

얼굴 인식 기법을 보완하는 과정에서 삼성전자 내 엔지니어들은 문제에 대한 경험 획득을 통해 추후에 세계에서 가장 안전한 얼굴 인식 기술을 보유할 것으로 기대해볼 수 있다.

그림5. 얼굴 인식 기술이 적용된 검표 시스템 [3]


특허법인ECM

변리사 김시우

swkim@ecmpatent.com

02-568-2670

2020-12-20

출원번호

10-2018-7028390

출원일자

2017.03.09

출원인

삼성전자주식회사

공개/등록번호(일자)

10-2146561(2020.08.13)

발명의 명칭

모바일 초분광 카메라 시스템 및 모바일 초분광 카메라 시스템을 이용한 인간 피부 모니터링


피부 미용샵 또는 피부과를 방문하지 않고, 집에서 마사지를 할 수 있는 홈 뷰티 기기의 시장이 급성장하고 있다. 2019년 엠브레인 트렌드모니터 (시장조사전문기업) 만 19세부터 59세까지 성인 여성 천명을 대상으로 ‘피부 관리 및 홈 뷰티’ 관련 인식에 대해 조사하였다. 응답자의 85.4%가 피부관리기에 대해 관심이 있다고 대답했다. 앞의 조사 결과로부터 알 수 있듯이 홈 뷰티 기기 시장은 800억 (2013년)에서 5000억 (2019년)까지 증가한 것으로 추정하고 있다 [1]. 뷰티 디바이스와 관련된 카테고리 거래 금액은 5년 (2015~2019년) 동안 연평균 50%의 상승률로 꾸준히 증가하였다.

가전업계는 전통 가전 시장의 성장이 정체되며 신사업의 일환으로 홈 뷰티 기기에 관심을 보이고 있다. LG전자는 2017년부터 프리미엄 홈 뷰티 기기 ‘LG 프라엘’을 선보였고, 국내 홈 뷰티 기기 시장에서 선두를 유지하고 있다 (그림 1). 홈 뷰티 기기를 사용하기 전에 메이크업 제거, 자외선 차단제, 보습 오일 및 특정 화장품 등이 피부에 남아있을 경우, 홈 뷰티 기기의 성능을 저하된다. 삼성전자는 스마트폰 또는 태블릿과 같은 모바일 장치들의 내장 카메라를 이용하여 편리하고, 접근하기 쉽고, 경제적인 방식으로 자동 화장품 검출이 가능한 피부 모니터링 기법은 매력적인 기술로 판단한 듯 보인다. 기존의 제안된 기술들은 표준 RGB 영상을 기반으로 사용하기 때문에 제한된 정확도를 나타냈다. 본 특허는 스마트 기기 (스마트폰 또는 태블릿) 내 단일 카메라를 이용하여 초분광 (hyperspectral) 영상으로 피부를 모니터링 하고자 하였다.

그림1. LG 프라엘


그림 2는 모바일 장치 내 복수의 카메라들을 갖는 초분광 카메라를 이용하여 피부 모니터링 기법의 흐름도를 나타낸다. 피부 모니터링은 단계 (1602)로부터 프로세서 및 디스플레이를 포함하는 모바일 기기에서 구현된다. 복수의 카메라들은 별개의 스펙트럼 대역들에서 이미지들을 캡처하도록 구성된다 (그림 3) (1602) [2]. 단계 (1606)에서 초분광 플래시 어레이는 별개의 스펙트럼 대역들에 조명을 제공한다. 초분광 플래시 어레이 (hyperspectral flash array)는 백색광, 근적외선 또는 자외선 광원들로 구성되며, 작업 (task), 주변 조건 또는 상황에 따라 최적의 방법을 사용한다 (그림 4) (1608).

위에서 언급한 흐름도로부터 스마트폰의 초분광 카메라를 이용하여 두 가지 관련된 애플리케이션을 처리할 수 있다. 첫 번째는 기미, 여드름, 주름 습진 등과 같은 피부 상태의 정확하고 지속적인 모니터링이다. 두 번째는 인간 피부에 도포된 화장품을 자동적이고 신뢰할 수 있는 검출할 수 있다.

그림2. 제안된 기법의 플로우 차트


그림3. 일반 카메라와 초분광 카메라의 파장 분포




그림4. 스마트폰의 카메라 구성


위에서 언급한 바와 같이 홈 뷰티 기기 시장이 확대됨에 따라 가전 업체뿐만 아니라 가전 렌탈 기업, 화장품 회사도 홈 뷰티 기기 시장 경쟁에 뛰어들고 있다. 삼성전자는 타기업들이 제품을 출시하는 것과 달리 쉽게 접할 수 있는 스마트폰을 효율적으로 이용하기 위해 본 특허를 등록하여 차별화된 기술을 확보하였다. 홈 뷰티에 관심을 가진 수 많은 사용자들이 제품을 선택할지 스마트폰을 이용한 기술을 선택할지는 추후의 시장 동향을 파악해보아야 할 것으로 판단된다.


특허법인ECM

변리사 김시우

swkim@ecmpatent.com

02-568-2670

2020-12-19

출원번호

16/896,651

출원일자

2020,06,09

출원인

Samsung Electronics Co., Ltd.,

공개/등록번호(일자)

US 2020/0304704(2020.09.24)

발명의 명칭

ELECTRONIC DEVICE FOR RECORDING IMAGE AS PER MULTIPLE FRAME RATES USING CAMERA AND METHOD FOR OPERATING SAME


TV 또는 유투브 프로그램 중 결정적인 순간을 극대화, 영화에서 보다 극적인 감정 전달 및 스포츠 중계에서 포착하지 못한 장면을 자세히 보여주기 위해 ‘슬로우 모션’이라는 기법을 사용한다. 본 기술은 순식간에 지나가는 상황을 실제 속도보다 천천히 재생하여 순간의 아름다움과 재미 등을 포착하는 슬로우 모션으로 영상을 촬영하는 기법으로 스마트폰에 지원하는 기능 중 하나이다.

일반적인 영상 촬영 시 보통 30fps을 이용하여 캡쳐하지만, 슬로우 모션 기법을 적용한 카메라는 1초에 더 많은 프레임 레이트을 할당하여 캡쳐한다. 예를 들어, 아이폰X는 120fps에서 240fps로 1080p ‘슬로우 모션’ 기법을 이용하여 영상 녹화를 할 수 있다. 같은 시간에 더 많은 장면을 캡쳐할 수 있으므로 해당 영상을 재생할 경우 4배에서 8배 느린 속도로 영상을 구현할 수 있다 (그림 1).


그림1. 슬로우 모션 예시


스마트폰 내 이미지 센서, 광학부품 및 모바일 AP 처리속도 등 성능의 향상됨에 따라 영상 촬영은 전문 장비보다 스마트폰으로 촬영하는 것이 보편화되고 있다. 삼성, 소니, 애플 등 스마트폰을 제조하는 기업들이 ‘슬로우 모션’ 기능을 스마트폰에 제공하고 있다. 삼성전자는 특허 등록을 통해 ‘슬로우 모션’ 원천 기술을 확보하고자 하였다.

(그림 10)은 본 특허에서 제안한 ‘슬로우 모션’ 기법의 흐름도이다. 1001단계에서 스마트폰은 첫번째 프레임 레이트에서 한 개 또는 다수의 물체를 인식한다. 1003단계는 슬로우 모션 녹화를 위한 초기화와 관련된 설정을 확인한다 (그림 6B). 다음 단계 (1005)에서는 카메라로 인식한 물체의 수에 따라 포커싱 (focusing)을 조절한다. 스마트폰은 두 번째 프레임 레이트에서 첫 번째 프레임 레이트보다 높은 프레임 레이트을 얻는다 (1007). 예를 들어, 스마트폰 내 포커싱 (focusing)이 된 카메라를 이용하여 첫 번째 단계에서 30 fps에서 60 fps의 프레임 레이트를 얻었다면, 두 번째 프레임 레이트에서는 960 fps로 영상을 획득한다. 1009단계에서는 두번째 프레임 레이트 (영상의 특성)에 따라 렌즈의 포커싱 (focusing)을 다시 조절한다 (그림 7). 1011은 영상 녹화 기능의 종료 여부를 확인하는 단계이다. 1013단계는 다수의 첫 번째와 두 번째 프레임들 중 최소 한 개의 프레임 레이트을 사용하여 한 개 이상 물체와 관련된 동영상을 제공한다.

전문 영상 촬영 장비는 정밀한 세팅을 요구하지만, 삼성전자의 스마트폰은 ‘슬로우 모션’ 기법을 통해 경험이 부족한 사용자뿐만 아니라 전문가들 모두 중요한 순간을 촬영할 수 있게 되었다. 즉, 삼성전자의 스마트폰은 일반 사용자부터 전문가까지 쉽고 빠르게 동영상을 촬영할 수 있는 동반자가 됐다. 또한, 삼성전자는 본 특허 등록을 통해 애플, 소니 및 샤오미 등의 스마트폰 회사들과 견줄만한 기술력을 확보하였다.


특허법인ECM

변리사 김시우

swkim@ecmpatent.com

02-568-2670

2020-12-18

출원번호

10-2019-0038612

출원일자

2019.04.02

출원인

네이버웹툰컴퍼니 주식회사

공개/등록번호(일자)

10-2020-0116767(2020.10.13)

발명의 명칭

딥러닝 기반 컬러링 방법, 시스템 및 프로그램


2015년 10월 말 페이스북은 ‘Style Transfer’라는 기술을 발표했다. ‘Style Transfer’ 기술은 사진이나 동영상을 고흐, 램브란트, 뭉크 및 피카소 등과 같은 화가들의 그림 스타일로 변환시켜주는 기술이다 (그림 1) [1].

그림1. Style Transfer 기술의 적용 예시


기술은 과거에 휴대폰 카메라를 이용하여 스케치 등과 같은 단순한 영상 효과만을 적용되었던 것과 비교하면 인공지능 기술을 적용하여 더욱 다양한 표현이 가능하게 되었다. 페이스북은 ‘Style Transfer’ 기술을 스마트폰에서 실시간으로 변환하기 위해 인공지능 최적화 기술에 집중하였다. 이로 인해, 스마트 폰 환경 수행할 수 있도록 1/100의 크기로 줄였으며, 초당 20fps가 가능해졌다.


페이스북이 실시간 동영상에 주목하는 이유는 미래의 인터넷 트래픽 중 70% 이상을 동영상이 차지할 것이라고 예상하고 있기 때문이다. ‘Style Transfer’ 기술을 이용한 사용자들만의 창조적인 스타일로 표현된 동영상들은 눈길을 끌게 되고, 페이스북 방문을 높이는 결과로 나타나게 될 것이다. 즉, ‘Style Transfer’ 기술은 페이스북의 수익을 창출하게 만들어 줄 것이라고 믿고 있다. 네이버웹툰 주식회사도 딥 러닝 기반 ‘Style Transfer’ 기술을 웹툰에 접목하고자 시도 중이다 [2]. 따라서 본 특허는 딥 러닝 기반 ‘Style Transfer’ 기법을 애니메이션 또는 만화 콘텐츠 분야에 적용하는 기술에 대한 원천기술을 확보하고자 출원한 것으로 보인다.


그림 2는 본 특허의 메모리 네트워크 및 컬러링 네트워크의 동작을 설명하기 위한 흐름도이다.

기존의 컬러링 모델은 단점인 희귀한 경우를 무시하고, 데이터를 일반화하고자 가장 빈번하게 나타나는 색을 학습한다. 하지만 희귀한 경우를 기억하는 것은 컨텐츠에 다양한 등장 인물이 등장할 때 중요하다. 예를 들어, 조연 캐릭터 등장 시 색칠 네트워크에서 무시되어 조연 캐릭터들이 주연 캐릭터들처럼 색칠되는 도미넌트 (dominant) 효과가 발생한다. 이러한 기존의 컬러링 모델을 극복하기 위해 본 특허에서 제안한 컬러링 모델은 메모리 네트워크와 컬러링 네트워크로 구성된다. 본 특허의 컬러링 모델은 희소한 경우를 저장하고, 제한된 데이터로 고품질의 색상을 생성하기 위해 메모리 네트워크를 사용하며 컬러링 네트워크를 이용하여 보완한다. 보강된 컬러링 네트워크 기법이 기존 컬러링 기법의 문제점을 극복할 수 있는 본 특허의 핵심 기술이라고 할 수 있다. 메모리 네트워크는 추가적인 클래스 라벨 정보 없이 비지도 학습 (unsupervised learning)을 이용하기 위해 임계 삼중 손실 (threshold triple loss)를 사용한다. 컬러링 네트워크는 색상화 성능을 향상시키기 위해 적응적 인스턴트 정규화 (adaptive instance normalization)를 이용한다.

그림2. 딥 러닝 기반 컬러링 방법


그림 3은 본 특허의 서버의 내부 구성을 나타내는 도면이다. 메모리 네트워크 (210)는 컬러링 네트워크 (220)에 입력으로 주어지는 쿼리 이미지를 동일하게 입력 받는다. 메모리 네트워크 (210)는 입력 받은 쿼리 이미지를 컬러링하는데 필요한 정보를 도출할 수 있도록 학습되며, 메모리 네트워크 (210)의 구성은 키, 메모리, 값 메모리 및 각기 다른 에이지의 3가지 종류의 정보로 이루어져 있다. 여기서 키 메모리는 입력 데이터의 공간 피쳐 (Spatial Feature)에 관한 정보이며, 입력 쿼리와의 유사성을 계산하는데 사용된다. 값 메모리는 추후 컬러링 네트워크의 조건으로 사용되는 컬러 피처 (Color Feature)를 저장한다. 이 두 메모리는 학습 데이터에서 추출된다. 에이지는 메모리에 저장된 항목의 수명을 나타낸다.

그림 3. 서버의 내부 구성


'Style Transfer'는 딥 러닝을 통해 목적에 따라 무한대에 가까운 스타일을 생성한다. 단순히 원본 이미지의 톤과 색만을 보정하는 게 아닌 학습된 스타일로 재해석하는 새로운 이미지를 만들어낸다. 이 기술은 디자이너를 별도 고용하지 않더라도 쉽게 독창적인 일러스트를 만들도록 지원이 가능해졌다. 또한, 딥 러닝을 이용하여 만들기 때문에 24시간 365일 사용할 수 있다. 네이버웹툰 주식회사는 지금 당장 필요한 기술인 웹툰을 시작으로 ‘Style Transfer’을 적용했지만, 이 기술이 추후에 다양한 분야에 파생되어 각 분야의 디자이너들을 대체할 수 있을지 귀추가 주목된다.


특허법인ECM

변리사 김시우

swkim@ecmpatent.com

02-568-2670

2020-12-08

출원번호

16/278,567

출원일자

2019.02.18

출원인

Samsung Electronics Co., Ltd.,

공개/등록번호(일자)

US 2020/0265555(2020.08.20)

발명의 명칭

APPARATUS AND METHOD FOR DETAIL ENHANCEMENT IN SUPER-RESOLUTION IMAGING USING MOBILE ELECTRONIC DEVICE


2013년에 스마트폰 회사들 중 팬택은 ‘풀HD’ 스마트폰을 선보였다. 팬택은 일본 전자업체 샤프로부터 풀HD 디스플레이를 공급받아서 5.9인치 풀HD 스마트폰을 공개했다. LG전자도 LG디스플레이에서 제공하는 풀HD 디스플레이를 탑재한 5.5인치 ‘옵티머스G 프로’를 선보였다.

해외에서는 이미 풀HD 경쟁이 시작되었으며, 대만 HTC는 2012년 풀HD 디스플레이를 장착한 스마트폰을 선보였다. 일본 소니는 소비자가전전시회 (CES 2013) 에서 5인치 풀HD 디스플레이를 탑재한 스마트폰 ‘엑스페리아 Z’를 선보였다.

풀 HD 디스플레이를 장착한 스마트폰은 기존 HD급이나 SD급에 비교하여 화질이 얼마나 좋을까? 그림 1에서 보는 바와 같이 스마트폰 디스플레이에서 HD 화질과 풀HD 화질의 차이는 해상도에 따라 다르다.

그림1. HD화질과 풀 HD화질의 차이 [1]


스마트폰 디스플레이는 작은 점인 픽셀로 이루어져 있다. ppi (Pixel Per Inch)는 1인치 가로 x 세로 1인치의 넓이당 픽셀의 수를 의미한다. 예를 들어, 가로 1920개, 세로 1080개로 구성되어 있는 디스플레이를 풀HD급이라고 한다 (표 1). 동일한 인치수의 디스플레이에 픽셀이 많이 들어갈수록 화질은 뛰어나다.

표1. 픽셀에 따른 해상도 분류


스마트폰 초창기에는 4인치 화면 크기가 지금은 6.5인치로 커졌다. 신제품이 나올수록 화면은 조금씩 커졌다. 스마트폰 제조회사 (Apple)는 사용자들의 욕구를 반영한 결과 대화면 스마트폰 출시를 결정하게 되었다고 밝혔다. 40대 이상 세대는 대화면 스마트폰을 전화나 문자, 카카오톡과 같은 메신저만을 사용하면서 보조적인 수단으로 사용하기 때문에 구매율은 높지 않다. 또한, 기성세대는 개인용 컴퓨터로 디지털을 시작했으며, 스마트폰은 보조수단으로 사용하고 있다. 이에 반해, 20대 세대는 어릴 때부터 스마트폰을 이용하고 동영상을 보고 자란 세대이므로 컴퓨터보다 모바일이 더 편한 스마트폰 1세대라고 할 수 있다 [3]. 따라서 스마트폰 제조회사들은 구매율이 높은 20대의 의사를 반영하였다고 판단할 수 있다.

2019년도 스마트폰의 트렌드는 고해상도 디스플레이를 탑재한 스마트폰들이다. 화면 크기가 클수록 해상도도 높아져야만 한다. 화면 크기에 적합한 해상도를 갖추지 못하면 화면이 흐려진다. 2020에는 스마트폰 시장에서 고주사율 화면이 대세가 되었다. 기존 스마트폰 화면 주사율 60Hz (1초에 60번 화면 재생)였지만, 고주사율 화면은 두 배 (120Hz)가 되었다. 스마트폰 내 고주사율을 2배로 증가한 만큼 화면이 더 부드럽게 표현할 수 있다. 삼성전자는 스마트폰의 고해상도와 고주사율에 관련된 기술 확보를 통해 시장 점유율을 높이고자 본 특허를 등록한 것으로 보인다.


본 특허에서 제안한 초고해상도 (Super Resolution, SR) 기술 적용 과정은 그림 6과 같이 나타낸다. 초고해상도 과정 (600)에서 최소 한 개의 영상 센서 (602)를 사용하여 베이어 영상 패턴의 Raw 이미지 형태의 프레임들 (604)로 변환시킨다. 이미지 신호 프로세서 (606)은 Raw 이미지 형태의 프레임들 (604)을 처리한 이미지 프레임들 (608)로 만든다. 이미지 신호 프로세서 (606) 과정에서 디모자이킹, 잡음 제거, 자동 노출 조정, 자동 초점 조정 및 자동 화이트 밸런스 조정이 적용된다. 이를 통해, (608)에서는 휘도 (Luminance)와 색차 (Chrominance) 영상을 YUV 프레임 형태로 얻을 수 있다. 색차 추출 연산자 (610)은 (608)로부터 색차 데이터를 획득하기 위해 영상 프레임 (608)을 처리한다. 즉, (610)은 YUV로부터 색차 데이터 U와 V를 추출한다. 업스케일링 연산자 (612)는 색차 데이터를 받은 후, 업스케링 기법이 적용된 색차 데이터 (614)를 생성한다. 본 특허에서는 다양한 보간 기법 중 가장 적합하다고 판단되는 쌍선형 보간 (Bilinear Upscaling)이 사용하였다. 휘도 추출 기법 (616)은 YUV 프레임 형태로부터 Y 성분만을 분리한 후, 멀티프레임에 (multi-frame) 초고해상도 (618)를 적용한다. 이 과정을 통해 업스케일링 된 휘도 데이터 (620)를 획득한다. 업스케링 기법이 적용된 색차 데이터 (614)와 업스케일링 된 휘도 데이터 (620)의 결합을 통해 (608)보다 고해상도의 영상을 획득할 수 있다.

지금까지 120 Hz의 고주사율 성능을 나타내는 스마트폰은 레이저, 레이저폰2를 비롯한 게이밍 스마트폰에 주로 탑재되었지만, 10대부터 20대들은 스마트폰을 이용하여 영화나 동영상 콘텐츠의 사용 증가로 인해 고해상도 및 고주사율의 성능을 갖춘 스마트폰의 수요가 증가하고 있다. 오포 파인트X2, 리얼미 X50 5G 및 원플러스 원플러스8프로 등 2020년형 스마트폰 신제품에 모두 120 Hz가 탑재되었다. 2020년 2월에 공개된 삼성전자 갤럭시S시리즈도 화면 주사율이 120 Hz이다. 한 때 세계 1위의 핸드폰 기업이었던 노키아가 스마트폰 시장을 선도했지만, 시장을 리딩하지 못하고 점차 시장에서 존재감을 잃어버렸다 (그림 2) [4]. 스마트폰 시장은 교체 주기도 빠르고, 기술 발전 트렌드도 빠르게 변화한다. 삼성은 스마트폰 시장을 지속적으로 선도하기 위해 트렌드에 따른 기술들을 경시할 수 없다. 삼성전자가 스마트폰의 트렌드에 따른 기술력 확보를 위한 본 특허를 출원했고, 이는 삼성 스마트폰 경쟁력을 더욱 강력하게 만들어 줄 것이다.

그림2. 노키아의 몰락


특허법인ECM

변리사 김시우

swkim@ecmpatent.com

02-568-2670

2020-12-07

출원번호

16/277,630

출원일자

2019.02.15

출원인

Samsung Electronics Co., Ltd.,

공개/등록번호(일자)

US 2020/0267300(2020.08.20)

발명의 명칭

SYSTEM AND METHOD FOR COMPOSITING HIGH DYNAMIC RANGE IMAGES


2020년 코로나19의 영향으로 인해 스마트폰과 TV 등을 이용한 여가활동은 급격하게 증가하였다 (그림 1) [1]. 코로나19는 “사회적 거리 두기”를 시행하게 만들었고, 한국의 국민들은 스마트폰 또는 TV를 이용하여 유투브 (YouTube) 또는 넷플릭스를 시청하거나 영상통화를 이용함에 따라 스마트폰 사용시간이 증가한 것으로 보인다.

그림1. 코로나 19 이후 시간을 할애하는 여가활동 [1]


자연에는 빛이 전혀 없는 완전한 어둠부터 태양 빛에 의해 엄청나게 밝은 범위가 동시에 공존하게 된다. 일반 스마트폰 또는 TV의 디스플레이 장치는 인간의 눈이 볼 수 있는 밝기의 범위보다 제한적인 영역만을 표현한다 [2]. 이로 인해, 실제로 인간의 눈으로 보는 풍경과 디스플레이 장치로 접하는 동일한 풍경의 밝기에는 큰 차이가 발생한다 (그림 3) [3].

그림2. 디스플레이 장치와 인간의 눈의 휘도 수준 비교[2]

그림3. SDR과 HDR의 차이 [3]


HDR 기술은 명암의 범위를 확장시킴으로써 밝은 부분은 더 밝고 세밀하게 표현해주며 어두운 부분은 더 어둡게 표현하여 사물을 더 선명하게 보이도록 하는 이미지 표현 기술이다 (그림 4) [3].

그림4. HDR 기술로 처리된 사진 [3]


HDR 이미지를 구현하기 위해서는 2가지 핵심 요소가 있다. HDR 영상은 ‘HDR 콘텐츠’ 및 ‘HDR 디스플레이’의 2가지 요소를 갖춰야만 구현된 화면을 볼 수 있다. HDR 규격은 영상 재생시 각각의 디스플레이 장치에서 최고의 화질을 보여주기 위해 약속된 규약이 있다. 디스플레이 장치에서는 규약에 따라 콘텐츠를 HDR 효과를 살려 재생하도록 하는 톤매핑 (Tone Mapping)이라는 과정을 사용한다. 영상처리기술과 관련된 여러 회사와 기관들이 HDR 재생에 필요한 디스플레이가 갖춰야 할 일정한 기준을 정해놓았다. 가장 대표적인 규격이 “HDR10”과 “돌비비전”이다 (그림 5) [3].

그림5. HDR10과 돌비 비전의 규격 차이 [3]


삼성전자는 HDR의 성능을 최대한 끌어올릴 수 있는 규격을 세우고 시청자들에게 최고의 시청경험을 제공하기 위해 차세대 표준 규격인 “HDR10플러스”를 발표하였다. 삼성전자가 “HDR10플러스”의 차세대 표준 규격을 선점하기 위해 본 특허를 등록한 것으로 예상해본다.

그림 2B는 각기 다른 노출 시간을 갖는 3장의 영상들로부터 한 장의 HDR 결과 영상이 만들어지는 과정을 나타낸다. HDR 결과 영상 (240)은 짧은 노출 시간 영상 (short-exposure image) (206), 중간 노출 시간 영상 (middle-exposure image) (207) 및 긴 노출 시간 (high-exposure image) (208)을 합성하여 만들어진다. 중간 노출 시간 영상 (207)은 표준 시간으로 촬영된 영상이고, 짧은 노출 시간 영상 (206)은 표준 시간보다 짧은 시간으로부터 획득한 영상이다. 긴 노출 시간 (208)은 표준 시간보다 긴 시간을 할당하여 획득된 영상을 의미한다.

그림 2A는 본 특허에서 제안한 HDR 알고리즘의 순서도 (flow chart)를 나타낸다. 다른 노출 시간으로부터 획득한 영상들 (205)을 입력 영상 (210)으로 사용한다. 블렌딩 맵 (215)은 각기 다른 노출 시간에서 얻은 영상들 (205)로부터 고스트 아티팩트 (ghost artifacts)를 감소시키고, 영상 내 영역들을 동일하게 확인하기 위해 사용한다. 통합 (synthesis) (220)은 고스트 아티팩트가 나타나지 않은 영상을 합성하기 위해 블렌딩 맵 생성 블록 (215)으로부터 0과 1 사이의 가우시안 커브를 블렌딩 맵에 적용한다. 또한, 블렌딩 블록 (225)은 다른 노출 영상들에 따라 두 단계 적절한 가중치를 할당하여 고스트 아티팩트를 추가적으로 감소시킨다. 각기 다른 노출 영상들로부터 고스트 아티팩트를 감소시킨 후, 톤 매핑 (230)과 잡음 제거/외곽선 향상 (235)을 적용하여 HDR 최종 결과 영상 (240)를 얻는다.

2000년대 후반부터 이미지 센서의 성능이 발전함에 따라 HDR 이미지를 촬영한 후 저장할 수 있게 되었다 [4]. HDR 영상 생성 기술은 TV 디스플레이 장치를 거쳐 2016년경에 이르러서 스마트폰의 프로세서가 성능이 향상됨에 따라 HDR 합성에 들어가는 3장의 사진을 딜레이 없이 빠르게 찍을 수 있게 되었다. 즉, HDR 기능을 자동으로 켜 놓는 수준이 되었다. HD (high definition) 영상을 보다가 SD (standard definition) 영상을 보면 만족할 수 없는 것과 같이 시청자들은 HDR 화질에 익숙해지면 SDR 화질로 찾지 않게 된다 [5]. 앞에서 언급한 바와 같이 스마트폰에 이미 HDR 기술이 적용되고 있으므로 고객들도 SDR 화질만을 나타내는 기기는 구매하지 않을 것으로 예상된다. 삼성전자의 HDR10플러스는 유일하게 로열티 무료의 표준 규격이라는 장점을 가지고 있다. 삼성전자는 HDR10플러스 로열티 무료의 장점을 이용하여 다양한 파트너사들 (아마존, 21세기폭스사 등)과 협력을 강화하여 생태계 구축에 앞장서고 있다. 현재 삼성전자는 HDR10플러스를 로열티 없이 제공하고 있지만, 추후에 삼성전자의 HDR 기술은 애플이 사용했던 부분 유료화 비즈니스 모델을 할 가능성을 배제할 수 없다. 삼성전자의 HDR10플러스의 차세대 표준 규격을 위한 기술을 확보하기 위해 본 특허를 출원한 것으로 보인다.


특허법인ECM

변리사 김시우

swkim@ecmpatent.com

02-568-2670


2020-12-03

출원번호

16/908,528

출원일자

2020.06.22

출원인

Microsoft Technology Licensing, LLC

공개/등록번호(일자)

US 2020/0320301(2020.10.08)

발명의 명칭

CONTEXT-AWARENESS


최근 대형 마트에 방문하여 물건 구매 후, 물건을 셀프 계산대에서 계산을 구매 해본 적이 있는가? 셀프 계산대란 고객들이 스스로 계산을 하는 장소이다. 이는 마트 내 장소를 더 효율적으로 만들었을 뿐만 아니라 관리자 1명만 필요하므로 인건비를 감소시켰다. 또한, 사람들은 점점 셀프 계산대에 익숙해짐에 따라 추후에는 중앙관리자만이 존재할 수도 있다는 예측이 가능하다. 미국에서는 2016년을 기점으로 무인 매장이 아마존에 의해 등장하였으며, 운영되어오고 있다.


마이크로소프트사는 무인 매장 시스템을 상용화하고자 상황인식 컴퓨팅 (contexture-aware computing) 기술을 이용하였다. 상황인식 컴퓨팅은 1991년부터 시작되었으며, 유비쿼터스 컴퓨팅과 다르게 인간 세계의 의사 소통과 거의 동일한 수준으로 인간과 컴퓨터간의 의사 소통이 가능하도록 한다는 목표에서 출발하고 있다. 간단한 기술인 “셀프 계산대”도 인력 감축과 효율성을 향상시켰는데, 마이크로소프트사는 상황인식 컴퓨팅 기술을 무인 마트 시스템에 어떻게 적용시키고자 했을까?


마이크로소프트는 다가오는 미래에 상황인식 컴퓨팅 시스템이 무인 매장 내에서 상용화가 확대될 것으로 예상하여 기술을 선점하기 위해 특허를 등록하였다 (그림 1A).

그림 1A에서 보는 바와 같이 카메라의 얼굴 인식 (face recognition) 기술은 저장된 Jane 사진과 실제 Jane (102(1))가 동일한 인물인지 확인한다. Mary가 Jane을 인식하는 영역에 카메라의 정해진 영역 내 나타났을 때, 카메라는 Mary에 대해 상황인식을 시작한다. 센서 (120)은 고객의 스마트폰 (114)와 스마트 워치 (116)과 통신을 통해 고객의 위치와 동선을 파악한다. 

그림 1F에서 “Mary는 1.59달러 또는 2달러 가격의 X 브랜드 타월을 3달러에 구매할 수 있을까?” Mary의 스마트 워치에 문의한다. 상황인식 컴퓨팅은 Mary의 질문에만 적절한 답변을 하는 것이 아니라 대안적인 응답을 Mary에게 다음과 같이 제시한다. “Y 브랜드는 타월은 오늘 고객님 (Mary)은 1달러로 구매할 수 있습니다.”라는 추가적인 정보를 제공한다. 이를 통해 마이크로소프트사의 상황인식 컴퓨팅 특허는 고객의 만족도를 높이고, 회사의 높은 이윤을 제공하게 된다.


그림 4는 마이크로소프트사의 상황인식 컴퓨팅 시스템에 대한 특허를 설명한다. 본 시스템은 카메라 (118), 와이파이를 포함하는 센서 (120) 및 스마트폰 (114) 또는 스마트 워치 (116)와 같은 고객의 개인 장치들 (112)으로 구성된다. 그림 5는 매장 내 고객들의 모바일 장치들을 이용하여 고객들을 위치 파악 및 질문에 대한 응답하기 위한 상황인식 컴퓨팅 기술에 대한 흐름도 (flowchart)를 나타낸다. 그림 6은 고객, 물체 및 고객과 상품들 간의 관계를 확인하기 위해 매장 내 설치된 다양한 센서들로부터 획득된 데이터를 처리하는 시스템에 대한 흐름도이다.

2016년도를 시작으로 아마존은 미국 워싱턴주 시애틀에 첫 무인마트 “아마존 고 그로서리”를 개장하였다. 본 마트는 카메라, 센서 및 소프트웨어를 활용해 약 5000개의 상품을 취급하며, 결제 방식도 장바구니에 넣기만 하면 대금이 자동으로 청구된다. 또한, 매장 내 설치된 카메라로 고객과 상품의 움직임을 추적한다. 2016년에 첫번째 무인마트인 “아마존 고”를 시작으로 4년이이라는 세월이 지났다. 아마존과 월마트는 “무인점포” 시장에서 맞붙었으며, 전세계적으로 시장 점유율이 증가하고 있는 추세이다. 시장의 흐름을 맞추어 수익을 창출하기 위해 미국, 중국, 일본 및 유럽 등 내 수 많은 회사들이 “아마존 고”와 같은 시스템을 상용화하고자 노력하고 있다. 마이크로소프트사는 무인 매장 시장에 당사의 시스템을 상용화하고자 본 특허를 출원한 것으로 보인다.



특허법인ECM

변리사 김시우

swkim@ecmpatent.com

02-568-2670

2020-12-02

출원번호

10-2018-7026401

출원일자

2017.03.10

출원인

페이스북 테크놀로지스, 엘엘씨

공개/등록번호(일자)

10-2062658(2019.12.30)

발명의 명칭

안구 모델을 생성하기 위한 각막의 구체 추적


코로나19는 전세계의 일상을 바꾸어 놓았다. 자의적과 타의적 언택트를 경험하게 되었고, 다른 사람과 쉽게 만날 수 없게 되었다. ‘현실 소통’은 닫히게 되었고, 채팅, 문자, 전화 등 다양한 ‘소통 수단’을 이용하여 사적 및 사회적 소통을 하고 있다 (그림 1). 

그림1. 코로나19로 인해 변화된 소통


VR산업은 기술적 높은 진입 장벽과 콘텐츠 부족으로 침체기를 겪어오고 있다. 특히, VR 기술이 왜 필요한지 필요성을 설득시키지 못했기 때문에 더 이상의 보급과 진전이 이루어지지 않았다. 하지만 코로나19로 인해 비대면 시대에 접어들면서 어느 때보다 시공간을 초월한 소통의 수단이 필요해졌다. 코로나 시대는 VR 기술과 기기가 다시 주목 받는 이유가 되었다.


코로나19 발생 전 VR기술을 통한 소통에 주목한 IT기업들은 VR 산업에 투자하였고, 이와 관련된 기술력을 꾸준히 발달시켜 오고 있다. 이 분야에서 가장 큰 두각을 나타내는 IT기업은 페이스북이다. 페이스북은 2014년 VR 헤드셋 개발 업체 오귤러스를 인수하며, VR 산업에 뛰어들었으며, 2017년 가상 소셜 플랫폼 ‘페이스북 스페이스’를 발표했다. 기술력의 부족으로 커뮤니케이션으로 확장하는데 한계가 있었지만, 가상세계에서 타인들과 소통할 수 있는 SNS나 채팅이 아닌 다른 매개체를 만들었다는 점에서 의미가 있다 (그림 2).


그림2. 영화 '발레리안 천 개 행성의 도시'에서 VR을 이용한 장면


페이스북은 VR 기술을 이용한 커뮤니케이션 환경을 구축하기 위해 지속적으로 투자하였고, 2019년 9월 ‘페이스북 호라이즌’을 선보였다. ‘페이스북 호라이즌’은 VR 헤드마운트를 착용하면 눈 앞에 가상공간이 펼쳐지고, 이 가상공간에서 친구, 친척 및 가족 등과 만나 이야기를 하거나 함께 게임을 즐기고 영화를 감상할 수 있다. 페이스북은 실제 모습을 VR 환경에서 구현하기 위해 VR 사업에 약 6000천억을 투자하는 등 VR 사업을 미래의 먹거리로 여기고 있다. 본 특허는 안구 추적 기법을 이용하여 현실 같은 VR 환경을 구축하기 위해 출원하였다.


그림 3은 안구 추적 시스템을 사용하여 VR 기기 사용자의 응시 방향을 결정하는 프로세스의 플로우 차트이다. 안구 추적 시스템은 광학 센서 (366)로부터 공지된 위치에 배치된 2개의 조명 소스 (362, 364)를 켜서 사용자의 안구를 조명한다 (410) (그림 5). 이를 통해 2개의 조명 소스는 안구의 각막이 빛을 반사하도록 사용자의 안구에 입사하는 광을 방출한다. 현 시점에서 캡처된 사용자 안구의 각막 반사는 기준 안구의 각막 반사와 비교하여 사용자 안구의 각막 구체 (310)에 대한 안구 모델에서 다른 파라미터를 추정한다 (420). 단계 (430)에서 적어도 2개의 조명 소스로부터 각막 반사를 포함한 캡처된 이미지에 기반하여 각막 구체 (310)의 반경을 추정한다. 단계 (440)은 VR 기기의 사용자가 각각의 교정 타켓을 바라보는 동안 각막 구체의 위치를 결정하고 기록한다.


그림 4는 안구 모델을 이용하여 VR 기기 사용자의 응시 방향을 결정하는 프로세스의 흐름도이다. 그림 5의 각막 구체 (310)의 반경 및 원점 정보를 이용하여 안구 모델 정보를 획득한다 (510). 단계 (520)은 앞에서 언급한 단계 (420)과 동일한 과정을 수행한다. 단계 (530)에서는 시청자가 HMD의 컨텐츠를 보는 동안 사용자의 각막의 하나 이상의 각막 반사 영상을 캡처한다. 여기서 각막 반사 영상은 2개 이상의 조명 소스로부터 획득한 영상이다. 마지막으로 캡처된 이미지의 각막 반사 데이터를 사용하여 사용자의 응시 방향을 결정한다 (540). 여기서 각막 반사 데이터는 각막 반경 및 원점 정보로부터 획득된 안구 모델 정보를 기반으로 추정된다.


그림3. 안구 모델 생성 프로세스

그림4. 사용자의 응시 방향 결정 프로세스

그림5. 안구 모델을 생성하는 안구 추적 시스템


코로나19가 장기화됨에 따라 사람들은 전화나 채팅 등과 같은 물리적인 거리를 전제로 단순히 음성, 문자 및 영상을 이용하여 대화를 하는 이상의 수준을 요구하게 될 것으로 예상된다. 소셜 VR 기술은 가상현실에서 직접 만났다는 느낌을 줄 수 있다. 코로나19의 종식 시기를 예측할 수 없는 가운데 비대면 시대가 지속됨에 따라 VR 시장의 성장성과 미래의 가치는 성장할 것을 보인다. 페이스북은 과거에 예상치 못했던 현재 상황 (코로나19)을 통해 앞선 VR 기술을 기반으로 시장에서 높은 수익을 올릴 수 있을지 귀추가 주목된다.


특허법인ECM

변리사 김시우

swkim@ecmpatent.com

02-568-2670

2020-12-01

출원번호

16/703,660

출원일자

2019.12.04

출원인

Tesla, Inc

공개/등록번호(일자)

US 2020/0175326(2020.06.04)

발명의 명칭

Enhanced object detection for autonomous vehicles based on field view


과학이 두 가지 이유로 인류의 행복을 증진시켰다고 볼 수 있다. 첫째, 과학 기술은 인류의 행복 증진에 기여하였다. 이로 인해, 인류는 지난 500년 동안 폭력과 비참한 생활이 감소했고, 수명은 증가하였다. 둘째, 발전된 과학 기술은 인류의 많은 부분에 편리함을 제공하였다. 예를 들어, 이동 시간을 더 단축시켜줄 이동 수단의 발달과 생활하는 공간의 변화 등이 아주 짧은 시간이 인류에 다가왔다 (그림 1). 

그림1. 과학 기술 발전으로 인한 인류의 기여


자동차의 개발과 보급을 통해 인류에게 산업화 발전과 편리함을 가져다 주었지만, 미국의 전기차 제조업체 테슬라는 자율주행 기술을 통해 발전과 편리함을 향상시키고자 한다. 

테슬라가 완전자율주행 (Full Self Driving: FSD) 기술 [1]의 베타서비스를 시작하였다 (그림 2). 또한, 테슬라측은 10월 20일 S/W 업데이트를 통해 한정 고객을 대상으로 FSD 베타서비스를 제공하였으며, FSD 기술을 사용해본 운전자들의 후기가 유투브 (YouTube)와 같은 소셜미디어를 통해 업로드 되고 있다. 공개된 테슬라의 FSD 기술을 보면 “업데이트된 FSD가 작동하면 당신의 차량은 방지턱에서 속도를 감소시키고, 네비게이션 경로에 따라 이동할 분기점을 선택하여 차선을 변경하고 좌회전, 우회전을 한다 (그림 3). FSD 기술이 업데이트 될수록 자율주행 성능이 점차 향상되고 있다. 

그림2. FSD 컴퓨터

그림3. 테슬라의 자율주행 테스트


테슬라는 FSD 베타서비스 출시와 함께 완전자율주행 패키지 가격을 약 908만원에서 약 1135만원으로 인상할 예정이라고 언급하였다. 이를 통해, 향후 테슬라의 완전자율주행 패키지의 기능이 안전화되고, 추가된다면 가격이 더 오를 가능성을 배제할 수 없다.

그림 4에서 보는 바와 같이 자율주행기술은 총 6단계로 이루어져 있다. 테슬라의 창업자 일론 머스크는 세계인공지능회의 (WAIC)에서 “테슬라의 자율주행기술은 레벨 5에 매우 근접해”있다며 올해 안으로 이를 달성할 것이라고 확신하였다 [3]. 레벨 5단계란 완전 자율주행 (High Automation)으로 탑승자는 목적지만 입력하며, 시스템이 모든 조건에서 주행을 담당하는 단계를 의미한다. 테슬라는 자율주행 기술에 관련된 특허를 등록함으로써 원천기술을 확보하고자 하는 것으로 보인다.

그림4. 자율주행기술의 단계별 분류


그림 5A는 테슬라에서 제안한 물체 인식을 위한 블록 다이어그램이다. 입력 영상 (502)는 합성곱 신경망 (convolutional neural network, CNN) (504A)을 적용하여 이미지 특징 (506)을 얻는다. 이미지 특징 (506)은 입력 영상 (502)의 특징 맵 (feature map)을 획득한다. 선 정보 (line information) (508)은 영상 내 사각형 형태의 관심 영역 (region of interest, ROI) (510)을 획득하였다. 관심 영역 영상 (510)은 CNN B(504B)를 이용하여 관심 영역의 특징 (512)을 추출한다. 영상 전체의 특징 (506)과 관심 영역 영상 내 특징 (510)을 결합하여 특징들이 통합된 영상 (514)를 얻는다. 이미지 특징들이 결합된 영상 (514)에 CNN C(504C)를 이용하여 물체들이 분류된 결과 정보 (516)를 최종적으로 획득한다. 

그림 5A


그림 5A의 블록 다이어그램을 적용하면 그림 4와 같이 물체 (자동차)를 인식 할 수 있다. 간략하게 설명하면 고해상도 (high resolution) 영상 (202)을 카메라로부터 얻은 후, (204)에서 보는 바와 같이 전체 영상으로부터 시야각 (field of view, FOV)이 결정된다. 전체 고해상도 영상에서 FOV를 기반하여 ROI 영상을 생성한다 (206). 고해상도 영상 (202)에서 ROI 영역의 부분이 아닌 영상의 나머지 부분은 다운 샘플링 (downsamples)하여 저해상도 (low resolution) 영상으로 만들어준다 (208). 물체 (자동차)를 탐색하기 위해 고해상도 ROI 영상과 저해상도 영상의 동시에 처리하는 결과 영상을 사용한다 (210). (212)에서는 탐지기 (detector)를 통해 각각의 영상 (고해상도 ROI 영상과 저해상도 영상)으로부터 탐지된 물체들 (자동차)의 결합된 결과 영상을 생성하여 한번에 결과를 처리한다. 

2019년도 테슬라는 2020년까지 약 1백만 대의 ‘로봇택시’를 상용화하겠다고 밝혔다 [4]. 이와 함께 테슬라는 ‘로봇택시’에 이용하게 될 자율주행의 모습을 공개했다. 테슬라의 ‘로봇택시’는 에어비앤비와 우버를 혼합한 형태로 운영되도록 비즈니스 모델을 구축하고 있다. 본 비즈니즈 모델은 테슬라 차량 소유주가 ‘테슬라 네트워크’에 차량을 등록하면 자동차를 사용하지 않은 시간 동안 자율주행 기술을 통해 스스로 택시를 운영하게 된다. 이를 통해, 발생된 금액은 소유주가 7, 테슬라측이 3의 비율로 나눠 가질 예정이다. 테슬라의 자율주행 기술력을 기반으로 비즈니스 모델을 통해 수익을 본 테슬라 차량의 소유주가 나타나기 시작하면 테슬라 차량의 전세계 점유율은 상승될 것이라 기대된다. 일론 머스크가 언급한 “앞으로 테슬라 외에 다른 차를 소유하는 건, 마치 말을 사는 것과 마찬가지”라는 말이 실현될지 귀추가 주목된다. 테슬라는 미래의 자율주행 기술 확보와 비즈니즈 모델 기반으로 자동차 산업 점유율을 높이기 위하여 본 특허를 출원한 것으로 보여진다. 


특허법인ECM

변리사 김시우

swkim@ecmpatent.com

02-568-2670

2020-11-29

출원번호

10-2020-0045543

출원일자

2020.04.14

출원인

삼성디스플레이 주식회사

공개번호(일자)

10-2020-0124163(2020.11.02)

발명의 명칭

롤러블 표시 장치

2020년 4월 14일 삼성디스플레이는 롤링 시 표시 모듈의 각 구성요소에 인가되는 스트레스가 완화되어 동작 신뢰성이 향상된 롤러블 표시 장치에 대한 특허를 출원했다.

기존의 롤러블 표시 장치는 표시 모듈이 감기거나 풀릴 때 표시 모듈에 스트레스가 가해져, 감압성 접착제가 표시 패널, 윈도우 및 지지 기판과 분리되거나, 표시 패널, 윈도우, 및 지지 기판에 쉽게 크랙이 발생하였다.

삼성디스플레이 특허에 의하면, 표시 패널 및 윈도우 사이, 지지 기판 및 표시 패널 사이 중 적어도 하나에 양전하를 갖는 제1 고분자층 및 음전하를 갖는 제2 고분자층으로 구성된 점착층을 배치하여, 양전하를 갖는 제1 고분자층 및 음전하를 갖는 제2 고분자층이 정전기력에 의해 서로 점착시켜, 감기거나 풀리면서 스트레스가 인가되는 경우, 정전기력에 의해 점착되어 있는 제1 고분자층 및 제2 고분자층은 서로 분리되지 않으면서도, 서로 미끄러져(sliding) 미세하게 이동할 수 있도록 했다.

제1 고분자층 및 제2 고분자층이 서로 미끄러져 미세하게 이동 될 때 표시 모듈에 인가된 스트레스가 흡수되므로,  점착층이 분리되거나, 표시 패널, 윈도우, 및 지지 기판에 크랙의 발생이 감소되고, 표시 장치의 동작 신뢰성이 향상될 수 있다.

롤러블 디스플레이와 필수 요소부품 및 시스템


롤러블 디스플레이 응용


롤러블 플렉시블 소자 제작의 경우, 기존 방식과 달리 마이크로 선 패턴을 구현하는 새로운 공정 기술이 필요하여, 이미 고급 장비의 기반기술을 확보하고 있는 선진국에서는 소재 개발과 생산 장비를 유기적으로 개발이 가능하지만 국내 기술수준은 아직 초보적 수준이다.

그러나, 삼성 디스플레이는 유기 박막형성 기술 분야, 소자 기술 및 구동회로기술 분야에서, 많은 기술과 특허를 보유하고 있기 때문에 단기간 내에 제품화 가능성이 크다.

롤러블 표시장치는 전통적인 디스플레이 분야 이외에 새로운 적용(Application)으로 운반이 쉽고 공간적인 제한이 없는 디스플레이 기능을 구현하므로, 필요한 사이즈만큼 화면을 꺼내 쓸 수 있어 장차 다양한 용도로 사용될 것으로 기대되는 디스플레이 기술이다.

디스플레이 제품 기능이 융복합화됨에 따라, 이에 대응한 롤러블 디스플레이의 개발이 필요하며, 이를 통한 고부가가치의 Mobile phone, 두루마리 TV, 전자현수막 등의 지속적인 성장이 가능하여 융합 신시장 확대가 예상된다.


특허법인ECM

변리사 김시우

swkim@ecmpatent.com

02-568-2670

Copyright © 2019 by ECM IP&LAW FIRM . All Rights Reserved.

ECM IP&LAW FIRM
3F, 13, Teheran-ro 70-gil,
Gangnam-gu, Seoul,

Republic of Korea