2021-01-13
출원번호10-2018-0146628
출원일자2018.11.23
출원인네이버 주식회사
등록번호(일자)10-2020-0063364(2020.06.05)
발명의 명칭

시계열 의료 데이터를 통한 질병 예후 예측을 위한 딥 뉴럴 네트워크의 분류 결과 시각화 방법 및 시스템


 구글이 인수한 회사 딥마인드 (DeepMind, 2014년)가 최근 공개한 딥 러닝를 이용한 ‘알파폴드’는 ‘단백질의 3차원 구조를 예측하는데 성공하였다.’고 발표하였다. 복잡한 단백질의 3차원 구조를 딥 러닝 기술 기반 ‘알파폴드’가 예측함으로써 바둑, 스타크래프트 등과 같은 단순한 게임에만 우수한 성능을 나타내는 줄 알았지만, 기초과학 분야까지 진출하였다.  

 한국 내 기업들은 이러한 변화 속에 어떠한 노력들을 하고 있을까?

 네이버, 카카오, 한글과 컴퓨터 및 포스코 등 다양한 업종의 속한 기업들이 헬스케어 산업에 투자하고 있다 (그림 1). 네이버를 제외한 회사들은 그림 1에서 보는 바와 같이 각 기업이 목표를 달성하고자 노력 중이다. 네이버는 분당서울대병원, 대웅제약과 협약한 후, 인공지능을 적용한 의료 빅데이터 활용하는 방법을 탐색해오고 있다. 분당서울대병원에서 보유한 의료 빅데이터와 대웅제약의 헬스케어 전문 지식을 활용하여 네이버는 맞춤형 진단 치료 예방 모델을 구축하고, 정밀 의료 플랫폼을 구축하는 중이다. 한국은 헬스케어 산업 내 플랫폼을 구축하여 환자에게 실질적인 맞춤 진료를 제공할 계획이다.


그림 1. 디지털 헬스케어 시장의 성장과 사업 진출


 본 특허를 통해 네이버측은 맞춤 진료에 필수적인 기술을 딥 러닝을 이용하여 질병 예측 기술력에 대한 원천 기술을 확보할 수 있게 되었다. 특허의 내용은 RNN (Recurrent Neural Network)과 어텐션 (attention)을 이용한 기법 기반 전자 건강 기록 (electronic health record, EHR)의 질병 예측 모델을 제공하고자 한다.

 제안된 알고리즘의 흐름도는 그림 2와 같다. 본 알고리즘은 환자의 의료 데이터를 시간 순의 시계열 데이터인 시퀀스 형태로 표현하는 시퀀스 데이터 생성 단계, RNN 및 어센션 네트워크를 이용한 질병 예측 모델을 통해 시퀀스 데이터 내 질병을 예측하는 단계, Grad-CAM (gradient-weighted class activation map)을 이용하여 환자의 질병 예측에 대한 시퀀스 데이터의 어텐션 가중치를 시각화 단계로 구성된다.

 단계 (S310)에서 프로세스(110)은 질병 예후 예측 기법을 위한 프로그램 파일에 저장된 프로그램 코드를 메모리 (120)로부터 로딩할 수 있다 (그림 3). 예를 들어, 질병 예후 예측 기법을 위한 알고리즘은 영구 저장 장치 (130)에 저장되어 있다 (그림 4). 프로세서 (110)은 버스를 통해 영구 저장 장치 (130) 내 저장된 알고리즘으로부터 프로그램 코드가 메모리 (120)에 로딩될 수 있도록 제어한다 (그림 5). 단계 (S320)에서 데이터 처리부 (210)는 환자의 의료 기록으로 시계열 정보를 포함하는 의료 데이터를 시퀀스 형태로 표현할 수 있도록 사전에 처리한다. 즉, 데이터 처리부 (210)는 환자의 의료 기록을 시간 순의 시계열 데이터인 시퀀스 형태의 특징으로 표현할 수 있도록 한다. 이로 인해 해당 환자의 시퀀스 데이터를 생성할 수 있게 된다. 단계 (S330)에서 분류 및 시각화부 (210)는 EHR을 기반 어텐션 네트워크 (EHAN) 모델을 이용하여 시퀀스 형태의 의료 데이터로부터 고위험 질병을 예측함과 동시에 고위혐 질병의 예측값에 대한 의료 데이터의 상대적인 영향력을 시각화한다 (그림 5). 이 과정에서 특정 시점의 의료 데이터가 특정 질병 예측에 얼마나 큰 영향을 미치는지 시각화하여 보다 명확하고, 자세한 해석이 가능하도록 결과를 제공한다


그림 2. 제안된 알고리즘의 흐름도


그림 3. 컴퓨터 시스템의 구조


그림 4. 컴퓨터 시스템의 프로세서


그림 5. 상대적인 영향력의 시각화


  기존의 질병 예후 예측 방법은 병리학적, 방사선학적 및 임상적 정보를 사용함으로 제한점을 가지고 있다. 병리학적 및 방사선학적 측정은 경쟁력 있는 정밀도를 제공하지만 예측을 위한 데이터를 획득하고 분석하는데 많은 시간과 비용이 필요하다. 네이버는 앞에서 언급한 기존의 기법들의 문제점을 인식하여 기존 데이터와 EHR 데이터로부터 다양한 질병을 예측하기 위한 딥 러닝 기반 알고리즘을 확보하였다. 아직 검증이 필요한 단계이긴 하지만, ‘알파폴드’는 기초과학 분야에 적용되어 ‘인간의 난제’를 해결하였다. 한국 내 기업들은 기초과학보단 응용기술에 집중하고 있다. 국내에서 네이버가 응용기술 개발을 통해 미래의 응용기술 분야에서 ‘알파폴드’와 같은 결과를 낼 수 있을지 귀추가 주목된다.    


특허법인ECM


변리사 김시우


swkim@ecmpatent.com


02-568-2670

2021-01-12
출원번호10-2020-7004715
출원일자2018.06.20
출원인테슬라, 인크.
등록번호(일자)10-2020-0027558(2020.03.12)
발명의 명칭벡터 계산 유닛


 마이크로 프로세서는 컴퓨터 중앙 처리 장치 (CPU)의 핵심 기능을 통합한 집적 회로이다. 이 프로세서는 클록 구동 방식, 레지스터 기반의 다목적 실리콘 칩으로서 바이너리 데이터를 입력 데이터로 받아들이고 메모리에 저장된 방법에 따라 처리한 후 출력한다 (그림 1). 즉 마이크로 프로세서는 입력 장치에서 입력을 받아서 메모리에 주어진 명령에 따라 처리한 후 출력한다 (그림 2).


그림 1. 마이크로 프로세서의 구조

그림 2. 마이크로 프로세서의 입출력


 마이크로 프로세서는 기본 구성이 산술 논리 장치, 제어 장치 및 레지스터 어레이로 되어 있는 컴퓨터의 두뇌이다. 산술 논리 장치는 입력 장치 또는 메모리에서 수신한 데이터에 대해 산술 및 논리 연산을 수행한다. 제어장치는 시스템 전체에 명령 및 데이터 흐름을 제어하고, 레지스터 어레이는 데이터를 처리하기 위한 임시 고속 액세스 메모리 위치로 작동하는 레지스터들로 구성되어 있다.

 기존의 컴퓨터 프로세서 (CPU)는 단일 수학 연산을 매우 빠르게 처리할 수 있지만, 제한된 양의 데이터에만 작동할 수 있다. 이에 대한 대안으로 그래픽 프로세싱 유닛 (graphic processing unit, GPU)를 이용하여 동일한 수학 연산을 수행할 수 있으며 더 큰 데이터 세트에 대해 병렬로 수행할 수 있지만, CPU나 GPU는 머신 러닝을 위해 개발되지 않았다. 머신 러닝 학습은 매우 큰 데이터 세트에 대해 특정 머신 러닝 프로세서 작업을 반복적으로 수행한다. 따라서 본 특허는 큰 데이터 세트에 대해 머신 러닝의 특정 처리를 지원하는 마이크로 프로세서 시스템에 대한 내용이다.

 그림 3는 머신 러닝을 수행하기 위한 마이크로 프로세서 시스템의 블록도이다. 데이터 입력 (103) 및 가중치 입력 (105)는 각각의 입력 데이터 포맷터, 캐시 또는 버퍼로 구성되어 있으며, 매트릭스 프로세서 (107)에 적합한 데이터를 준비하기 위한 입력 모듈이다. 데이터 입력 (103)은 이미지 데이터에 대응하는 2차원 배열로부터 N 피연산자를 준비하고, 가중치 입력 (105)는 매트릭스 프로세서 (107)에 의해 처리되는 가중치 값의 벡터에 대응하는 M 피연산자를 준비한다. 제어 유닛 (101)은 매트릭스 프로세서 명령을 매트릭스 프로세서 (107)에 전송하며, 계산 유닛 (109)은 매트릭스 프로세서 (107)의 복수의 계산 유닛 중 하나이며, 4바이트 결과를 수신한다. 다음으로 벡터 엔진 (111)은 매트릭스 프로세서 (107)로부터 통신이 가능하게 연결된 벡터 계산 유닛이며, 처리 엘리먼트 (113)을 포함하는 복수의 처리 엘리먼트로 구성된다. 데이터 입력(103), 매트릭스 프로세서(107), 가중치 입력(105), 매트릭스 프로세서(107), 매트릭스 프로세서(107), 벡터 엔진(111), 벡터 엔진(111)과 후 처리 유닛은 (115) 사이의 점선 화살표는 다수의 데이터 엘리먼트를 전송 할 수 있다.


그림 3. 머신 러닝을 수행하기 위한 마이크로 프로세서 시스템


 테슬라에서 제안한 마이크로 프로세서 시스템에서 데이터 세트를 병렬로 처리하기 위한 방법은 다음과 같다. 그림 4에서 보듯이 계산 유닛 (221)의 제 1행은 벡터 입력 (203)으로부터 전체 행의 데이터를 병렬로 수신한다. 다음으로 제 1행으로부터의 데이터는 백터 엔진 (211)을 향한 논리적 방향으로 열 아래로 이동한다. 예를 들어, 계산 유닛 (221)으로부터 계산 유닛 (222)로, 계산 유닛 (222)으로부터 계산 유닛 (223)으로 계산 유닛 (229)까지 이동한다. 계산 유닛의 각 행에 따른 각각의 계산 유닛은 병렬로 작동할 수 있기 때문에 큰 데이터 세트를 병렬로 수행할 수 있다.


그림 4. 머신 러닝의 병렬 처리 방법


 머신 러닝의 어플리케이션은 자율주행 및 운전자 보조 시스템에 사용된다. 여기서 컴퓨터 프로세스는 머신 러닝의 훈련 또는 추론을 수행하는데 이용된다. 머신 러닝을 이용하여 훈련과 추론을 하는 과정에서 대용량의 데이터를 처리하게 되므로 이를 빠르게 처리할 수 있는 프로세서가 필요하다. 테슬라는 대용량 데이터를 빠르게 처리할 수 있는 마이크로 프로세서 제안하였고, 이 기술은 테슬라가 자율주행 기술개발에 투자하고 있는 타회사들보다 빠르게 5단계에 도달할 수 있도록 기여할 것으로 보인다.


특허법인ECM


변리사 김시우


swkim@ecmpatent.com


02-568-2670

2021-01-12
출원번호10-2020-7004841
출원일자2018.07.19
출원인테슬라, 인크.
등록번호(일자)10-2020-0027011(2020.03.11)
발명의 명칭가속화된 수학 엔진


 이미지, 사운드 및 텍스트 등의 형태로 이루어진 빅데이터를 이해하기 위하여 강력한 GPU (Graphics Processing Unit) 기반 학습을 통해 딥 러닝 모델을 만든다 (그림 1, 2). 하지만 경량 디바이스, 모바일 디바이스, IoT 센서 등과 같은 디바이스에서 직접 학습과 추론이 가능할 정도의 수준이 거의 되지 않으며, 실제 지능형 디바이스로 변화하기에는 부족하다.


그림 1. 세상에 존재하는 수 많은 빅데이터


그림 2. RTX 3080 (GPU)


 이러한 이유로 테슬라는 많은 양의 데이터를 처리하기 위한 가속화된 엔진에 관한 연구를 진행하였다. 더 정확하게 본 특허는 매트릭스 곱셈 연산을 기반으로 복잡한 컨볼루션 연산을 수행하기 위한 기술에 대한 내용을 포함하고 있다.

 그림 3은 컨볼루션 신경망의 연산량을 감소시키기 위해 산술 연산을 수행하는 프로세스를 나타내는 흐름도이다. 시스템 (200)은 시스템 내에서 중복 연산을 감소시키고, 하드웨어 특정 로직을 구현하여 대규모 데이터의 특정 연산만을 수행함으로써 컨볼루션 연산을 가속화 할 수 있다. 데이터 입력 매트릭스 (206)는 2차원 또는 3차원 데이터로 구성된다. 포맷터 (210)은 앞의 데이터 형태를 단일 벡터로 변환 (선형화)한다. 가중치 입력 매트릭스 (208)는 2차원 배열이 가중치 입력 매트릭스 (208)에서 데이터의 일부를 수신하는 2개의 영역으로 분할되도록 한다 (그림 4). 포맷터 (210, 212) 각각은 하드웨어로 구현된다. 앞에서 언급한 바와 같이 포맷터 (210)은 2차원 또는 3차원 데이터를 행 또는 열로 표현될 수 있는 단일 벡터로 변환시킨다. 포맷터 (212)는 가중치 입력 매트릭스 (208)를 기반으로 96행의 폭으로 출력한다. 논리 회로 (232)는 N 입력 연산자를 나타내는 회로이며, 논리 회로 (234)는 M 가중치 피연산자를 매트릭스 프로세서 (240)에 입력하는 회로이다. 매트릭스 프로세서 (240)은 산술 논리 유닛, 레지스터 및 인코더를 포함하는 복수의 서브 회로 (242)를 포함한다 (그림 5). 이 과정에서 이미지 데이터 및 가중치를 검색하고 입력할 뿐만 아니라 대규모의 수학 연산을 수행한다. 모든 클록 사이클 내 매트릭스 프로세서 (240)의 데이터는 하나의 행만큼 아래로 이동한 후, 각 사이클마다 마지막 행이 출력 어레이 (226)로 출력된다. 후처리 유닛 (228)은 데이터를 전송하기 전에 출력 채널에 대한 추가 연산을 수행한다.


그림 3. 산술 연산을 수행하기 위한 매트릭스 프로세서


그림 4. 컨볼루션은 입력 채널에 대해 다른 가중치 적용


그림 5. 매트릭스 프로세서 아키텍처


 소프트웨어 내에서 경량화된 딥 러닝 기술은 알고리즘을 낮은 연산과 효율적인 구조로 설계하여 기존 모델 대비 효율을 극대화하기 위해 개발되어오고 있다. 하지만 본 특허는 기존의 경량 딥 러닝 기술들과는 다르게 소프트웨어로 구현됨으로써 발생하는 속도 손실을 감소시키기 위해 하드웨어로 구현하여 연산량을 감소시키고자 시도했다. 이 기술은 향후 딥 러닝 기반 자율주행을 학습을 위한 장치로 사용될 수 있을 것으로 예상된다.  


특허법인ECM


변리사 김시우


swkim@ecmpatent.com


02-568-2670

2021-01-12
출원번호10-2018-0082375
출원일자2018.07.16
출원인삼성전자주식회사
등록번호(일자)10-2020-0008343(2020.01.28)
발명의 명칭영상 처리 장치 및 그 동작방법


  국내 가전업계를 대표하는 삼성전자는 최근 게이밍 시장의 점유율을 높이기 위해 전격적으로 나서는 이유는 코로나19로 인한 비대면 라이프스타일의 확산으로 집에서 초고화질 게임을 즐기려는 소비자가 늘어나고 있기 때문이다. 따라서, 게이밍 모니터 시장은 코로나19의 여파로 소비위축 현상이 극심한 가운데서도 수요가 급격하게 증가하는 특수한 결과를 보여주고 있다.

  시장조사업체 IDC에 따르면 주사율 120Hz 이상 게이밍 모니터 출하량은 2019년 768만대를 기록했다. 2020년 7월 시장조사업체 트렌드포스에 의하면 2020년 전 세계 모니터 출하량은 전년 대비 24%가 증가한 1286만대에 도달할 것으로 예측했다 (그림 1) [1].

  2016년 본격적으로 게이밍 모니터 제품을 출기한 이후, 삼성전자는 글로벌 게이밍 모니터 시장 (주사율 100Hz 이상, 2019년)에서 수입 기준 18.4%로 1위를 차지한 것으로 나타났다 (그림 2) [2, 3]. 그 동안 1위 자리를 고수하던 대만 브랜드 에이서는 15.1%의 점유율로 2위를 차지했으며, 델이 13.2%, AOC가 10.8%로 각각 3등과 4등을 차지하였다 (그림 2). 


그림 1. 2018년부터 2021년 모니터 시장의 연간 출하량 및 전망치 [1]


그림 2. 게이밍 모니터 시장 성장 및 점유율 [3]


 삼성전자가 단기간 글로벌 시장에서 두각을 드러내는 성과를 거둔 것은 대화면을 원하는 소비자 요구와 트렌드를 반영한 고사양 커브드 모니터 개발에 주력했기 때문이다. 실제 고해상도 (QHD, 2560 x 1440) 모니터는 2018년 2분기 (26만 1000대), 2019 2분기 (57만 2000대)로 1년 사이에 판매가 두 배로 증가하였다. 또한, 커브드 모니터 판매량을 최근 3년간 매년 200만대씩 증가하여 삼성전자에 수익을 가져다 주는 제품이 되었다. 삼성전자는 부드러운 게임 화면과 고품질 영상 등 게이밍 모니터 업계에서 최상급에 해당하는 성능을 제공하기 위해 본 특허를 출원한 것으로 보인다.

  저해상도 영상들을 고해상도 영상으로 변환 시, 플리커링 (flickering) 현상이 발생한다. 플리커링은 프레임에 포함된 동일한 물체 내 패턴이 프레임에 따라 일정하게 유지되지 않고, 떨리거나 깜빡거리는 현상이다 (그림 3) [4].


그림 3. 우측 모니터에서 플리커링 현상 발생 [4]


  기존의 플리커링 감소 기술은 프레임 간 움직임을 추정 및 보상하는 처리를 수행했지만, 이 처리 기법들은 매우 복잡하며, 정확한 움직임 추정이 어렵다는 문제점을 가지고 있다. 또한, 현재 프레임에서 생성된 고해상도 영상이 다음 프레임의 고해상도 영상 생성할 때 사용되지 않는다. 따라서 생성된 고해상도 동영상 내 프레임들 간의 상관관계가 낮다는 문제점이 발생한다.

 본 특허는 영상의 플리커링 현상을 제거하기 위해 복잡하고 어려운 프레임들 간의 움직임 추정 및 움직임 보상 과정을 생략할 수 있다. 또한, 현재 프레임의 고해상도 영상을 다음 프레임의 고해상도 영상의 플리커링을 제거하는데 이용한다는 점에서 프레임들 간의 높은 상관관계를 얻을 수 있다.

 본 특허에서 제안한 플리커링 감소 알고리즘의 플로우 차트는 그림 4와 같다. 단계 (S210)은 제1컨볼루션 뉴럴 네트워크 (Convolution Neural Network, CNN)을 이용하여 현재 프레임의 저해상도 영상에서 특징 정보를 추출한다. 제1 컨볼루션 뉴럴 네트워크에서 입력된 영상을 하나 이상의 필터들과 컨볼루션하여 특징 정보를 생성한다. 이 과정에서 초기 컨볼루션 레이어들에서 생성되는 특징 맵들은 낮은 레벨의 특징을 포함할 수 있으며, 후기 컨볼루션 레이어들로 갈수록 특징 맵들은 점진적으로 복잡한 특징을 포함한다 (그림 5). 단계 (S220)은 제1 컨볼루션 뉴럴 네트워크으로부터 추출된 특징 정보를 기반으로 제1 고해상도 영상을 생성하는 과정이다. 추출된 특징 정보를 업스케일링 기법을 적용하여 제1 고해상도 영상을 생성한다. 본 과정에서 추출된 특징 정보에 따라 바이 리니어 보간 방법, 바이 큐빅 보간 방법 및 컨볼루션 보간 방법 중 하나의 방법을 적용한다. 제1 고해상도 영상의 플리커링을 제거하는 과정은 단계 (S230)에서 수행된다. 플리커링 제거 방법은 이전 프레임들의 특징 정보를 업스케일링 기법을 적용하여 획득한 제1 고해상도 영상에 제2 컨볼루션 뉴럴 네트워크를 적용하여 플리커링이 제거된 제2 고해상도 영상을 획득할 수 있다 (그림 6). 플리커링이 제거된 제2 고해상도 영상 및 추출된 특징 정보 중 하나를 이용하여 다음 프레임의 고해상도 영상의 플리커링을 제거하는데 사용한다 (S240). 이를 위해, 제2 컨볼루션 뉴럴 네트워크로부터 출력된 플리터링이 제거된 제2 고해상도 영상을 메모리에 저장한 후, 다음 프레임의 고해상도 영상 내 플리커링을 제거하는 사용한다 (그림 7).


그림 4. 제안한 플리커링 제거 알고리즘의 흐름도


그림 5. 제1컨볼루션 뉴럴 네트워크를 이용한 특징 정보 추출 과정


그림 6. 단계 S230에서 플리커링을 감소시키는 방법


그림 7. 단계 S230에서 플리커링 제거 방법


 삼성전자는 디스플레이 사업과 관련하여 오랜 투자를 감행해온 만큼 경험과 노하우를 가지고 있다. 이러한 누적된 경험과 노하우를 기반으로 게이밍 모니터 시장에 진출한지 4년만에 기존 1위 기업을 밀어내고, 1위의 자리를 차지하였다. CES 2020년에 삼성전자에서 선보인 플래그십급 게이밍 모니터 ‘오디세이 G9’는 외국의 매체로부터 최상급 게이밍 모니터라는 평가를 받았다. 최고의 기술력을 바탕으로 효과적인 마케팅까지 더해져 전 세계 게이머들부터 게임을 즐기는 소비자를 공략하고 있으며, 이는 게이밍 모니터 시장의 점유율을 더 높일 수 있을 것으로 예상된다.


특허법인ECM


변리사 김시우


swkim@ecmpatent.com


02-568-2670

2021-01-12
출원번호10-2018-7004283
출원일자2016.10.06
출원인구글 엘엘씨
등록번호(일자)10-2018-0030123(2018.03.21)
발명의 명칭레이더-사용가능 센서 퓨전


 애플은 코로나19 이전부터 자사 제품들에 피트니스 및 건강과 관련된 기술을 넣고자 노력해왔다. 이러한 노력의 결과물로 애플워치의 운영체제 (OS)의 업데이트를 통해 발전된 헬스케어 기기로 거듭났다 (그림 1). 생활 속에서 계단을 오르내리는 활동량 측정뿐만 아니라 집에 돌아오면 손을 씻도록 안내하고, 수면 시 수면 패턴을 분석해준다.


그림 1. 헬스케어 서비스를 제공하는 애플 워치 [1]


 애플워치의 운영체제 (OS)의 업데이트뿐만 아니라 애플은 온라인으로 진행되었던 WWDC20에서 새로운 스마트워치 운영체제 ‘워치OS7’를 발표했다. ‘워치OS7’는 업데이트된 애플워치의 운영체제 (OS)보다 수면 추척, 자동 손씻기 감지 및 신규 운동 유형들과 같은 새로운 방법으로 제공함으로써 사용자들이 언제나 건강할 수 있도록 돕는다. ‘워치OS7’ 기기 내 심박수 및 동작 알고리즘으로 구현한 4가지 운동 유형 (코어 트레이닝, 댄스, 기능성 근력 강화 운동, 마무리 운동 등)이 추가되었다 [1]. 또한, ‘워치OS7’는 홈트레이닝에 도움이 되도록 운동 시 정확한 열량 소모를 측정해준다. 예를 들어, 댄스 열량 소모를 정확하게 측정하기 위해 ‘워치OS7’는 심박센서 데이터와 가속도계 및 자이로스코프의 입력을 결합한 센서 퓨전 기술을 활용한다. 본 특허는 구글의 ‘워치OS7’에 기반이 되는 레이더와 사용 가능 센서 퓨전 기술에 대한 내용이다.

 그림 2는 레이더와 센서 퓨전을 구현하기 위한 다양한 센서들의 타입들과 구성들을 나타낸다 (118). 센서들 (118)은 컴퓨팅 디바이스가 동작하는 환경에서 다양한 특성들, 변화들 및 자극들에 대해 감지하는 것을 가능하게 만든다. 한 번에 센서들에 설명하면 복잡하므로 한 개 혹은 두 개씩 묶어서 센서들의 각 기능을 설명하겠다. 센서들 (118) 중 가속도계 (202) 및 자이로스코프 (204)를 포함한다. 이 두 개의 센서는 디바이스의 이동 또는 방향을 감지할 수 있다 (그림 3) [2]. 센서들 (118) 내 홀 효과 센서 (206)과 자기력계 (208) 센서는 자기장과 관련된 센서들이다. 이는 디바이스 주위의 자기장 방향 또는 자기장 방향의 변경을 감지할 수 있다. 온도 센서 (210)는 디바이스 주변의 온도 또는 습도를 감지할 수 있으며, 음향 센서들 (212)은 사용자의 음성 인력을 수신하는 것이 가능하기 때문에 수신된 데이터를 기반으로 사용자를 식별하거나 구분한다. 또한, 음향 센서를 통해 획득되는 소리는 음색, 음질, 배음 (harmonics) 및 리듬 등과 같은 분석되거나 측정된다 (그림 4) [3]. 커패시턴스 센서들 (214)은 터치 입력을 수신하거나 사용자와의 근접성을 결정하는 터치 센서이다 (그림 5). 디바이스와 물체들과의 근접성을 감지하는 근접 센서들 (216)이다. 근접 센서 (216)들은 의도치 않은 사용자 입력의 수신을 방지하도록 스마트폰의 스크린을 미사용 하도록 사용된다. 주변 광 센서 (218)는 환경의 광의 강도 또는 품질의 변경 사항들을 감지하도록 포토 다이오드 또는 광학 센서를 사용한다. 디바이스 내 RGB 센서 (220)는 이미지들 또는 비디오의 형태로 획득할 수 있다. 적외선 센서 (222)는 디바이스의 환경에서 사용자 또는 다른 사람과 연관된 열 데이터를 감지한다. 또한, 본 센서는 물체와의 근접성과 거리를 감지한다. 깊이 센서 (224)는 RGB 센서 (220)와 깊이 정보를 확인하기 위해 함께 사용되기도 한다. 깊이 센서 (224)는 또한 디바이스의 주변 환경 또는 물체의 표면의 3차원 깊이 맵 (depth map)을 만들 수 있다.


그림 2. 기기 내 센서들 (118)의 구성


그림 3. 센서를 이용한 이동 방향 및 거리 측정 [2]


그림 4. 애플 워치의 음향 센서를 이용한 음향 분석 [3]


그림 5. 커패시턴스 센서의 사용된 예


  애플은 홈 트레이닝도 할 수 있도록 도와주는 ‘워치OS7’을 출시하기 전부터 다양한 센서들을 융합할 수 있는 기술에 대해 지속적으로 투자를 해오고 있다. 이를 통해, 사용자의 상황에 적합하게 센서들이 작동할 뿐만 아니라 ‘워치OS7’는 개인화 설정도 강화되었다. ‘워치OS7’는 사용자가 어떠한 활동이나 라이프스타일에도 적합한 시계 페이스를 구성할 수 있다. 따라서 이러한 장점들을 보유한 ‘워치OS7’는 수 많은 애플 매니아들이 구매할 것으로 예상되며, 매니아들을 제외한 스마트 워치를 새로 구매하고자 하는 고객들을 사로 잡을 수 있을 것으로 예상된다.


특허법인ECM


변리사 김시우


swkim@ecmpatent.com


02-568-2670

2021-01-12
출원번호10-2016-7024312
출원일자2015.01.23
출원인테슬라 모터스, 인크.
등록번호(일자)10-2016-0119147(2016.10.12)
발명의 명칭충전 케이블의 냉각


 세계 각국이 내연기관차의 배기가스 배출을 규제하기 시작하였고, 친환경차 도입하기 위해 각종 지원정책을 실시하고 있다. 세계의 자동차 기업들 또한 이러한 흐름에 맞추어 전기차량 개발에 노력을 기울인 결과, 전기차량은 내연기관차가 약 100년에 걸쳐 이룩한 기술을 유사하게 추격했다. 이에 따라 전기차량의 보급률도 희망적이다. 2010년 수천 대 판매가 되었던 전기차량이 2018년에는 200만대 이상 판매되었다 (그림 1). 2040년에 판매되는 전 세계 승용차의 30% 이상이 전기차량이 될 것이라는 전망이다.


그림 1. 전기차량의 보급 현황 및 전망


 전기차량의 관심이 높아짐과 동시에 고속충전에 대한 관심도 높아지고 있다 (그림 2). 전기차량에 고속충전을 위해 높은 출력이 필요하고 출력이 높아짐에 따라 온도가 급격하게 상승한다. 본 특허는 충전 도체와 냉각관을 접촉하는 접지 케이블을 포함하여 열을 전도하는 기술에 관한 내용이다.


그림 2. 전기차량의 고속충전


 그림 3는 충전시스템 (202)에 연결된 전기차량 시스템 (200)을 나타낸다. 여기서 시스템 (200)은 전기차량의 일부일 수 있고, 시스템 (202)는 하나 이상의 전기차량을 충전하는데 필요한 충전장치의 일부일 수 있다. 충전 케이블 (204)는 두 개의 시스템을 연결한다. 예를 들어, 충전 케이블의 일부는 시스템 (202)에 영구적으로 부착되어 있고, 충전 시 사용자가 전기차량의 일부분인 충전포트 (206)에 부착한다. 충전 케이블은 하나 이상의 전기 도체 (204A)와 냉각관 (204B)를 포함한다. 전기 도체 (204A)는 시스템 (202) 내에서 파워유닛 (208)으로부터 전력을 공급받기도 하고, 발전기 또는 전기 그리드와 같은 외부 전원장치 (210)로부터 전기를 유입 받기도 한다. 공급되는 교류 (AC) 또는 직류 (DC)는 적절한 형태의 교류 또는 직류로 변환된다. 충전시스템 (202) 내 펌프 (226)는 충전 케이블 (204)로부터 되돌아오는 냉매를 수용한 다음, 냉각 유닛 (228)에 냉매를 공급한다. 냉각 유닛 (228)은 열의 수준을 고려하여 적절한 냉각 기술을 사용한다. 전기차량 시스템 (200)에 충전 케이블 (204)을 통해 전송된 전력은 에너지 저장부 (220)에 하나의 탑재된 충전기 (218)에 의해 공급된다. 전기 모터 (222)는 차량의 운동에너지 재생을 포함하여 전기 에너지를 공급 받을 수 있도록 한다.


그림 3. 충전시스템에 연결된 전기차량 시스템


 그림 4은 충전 케이블 (100), 냉각관 (102), 커넥터 (104), 커넥터 하우징 (106), 케이블 (108) 및 충전 도체 (110)을 도시한다. 충전 케이블 (100)은 커넥터 (104), 커넥터 하우징 (106) 및 케이블 (108)로 구성된다. 커넥터 (104)는 전기 차량에 설치되는 충전 입구와 호환되도록 설계된다. 커넥터 하우징 (106)은 차량 충전포트에 커넥트를 삽입한 후, 충전 후에 충전포트로부터 커넥터 (104)를 제거하는 경우 사람에 의해 지지하도록 설계된다. 케이블 (108)은 커넥터 (104)와 충전장치 사이의 연결부를 형성한다. 이로 인해 냉각관 (102)뿐만 아니라 전력을 전달하도록 구성된 하나의 충전 도체 (110)를 수용한다. 냉각관 (102)는 충천 도체의 길이를 따라 냉매를 운반하여 전기 에너지의 흐름으로 인해 발생하는 열을 제거하는 역할을 한다.


그림 4. 냉각관을 구비한 충전 케이블


 각국의 정부와 세계 여러 기구들은 친환경차 시장을 보급하기 위해 제도를 마련하였고, 세계의 자동차 기업들은 내연기관 수준과 유사하게 전기차량의 성능을 발전시켰다. 전기차량과 관련된 인프라의 증가는 전기차량의 사용을 더욱 보급화되게 만들고 있다. 다양한 인프라들 중 고속충전이 전기차량의 보급에 중요한 요소로 자리잡았으며, 이에 대한 기술력이 전기차량의 부수적인 시장인 전기충전기 시장의 높은 점유율을 차지할 수 있을 것이다.


특허법인ECM


변리사 김시우


swkim@ecmpatent.com


02-568-2670

2021-01-12
출원번호10-2012-0025622
출원일자2012.03.13
출원인삼성전자주식회사
등록번호(일자)10-2013-0104258(2013.09.25)
발명의 명칭

블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치


  스마트폰에 편의성에 밀려 축소되던 디지털카메라 (디카) 시장이 소멸 위기에 놓여있다. 디카는 소비자용 공산품 가운데 일본이 90%의 점유율로 세계시장을 장악한 마지막 제품이다. 그림1은 디지털 카메라 시장점유율의 변화를 보여준다. 2020년 6월 카메라영상기기공업회는 4월 세계 디카 판매 대수가 전년도의 동월보다 64% 감소한 55만대였다고 발표하였다. 2020년 1월부터 4월까지 누적 판매도 전년도 동기보다 44% 감소한 263만대에 판매하였다. 2019년과 동월 대비 감소폭은 1월 (20%), 2월 (27%) 및 3월 (52%)로 점차 확대되었다.


그림 1. 각 브랜드의 영업 이익


 애플, 삼성전자 등의 스마트폰이 고성능화되면서 경쟁이 점점 어려워졌기 때문에 그 동안 디카 업계는 고성능 제품을 내세워 시장을 방어를 해왔지만 최근에는 이마저도 여의치 않다. 그 동안 DLSR 등 렌즈 교환식 카메라는 풍경 또는 인물 사진을 더 잘 찍고 싶은 소비자에게 어필해왔다. 디카는 초광각, 광각, 표준 및 망원 등 다양한 화각을 즐길 수 있으며, 카메라 해상력을 결정하는 화소가 많은 장점이 있다. 하지만 최신 스마트폰들은 디카의 두 가지 장점을 모두 무너뜨렸다. 

 영상을 획득하는 기기를 이용하여 선명한 영상을 획득하는 과정에서 긴 노출 시간이 필요하다. 이 과정에서 영상 센서의 흔들림으로 인해 획득한 영상 내 블러 현상이 발생하게 된다. 예를 들어, 노출 시간이 길어지는 상황들 (어두운 실내 또는 저녁 등) 영상 센서의 흔들림으로 인해 획득한 영상에 블러 현상이 발생한다.

 본 특허는 위에서 언급한 문제를 해결하기 위해 블러된 영상 및 잡음 영상으로 구성된 멀티 프레임에서 블러 영상의 비균일 모션 블러를 이용하여 추정함으로써 보다 선명한 영상을 빠르고 정확하게 추정할 수 있다. 즉, 이 기술은 스마트폰 카메라의 선명한 영상을 획득하는데 기여했다.

 그림 2는 블러 영상 및 잡음 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하기 위한 알고리즘을 설명하기 위한 도면이다. 블러 영상 및 잡음 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하기 위해 단계 (110)에서는 블러 영상과 잡음 영상을 포함하는 멀티 프레임을 제공한다. 위의 과정에서 블러 영상은 장시간 노출에 의해 획득할 수 있고, 잡음 영상은 영상 센서의 높은 ISO 감도로 촬영함으로써 얻어진다. 단계 (120)은 단계 (110)에서 입력된 잡음 영상 내 잡음을 제거한다 (그림 3). 영상 내 잡음을 제거하기 위해 영상 내 포함된 잡음의 종류에 따라 에지 보존 잡음 제거 (Edge-preservation noise removal) 방법을 이용한다. 이 과정에서 영상 내 텍스쳐 (texture) 와 같은 세밀한 정보가 사라질 수 있지만, 외곽선 정보는 보존할 수 있다. 단계 (130)은 단계 (120)에서 잡음이 제거된 멀티 프레임의 블러 영상을 정합하여 비균일 모션 블러 정보를 추정한다. 단계 (130)과 단계 (140)의 반복 수행과정에서 처음 반복을 할 때는 잡음이 제거된 영상을 기준으로 블러 영상의 비균일 모션 블러 정보를 추정한다. 하지만 두 번째 반복부터는 단계 (140)의 레이턴트 영상 복원 과정에 의해 획득한 레이턴트 영상만을 이용하여 블러 영상의 비균일 블러 정보를 추정한다 (그림 4). 단계 (150)은 최종 레이턴트 영상을 복원하였다.


그림 2. 비균일 모션 블러를 제거하기 위한 순서도


(a) 잡음 영상                 (b) 잡음이 제거된 영상

그림 3. 단계 (120)에서 잡음을 제거한 결과 영상



(a) 잡음이 제거된 블러 영상                                                        (b) 추정된 비균일 모션 블러


그림 4. 비균일 모션 블러를 이용하여 추정된 비균일 모션 블러


 디카를 생산하던 회사들은 디카만의 장점을 이용하여 제품들을 출시하였고, 디카 시장을 유지해오고 있었다. 하지만 이마저도 스마트폰 내 카메라, 이미지센서 및 영상처리 기술이 발달하면서 디카의 장점들과의 격차가 줄어들게 되었다. 예를 들어, 2007년 아이폰 출시 이후 디카와 스마트폰의 사진 품질 차이는 차별하기 어려웠으며, 스마트폰 제조 회사들의 지속적인 기술 개발로 인해 소비자들을 끌어들이며 성장했다. 삼성전자도 2015년까지 시대의 흐름을 잘 읽고, 디카 시장에서 철수하였다. 이를 통해 스마트폰 카메라와 이미지센서 개발에 집중하여 스마트폰 카메라 기술은 선도하고 있고, 이미지센서도 업계 2위가 되었다. 위의 사례로부터 세상의 변화의 트렌드를 명확하게 읽고, 사업의 변화를 추진하는 것이야말로 기업에게 꼭 필요한 일로 보여진다.   


특허법인ECM


변리사 김시우


swkim@ecmpatent.com


02-568-2670

2021-01-12
출원번호10-2019-7027908
출원일자2018.02.22
출원인테슬라, 인크.
등록번호(일자)10-2089262(2020.03.10)
발명의 명칭자동화된 턴 시그널링을 위한 차량 기술들


 자동차가 스스로 차로를 바꾸는 ‘차선변경’ 기능은 테슬라가 2015년도에 오토파일럿에서 선보였다 (그림 1). 2016년, 2018년도에 각각 메스세데스-벤츠와 BMW 등이 양산차에 이 기능을 도입했다. 해외 자동차 회사들이 이미 적용 중인 ‘차선변경’ 기능을 국내 자동차 회사도 도입하기 위해 서두르고 있다 (그림 2). 국내 자동차 회사가 개발 중인 차선 변경 기술은 고속도로에서 속도조절, 앞차와 거리 조절 및 차선유지 등의 기능을 포함하고 있다. 여기에 카메라, 후면과 측면 레이더를 이용하여 옆 차선 차량을 감지하여 차선 변경이 가능하게 하고, 전방과 측방에 레이더를 장착해 차선 변경과 갑자기 끼어드는 차량에 대한 대응을 할 수 있게 하고자 한다.


그림 1. 테슬라의 오토파일럿 감지 범위


그림 2. 차선변경절차


 자동차가 턴을 행하거나 차선을 전환 시 차량이 주행 방향을 변경할 수 있다는 것을 턴 시그널광원을 통해 보행자들과 다른 차량들의 운전자들에게 시각적으로 통지한다. 자동차의 운전자가 주행 방향을 변경시키기 전 턴 시그널 광원을 활성화시키는 것을 종종 등한시하는 경우가 발생한다. 이 상황은 고속도로에서 위험하며, 차량 사고의 원인이 된다.

 본 특허는 차량을 안전하게 차선을 변경하기 위해 현재 차선의 위치, 변경할 시점 및 변경 후 위치를 위한 자동화된 시그널링에 대한 기술을 포함하고 있다. 단계 (400)은 입력 블록 (402), 복수의 결정 블록들 (410, 412, 414), 동작 블록들 (416) 및 비동작 또는 동작 블록 (418)을 포함한다 (그림 3). 입력 블록 (402)는 제 1입력 (404), 제 2입력 (406) 및 제 3 입력 (408)으로 구성된다. 제 1입력 (404)은 제 1데이터 소스로서 카메라들로부터 하나 이상의 데이터 스트림을 통해 데이터를 수신한다. 단계 (410)에서 제 1입력 (404)에 기초하여 차량이 도로상에서 차선 라인을 가로지르려고 하는지 여부를 결정한다 (그림 4). 제 2입력 (406)은 제 2데이터 소스로서 조향 각도 센서로부터 데이터 스트림을 통해 데이터를 수신한다. 단계 (412)는 제 2입력 (406)에 기반하여 차량의 운전자가 조향 동작을 적용하고 있는지 여부를 결정한다. 제 3입력 (408)은 제 3데이터 소스로서 하나 이상의 초음파 센서들로부터 데이터 스트림을 통해 데이터를 수신한다. 단계 (414)에서는 제 3입력 (408)의 정보를 기반으로 미리 결정된 거리 내에 특정 방향 및 위치 내에 다른 차량이 존재하는지를 결정한다 (그림 5). 단계 (416)은 다양한 조건 (차선 라인을 가로지르기 직전, 차선 라인을 가로지를 때, 가로지른 직후)에서 프로세서 (104)가 턴 시그널 소스 (118)를 활성화 시킬 수 있다 (그림 6). 단계 (418)은 프로세서 (104)의 턴 시그널 소스 (118)를 활성화시키지 않는다.   


그림 3. 자동화된 시그널 활성화


그림 4. 차선 라인을 가로지를지 여부 결정


그림 5. 특정 방향 및 위치 내에 다른 차량 존재 여부


그림 6. 차량의 자동적으로 차선변경을 위한 시스템


  미래에는 고속도로나 자동차 전용도로에서 앞차, 옆 차와의 거리를 유지하면서 주행하고, 곡선로나 인터체인지에서도 부드럽게 코너링을 하며 차선변경까지 스스로 수행하는 차가 보급될 것이다. 양산차에 적용되는 자율주행기술은 기업의 수입에 직접적으로 영향을 주고, 소비자에겐 실생활에 큰 변화를 가져온다는 점에서 의미가 있다. 테슬라는 자동차 시장의 수익성을 파악하여 자율주행기술 개발에 박차를 가하고 있으며, 이는 미래의 수익으로 연결될 것으로 보인다.


특허법인ECM


변리사 김시우


swkim@ecmpatent.com


02-568-2670

2021-01-12
출원번호10-2018-7035534
출원일자2018.04.05
출원인테슬라, 인크.
등록번호(일자)10-2019-0005950(2019.01.16)
발명의 명칭차량 위치 결정을 위한 기술


  자율주행을 위해 사용되는 기술은 물체인식, 위치인식 등과 같은 주변인식 기술, 판단 및 제어로 분류할 수 있다 (그림 1). 주변인식은 레이더, 라이다, 초음파, 영상, 위성항법 및 관성 항법 등과 같은 센서가 사용된다. 위성항법기술 이용 시 항법위성의 가시성 확보와 기술 차이에 따라 최대 cm정도의 차이로 위치를 인식할 수 있다. 이와 같은 우수한 성능을 나타내는 위성항법수신기는 수천만 원의 고가의 장비로 분류된다. 하지만 최근 저가의 위법항법수신기를 활용한 정밀위치결정 기술이 보급됨에 따라 수천만 원의 위성항법 대체할 수 있을 것으로 보인다. 


그림 1. 자율주행 기술의 세가지 중심 요소


 이러한 시대의 흐름에 맞추어 본 특허는 정밀 위치 결정을 위한 관한 내용이다. 더욱 자세히 설명하자면 위치 평가에서 정확도를 향상시키기 위한 기법에 관한 내용을 포함한다. 간단하게 설명하자면 네비게이션 위성으로부터 신호에 영향을 미치는 요소들에도 불구하고, 정확한 위치를 결정하기 위한 방법을 제시한다.

 그림 2는 본 특허에서 제시하는 시스템에 개략도를 나타낸다. 위성 (126)은 지리적, 공간적 위치 결정을 제공하기 위해 4개 이상의 위성과 같은 적어도 2개 이상의 복수의 위성을 사용한다. 차량 (102, 120)은 자동차, 벤, 리무진, 버스 등과 같은 육상 차량을 의미한다. 차량 (102)와 차량 (120)는 유사한 장치로 구성되어 있다 (그림 2). 따라서 한가지만 설명하겠다. 프로세서 (104)는 하드웨어 프로세서 (단일 코어, 멀티코어)이다. 프로세서 (104)에는 병렬 또는 독립 처리를 위해 중앙 처리 유닛 (CPU), 그래픽 처리 유닛 (GPU) 및 텐서 처리 유닛 (TPU)을 포함한다. 메모리 (106) 내 저장 매체는 프로세서 (104)를 통해 실행을 위한 복수의 컴퓨터 판독 가능 명령어를 저장한다. 즉, 명령어는 오프셋을 결정하고, 오프셋을 다양한 방식으로 통신함으로써 위치 결정 정확도를 향상시키기 위해 프로세서 (104)에 지시한다. 송수신기 (108a, 108b)는 송신기와 수신기로 구성되어 있다. 송신기 및 수신기는 차량 대 차량 (vehicle-to-vehicle, V2V)로 통신할 수 있도록 한다 (그림 3). 즉, 차량 (102)과 차량 (120)은 송수신기를 통해 서로 통신할 수 있으며, 각각의 송수신기 (110a, 110b)는 안테나 (110b)와 통신한다. 카메라 (112)는 프로세서 (104)가 압축, 이미지/비디오 분석 및 원격 측정 등과 같은 다양한 이미지를 처리 할 수 있는 이미지를 캡처 할 수 있다. 예를 들어, 이미지 분석은 객체 인식, 객체 추적과 같은 컴퓨터 비전 분석에 포함된다. 이 기술은 위치 추정치가 카메라로부터 캡쳐된 차선 경계를 일치하도록 하기 위해 사용된다 (그림 4). 서버 (114)는 프로세서, 메모리 및 네트워킹 유닛으로 구성되어 있는 컴퓨터 장치이다. 기준 스테이션 (116)은 위성 (126)을 통해 실제 기준 스테이션 (116)에 의해 위치가 다르다는 것을 송신된다 (그림 5). 이는 특정 거리에 상당한 에러가 있음을 의미한다.


그림 2. 제안된 시스템의 개략도


그림 3. 이동하는 차량을 인지하기 위한 흐름도


그림 4. 카메라를 이용한 차선 일치


그림 5. 위성과 기준 스테이션을 이용하여 차량의 위치 에러 측정


 위성항법수신기를 이용한 위성항법기술은 오차가 cm단위로 나타나지만, 높은 가격으로 인해 보급되기가 어려웠다. 하지만, 가격이 저렴하며 가격이 저렴한 정밀위치결정기술을 사용이 증가함에 따라 자율주행차량에 필수적인 장비가 될 것으로 보인다. 테슬라는 자율주행기술과 관련된 다양한 기술들을 확보하고 있는 것으로 보아 미래의 자율주행 산업 경쟁에서 우위를 점할 수 있을 것으로 보인다.


특허법인ECM


변리사 김시우


swkim@ecmpatent.com


02-568-2670

Copyright © 2019 by ECM IP&LAW FIRM . All Rights Reserved.

ECM IP&LAW FIRM
3F, 13, Teheran-ro 70-gil,
Gangnam-gu, Seoul,

Republic of Korea