2021-01-11

빈폴 키즈 가방

(삼성물산 패션부문 제공)


지난 28일 삼성물산 패션 부문의 온라인 전용 브랜드 ‘빈폴키즈(BEANPOLE KIDS)’는 카카오프렌즈(KAKAO FRIENDS)와 컬라버레이션을 한 2021년 신학기 책가방을 출시하였다고 밝혔다.

 

‘카카오프렌즈’ 캐릭터는 2012년 카카오톡 매신저의 이모티콘으로 처음 등장하였으며, 2016년에는 학용품, 인형, 의류, 모자 등 일상생활에서 사용되는 제품들에 캐릭터를 적용시키는 ‘국민 캐릭터’로서 자리매김하였다. 2020년 현재 ‘빈폴키즈(BEANPOLE KIDS)’을 비롯하여, NH농협카드, 제주 감귤 등 다양한 제품에 ‘카카오프렌즈’를 접목한 상품들이 출시되고 있다.

 

‘카카오프렌즈’의 인기가 치솟는 만큼 ‘카카오프렌즈’ 캐릭터를 모방하려는 시도도 적지 않았다. 주식회사 카카오가 ‘카카오프렌즈’ 캐릭터의 모방에 대처하기 위한 시도 중 하나가 바로 ‘디자인권 등록’이다.

 

‘카카오프렌즈’와 같은 캐릭터를 디자인권으로 보호할 수 있는지 살펴보고, 디자인권을 등록받아야 하는 이유가 무엇인지 알아본다.

 

창작한 캐릭터, 디자인권 등록이 가능할까?

 

캐릭터를 ‘구체적인 물품에 표현한 경우’ 디자인권으로 등록받을 수 있다. 캐릭터 자체를 출원한 경우에는 등록받을 수 없지만, 캐릭터를 완구, 가방, 키링 등 구체적인 물품에 표현하여 출원하는 경우 특별한 사정이 없다면 등록이 가능하다.

 

주식회사 카카오 또한 ‘완구’와 같이 구체적인 물품에 카카오 캐릭터를 표현하여 디자인권을 등록받았다.


‘주식회사 카카오’의 등록 디자인 중 일부 발췌


창작한 캐릭터를 이모티콘으로 제작하려고 하는 경우, 어떻게 보호받을 수 있을까?

 

캐릭터를 ‘화상디자인’으로 출원하여 등록받을 수 있다. ‘화상디자인’제도를 이용하면 휴대폰 화면의 액정과 같은 물품의 표시화면을 통하여 표현되는 디자인을 등록받을 수 있다. 이와 같은 방법으로 ‘휴대폰의 화면에 표시되는 이모티콘’도 보호받을 수 있다.

 

‘카카오프렌즈’는 모바일 카카오톡의 이모티콘으로 널리 사용되고 있다. 주식회사 카카오는 ‘화상디자인이 표시된 디스플레이 패널’에 대하여 디자인을 출원하여, ‘화상디자인’으로 보호하고 있다.


‘주식회사 카카오’의 등록 디자인 발췌


캐릭터에 대한 디자인권을 취득하면 캐릭터가 적용된 모든 물건에 대해서 권리가 생길까?

 

모든 물건에 대해 권리가 생기는 것은 아니다. 캐릭터가 표현된 그 물품에 대해서만 권리가 생긴다.

 

‘주식회사 카카오’가 ‘완구’에 대해서만 캐릭터를 등록받았다면 ‘주식회사 카카오’는 ‘완구’에 대해서만 권리를 행사할 수 있다.

 

‘주식회사 카카오’는 다른 물건에 대해서도 권리를 행사하기 위해서, 다른 물품에 대해 추가적인 디자인권 등록을 받아야 한다. ‘주식회사 카카오’가 완구‘ 뿐만 아니라 ‘화상디자인이 표시된 디스플레이 패널’ 등에 대해 권리를 추가적으로 등록받은 것도 이러한 이유 때문이다.

 

캐릭터를 저작권으로도 보호받을 수 있을까? 

 

캐릭터도 저작권으로 보호가 가능하다. 구체적인 물품에 적용된 캐릭터 뿐만 아니라 캐릭터 자체도 저작권으로 보호가 가능하다. 저작권은 등록이 없어도 창작과 동시에 저작권이 발생하며, 존속기간이 70년으로 디자인권에 비해 존속기간이 길다.

 

저작권으로도 보호가 가능하다면 왜 디자인권 등록을 받아야 할까?

 

등록된 디자인권은 창작한 캐릭터를 타인이 모방하여 사용하는 경우 유리하다. 캐릭터가 디자인권으로 등록이 되어 있으면 저작권보다 쉽게 권리를 행사할 수 있다. 즉, 더 쉽게 모방 캐릭터의 사용을 금지시킬 수 있고, 이로 인한 손해를 배상받을 수도 있다.

 

디자인권은 ‘타인의 모방 디자인이 동일하지 않아도’ 모방한 자의 사용을 금지시킬 수 있다. 타인이 모방하여 사용하는 캐릭터가 나의 디자인과 동일하지 않더라도 유사하다면 보호범위에 속하여 모방한 자의 실시를 금지시킬 수 있다. 반면, 저작권은 복제의 방지를 위한 법이므로 본래의 캐릭터와 타인이 모방한 캐릭터가 상당히 동일한 수준에 이르러야 보호가 가능하다.

 

디자인권은 ‘타인이 창작한 캐릭터라도’ 사용을 금지시킬 수 있다. 디자인권을 가지고 있다면 ‘타인이 스스로 창작한 캐릭터라도’ 디자인 등록받은 디자인과 동일하거나 유사하다면 등록이 가능하다. 반면, 저작권만으로 보호하고 있다면 동일한 캐릭터를 타인이 스스로 창작한 경우 타인에게 어떠한 권리도 행사할 수 없다.

 

캐릭터가 산업에 이용될 수 있는 물품에 대해서 디자인권을 확보하는 것은 권리행사의 신속성, 편의성 측면에서 유리하다. 자신의 캐릭터가 다른 사람에 의해 모방되는 것을 막기 위해서는, 디자인등록을 소홀히 하여서는 안된다. 주식회사 카카오의 디자인등록이 없었다면 카카오프렌즈의 디자인은 지금쯤 동네 문구점이나 강남역 지하상가 옷가게에서 쉽게 발견할 수 있는 흔한 디자인으로 전락해버렸을 지도 모를 일이다.


특허법인ECM


변리사 김시우


swkim@ecmpatent.com


02-568-2670

2021-01-11
출원번호13/863,954
출원일자2013.04.16
출원인Children's National Medical Center
등록번호(일자)US 2013/0274596 A1(2013.10.17)
발명의 명칭

DUAL-MODE STEREO IMAGING SYSTEM FOR TRACKING AND CONTROL IN SURGICAL AND INTERVENTIONAL PROCEDURES


 뉴럴링크 (Neurallink)는 “2016년 대중에게 최초 공개되어 2019년 0.9버전의 프로토타입까지 도달하였다.”고 보도하였다. 이 분야에 관심이 있는 사람을 제외하고, ‘뉴럴링크’라는 단어는 대중에게 드물 것이다.

 뉴럴링크란 뇌에 전극을 심어 뇌신호를 파악하는 기술이다. 뇌 임플란트 또는 BMI (Brain-Machine Interfaces)로 불린다. 기존의 기술들이 스마트폰이나 노트북 형태로 장착되고 있지만, 상당한 제약이 있다. 손가락과 음성을 이용한 기술은 느리고 대역폭이 매우 낮은 원시적인 방법이다. 뉴럴링크는 이 문제를 해결하기 위해 만들어졌으며, 우리가 살고 있는 세상의 모든 정보를 병목 현상 없이 흡수 할 수 있게 만드는 유일한 해결책이라고 할 수 있다.

 우리의 뇌는 약 1000억개의 뉴런을 포함되어 있다. 뉴런은 다양한 형태로 존재하지만, 일반적으로 수상돌기 (Dendritic Arbor), 세포체 (Cell Body) 및 축삭 돌기 (Axon)로 구성되어 있다 (그림 1). 뉴런들은 축삭 돌기와 수상 돌기가 맞닿는 부분인 시냅스를 통해 거대한 네트워크를 구성하고 있으며, 신경전달물질 (화학물질)을 이용하여 신호를 전달한다. 신경전달물질은 축삭 돌기의 끝에서 분비됨으로써 활동 전위를 통해 전위 스파이크를 발생시키는 원인이 된다. 뉴런이 신경전달물질을 받으면, 연쇄 반응을 일으켜 활동 전위를 발생시킨다. 활동 전위는 다음 뉴런으로 이동하여 신호를 전달한다 (그림 2).


그림 1. 뉴런의 구성


그림 2. 시냅스를 이용한 신호 전달


 Blackrock Microsystems에 의해 제조된 100개의 전극을 가지는 있는 Utah Array는 신경 과학 및 임상 연구에 있어서 중요한 장치였다 (그림 3). 하지만 그림 3에서 보는 바와 같이 이는 수술이 손쉬운 수술이 아니다. 뉴럴링크는 이 수술을 간단하게 만들기 위해 전극과 전선을 아주 작게 만들었으며, 이 작은 전극은 사람이 심을 수 없으므로 수술용 로봇도 만들었다.


그림 3. 뉴럴링크 이전의 뇌 임플란트 방식


 본 특허는 위에서 언급한 뉴럴링크의 작은 전극을 심을 수 있는 현재의 수술용 로봇 기술에 도달하기까지 수 많은 특허 중 하나이다.

 본 특허에서 제안된 기술의 플로우 차트는 그림 4와 같이 나타낼 수 있다. 수술 로봇 동작 알고리즘의 첫 단번째 할 일은 매듭을 짓기 위한 위치를 추정하는 것이다 (S801). 단계 (S802)에서 매듭 오프셋을 결정한 후, 로봇에게 수술 위치를 알리기 위해 통신을 한다. 앞의 과정을 통해 수술 로봇은 봉합을 하고자 하는 위치 주변에 위치할 수 있게 된다 (S803)). 단계 (S804)에서는 접근과정이라는 단계를 수행한다. 접근과정에서 수술 로봇은 탐지된 표시점들의 정보로부터 획득한 위치 정보를 고려하여 이동한다. 이 과정에서 시각적 서보잉은 NIR 표시점 방향으로 주사바늘을 안내하기 위해 사용된다 (그림 5). 단계 (S805)에서 수술 로봇이 매듭의 정해진 거리 이내에 근접했을 때, 주사 바늘은 뇌에 실을 삽입한다. 그리고 나서 수술 로봇은 실을 필요한 만큼 끌어당기기 위해 수술 도구를 들어올린다 (S806). 단계 (S807)에서는 실이 충분한 장력 (F)으로 측정될 때까지 수술 도구를 이용하여 더 들어올린다. 이 과정은 원하는 만큼의 수 많은 고리들을 이용하여 매듭짓기 위해 반복된다. 



그림 4. 제안된 기법의 흐름도


그림 5. NIR 카메라를 사용하여 획득된 영상


 더 나은 BMI를 창출하려는 뉴럴링크의 목표는 이동할 수 없거나 의사 소통이 불가능한 사람들의 삶을 개선할 수 있는 잠재력을 가지고 있다. 이를 통해 BMI는 뇌 또는 신체의 부상이나 질병으로 인해 제한을 극복하는데 도움이 될 것이다. 이 뿐만 아니라 뉴럴링크의 목표는 수술비용을 낮춰 라식 수술과 같이 대중화된 가격으로 많은 사람들에게 이 수술을 진행하는 것이다. 2020년까지 인간의 뇌에도 칩을 심겠다고 공언했던 앨론 머스크는 현재 쥐와 원숭이 뇌에 이식하여 실험 중이며, 추후에 뉴럴링크 칩이 사람이 뇌 속에서 제대로 작동한다면 미래의 어떠한 산업분야의 변화를 가져오게 될지 뉴럴링크 기술을 지속적으로 지켜볼 필요가 있다.


특허법인ECM


변리사 김시우


swkim@ecmpatent.com


02-568-2670

2021-01-11
출원번호10-2020-7009698
출원일자2018.11.16
출원인테슬라, 인크.
등록번호(일자)10-2020-0047670(2020.05.07)
발명의 명칭차량 뉴럴 네트워크 프로세서의 에러들을 처리하는 시스템 및 방법


 테슬라의 자율주행시스템은 사람보다 더 안전하게 차량을 주행하게 할 것이다. 이를 통해 차량 소유자는 차량에 대한 재정적으로 비용 절감을 할 수 있으며, 차량을 소유하지 않은 차량 비소유자들에게는 필요할 때마다 저렴하게 이동할 수 있는 기동성을 제공할 것이다.

 차량을 안전하게 자율주행하기 위해 8개의 서라운드 뷰 카메라는 운전자가 최대 거리 250미터까지 360도로 볼 수 있게 한다 (그림 1). 이뿐만 아니라 12개의 업데이트된 초음파가 추가되어 멀리 떨어진 거리에 있는 모든 유형의 물체를 감지할 수 있다. 예를 들어, 전방 레이더는 폭우, 안개, 먼지 및 앞의 차량을 확인하기 위해 반복되는 파장을 이용하여 현재 상황에 대한 추가적인 데이터를 제공한다. 이를 통해, 자율주행시스템은 운전자가 시야 밖에서 일어나는 모든 상황을 확인할 수 있을 뿐만 아니라 일어나는 일들을 동시에 확인할 수 있게 된다.


그림 1. 안전하게 자율주행하기 위한 다양한 카메라


 본 특허는 안전한 자율주행시스템을 확보하기 위해 차량에서 발생하는 에러들을 처리하기 위한 시스템들에 대한 내용이다. 본 특허에서 주장하고 있는 뉴럴 네트워크 프로세싱 시스템을 탑재한 차량 (100)의 도면이다 (그림 2). 차량 (100)은 전기 차량, 하이브리드 전기 차량 및 가솔린 구동 차량 등에 적용 될 수 있다. 차량 (100)이 주행하는 동안 컨트롤러 (120)은 센서들 (110)으로부터 실시간 입력 데이터를 수신한다. 여기서 뉴럴 네트워크 프로세서 (130)은 센서로부터 획득한 이미지 또는 오디오 등과 관련된 데이터들을 처리한다.

 그림 3은 뉴럴 네트워크를 처리하기 위한 시스템 (200)의 다이어그램이다. 시스템 (200)은 뉴럴 네트워크 프로세서 (210), 인터페이스 (220), 로컬 메모리 (230), 계산 엔진 (240), 타임 아웃 에러 검출기 (257) 및 뉴럴 네트워크 컨트롤러 (270)으로 구성되어 있다.

 인터페이스 (220)는 CPU로부터 명령어들을 수신하고, 메모리로부터 파라미터 (가중치)를 읽고, 센서 데이터에 접근하고, 뉴럴 네트워크 등의 결과를 기록하기 위해 사용된다. 로컬 메모리 (230)은 뉴럴 네트워크 프로세서 (210)에 의해 실행될 명령어들과 프로그램들을 저장할 수 있다. 예를 들어, 로컬 메모리 (230)는 정의된 모델, 가중치와 같은 모델 파라미터, 뉴럴 네트워크에 대한 입력 데이터, 뉴럴 네트워크 프로세서 (210)에 의해 생성된 중간 결과들 및 뉴럴 네트네트워크의 최종 결과들을 저장할 수 있다. 게임 엔진 (240)은 간단하게 주어진 입력 데이터 세트에 대한 뉴럴 네트워크의 결과를 연산하기 위한 명령어들을 포함한다. 타임 아웃 에러 검출기 (257)는 뉴럴 네트워크 프로세서 (210)에 의해 수행되는 작업들이 정지하거나 응답하지 않을 시 타임아웃 에러를 호출할 수 있다 (그림 4). 예를 들어, 프라이머리 타이머 (312)는 외부 인터페이브 (220)가 데이터를 수신한 후부터 경과 시간을 모니터 할 수 있다 (그림 3, 4). 뉴럴 네트워크 컨트롤러 (270)는 각각의 뉴럴 네트워크에 대해 하나 이상의 상태 레지스터들 (275)을 유지한다. 여기서 상태 레지스터들 (275)은 진행 표시기, 에러 표시기 및 주소 포인터 등과 같은 변수들을 이용하여 각 뉴럴 네트워크의 실행 상태를 추적한다.


그림 2. 뉴럴 네트워크 프로세싱 시스템



그림 3. 뉴럴 네트워크를 처리하기 위한 시스템


그림 4. 타임아웃 에러 검출기


 타국가들의 법원, 애널리스트, 기업가 및 교수 등과 같은 자율주행에 관한 전문가들은 테슬라의 자율주행 5단계에 이르지 못할 것이라고 주장하였다. 이에 반해, 테슬라의 CEO인 일론 머스크는 ‘테슬라는 2020년 자율주행 레벨5를 달성할 것’이라고 언급하였다. 본 특허를 통해 테슬라의 시스템 내부에 뉴럴 네트워크를 통해 지속적으로 에러들을 감소시킨다면 자율주행 5단계에 이르는 일은 절대 근거가 없는 말로는 보이지 않는다. 즉, 본 특허의 내용을 검토해보면 일론 머스크의 말은 근거 없이 주장하는 말이 아니다.


특허법인ECM


변리사 김시우


swkim@ecmpatent.com


02-568-2670

2021-01-08
출원번호10-2019-7034132
출원일자2018.10.15
출원인구글 엘엘씨
등록번호(일자)10-2020-0011425(2020.02.03)
발명의 명칭2D 이미지로부터의 손 골격 학습, 리프팅 및 노이즈 제거


구글의 기술력 향상으로 인해 새로운 검색 기술을 선보였다. 구글 측은 2019년 6월에 AR 검색을 도입했다. AR 검색 기술은 기존의 검색 기법과는 다르다. 기존의 검색 기법은 검색한 사물의 사진, 텍스트 및 동영상 정보만을 보여주었다. 하지만 AR 검색 기술은 AR을 이용하여 사용자가 직접 사물에 적용하여 다각도에서 활용 할 수 있는 기술이다 (그림 1) [1].


(a) 기존 검색 기술                                                                (b) AR 검색 기술

그림 1. 기존 검색 기술과 AR 검색 기술의 차이 [1]


 현재까지 구글 AR 검색은 동물 키워드에서만 서비스를 제공한다. 다음은 한 블로거가 구글 AR 검색을 사용한 예이다 (그림 2) [1]. 블로거가 고양이를 검색할 시 현실 배경에 3차원 이미지의 고양이가 합성되어 나온다. 즉, 구글 AR 검색은 현실과 가상 (고양이)이 혼재된 AR 서비스가 구글 AR 검색이라고 할 수 있다. 사용자가 고양이에 가까이 다가가면 고양이의 크기가 커지고, 다양한 각도에서 고양이를 관측해도 자연스럽다. 구글의 VR 검색 기술은 꾸준한 기술 개발로 만들어진 기술이다. 본 특허에서 볼 수 있듯이 구글 AR 검색 기술의 근원이 되는 2차원 영상을 자연스러운 3차원 영상으로 변환시켜주는 기술을 출원하였다.


그림 2. 구글 AR 검색 기술을 사용한 예 [1]


 그림 3은 손의 2차원 이미지를 획득한 후, 손의 3차원 포즈를 생성하도록 구성하는 프로세싱의 흐름도이다. 카메라 (215)는 손 (205)의 2차원 이미지를 획득하고, 메모리 (220)에 2차원 이미지에 대한 정보를 저장한다. 프로세스 (225)는 메모리 (220)로부터 2차원 이미지를 나타내는 정보에 접근하고 2차원 이미지에 대한 트레이닝, 리프팅 및 잡음 제거를 수행한다. 여기서 ‘트레이닝’ 단계는 손 (205)의 트레이닝 이미지들을 이용하여 한 개 이상의 룩업 테이블들 (LUTs) (230)을 생성하는 것을 의미한다. 예를 들어, 엄지 손가락을 포함한 뼈마디들의 길이들은 손 (205)의 트레이닝 이미지들의 세트로부터 결정된다. ‘리프팅’은 손의 2차원 이미지를 3차원 포즈를 생성하는 과정을 의미한다. 최종적으로 골격 모델 (210)으로 표현된다.


그림 3. 손의 2차원 영상을 3차원 포즈 결정하는 방법


 그림 3에서 보는 바와 같이 2차원 손의 영상을 3차원 포즈 영상으로 변환하는 알고리즘의 플로우 차트는 그림 4 및 5를 이용한다. 단계 (805)는 손의 2차원 이미지를 그림 3의 카메라 (215)를 이용하여 캡쳐한다. 단계 (805)로부터 획득한 2차원 이미지로부터 키포인트들을 식별한다 (810). 손의 키포인트들은 그림 6과 같이 나타낸다. 단계 (815)에서는 키포인트들에 기반하여 손가락들의 뼈마디들의 길이를 결정한다. 단계 (820) 과정에서는 뼈마디들의 길이들 및 손가락 끝과 손바닥 너클의 상대적인 위치에 대한 해부학적 정보를 이용하여 룩업 테이블 (LUT)를 생성한다. 단계 (905)는 2차원 손의 이미지에서 키포인트를 식별한 다음, 획득한 키포인트 정보들을 기반으로 3차원 공간에서 손을 변환하기 위한 파라미터들을 추정한다 (910). 손바닥의 삼각형 및 엄지 삼각형의 방향을 학습하기 위해 2차원 이미지 내 손바닥 삼각형 및 엄지 삼각형을 정의하는 파라미터들로부터 일부 영역의 비교한다 (915). 단계 (920)은 손가락들에서 손가락 포즈의 평면 방향들에 대해 학습한다. 2차원 이미지 내 손가락 좌표들을 결정하기 위해 LUT, 손가락 끝 및 대응하는 손바닥 너클들의 상대적인 위치 정보들을 사용한다 (925). 손바닥 삼각형, 손바닥 삼각형의 방향, 엄지 삼각형, 엄지 삼각형의 방향 및 손가락들과 엄지의 회전된 2차원 손가락 좌표들의 정보들을 결합하여 최종 3차원 골격 모델이 결정된다 (930).     



그림 4. 손가락의 2차원 좌표 매핑의 흐름도                     그림 5. 2차원 이미지를 3차원 포즈로

                                                                                                           리프팅하는 방법


그림 6. 2차원 손 이미지의 키포인트


 구글 VR 검색 서비스는 인터넷 이용자들 사이에서 빠르게 퍼지며 인기를 끌고 있다. 한국과 같이 교육열이 높은 나라에서 부모들은 본 서비스를 통해 아이들과 동물원 (현재 서비스 기준)을 방문하지 않고, 원하는 정보를 손쉽게 얻을 수 있게 되었다. 하지만 구글 AR 검색 기술은 현재 오직 동물만을 제공하기 때문에 현재는 다양한 분야에 사용되기에 한계가 있지만, 향후 다양한 동물 또는 물체를 제공함으로써 확장 가능성은 높은 기술로 보인다.


특허법인ECM


변리사 김시우


swkim@ecmpatent.com


02-568-2670

2021-01-08
출원번호10-2017-0099018
출원일자2017.08.04
출원인삼성전자주식회사
등록번호(일자)10-2019-0014908(2019.02.13)
발명의 명칭관심 객체를 검출하는 방법 및 장치


 삼성전자는 메모리 시장의 수익이 한계에 다다르자 미래 먹거리 중 하나인 자동차 전장 (전자기기)로 눈을 돌렸다. 전 세계 차랑용 전장 시장의 전체 규모는 2018년부터 2023년까지 매년 7.4%씩 증가할 것으로 예상하고 있다. 2024년에는 약 477조 7600억원의 시장 규모를 형성할 것으로 전망된다. 이는 삼성전자가 1위를 수성하고 있는 메모리 반도체 시장의 2배 이상을 뛰어넘는 시장 크기이다.

 삼성전자는 2018년 차량용 반도체 프로세서 브랜드인 ‘엑시노스 오토’와 이미지 센서 브랜드인 ‘아이소셀 오토’를 출시하며 이미 자동차 전장 사업을 시작하였다 (그림 1) [1]. 모바일 시장에서 검증된 기술력을 바탕으로 차량에 최적화된 제품을 출시하겠다는 계획이 있었다. 삼성전자의 반도체 프로세서는 출시 3개월만에 2019년 1월에 아우디의 차량 시스템에 채택되었고, 2019년 4월에 테슬라 자율주행 시스템에 탑재됐다.


그림 1. 엑시노트 오토 V9 [1]


 삼성전자는 앞으로 차량용 반도체 시장 공략에 더욱 박차를 가하기 위해 자율주행의 핵심인 ADAS용 반도체 시장을 위한 A시리즈 개발을 서두르고 있다. 또한, 기술을 확보하기 위해 글로벌 전장업체들을 인수하고 있다. 미래의 자동차는 단순 이동수단이 아니라 하나의 전자기기이자 활동공간으로 이용될 것으로 예측되고 있다 (그림 2) [2]. 이를 위해 자동차는 안전하고 완벽하게 주행을 구현해야 하기 위해 높은 수준의 기술력을 필요로 한다. 본 특허는 삼성전자의 미래 먹거리 사업인 차량용 반도체의 ADAS를 위한 필수적인 기술이라고 할 수 있다.


그림 2. 미래의 자동차 [2]


 그림 3은 관심 객체를 검출하는 방법을 나타내는 흐름도이다. 카메라는 입력 영상을 획득하고 (310), 입력 영상 내 포함된 차선을 포함하는 하나 이상의 객체를 검출한다 (320). 단계 (330)에서 검출 장치는 하나 이상의 객체를 기반으로 관심 영역을 설정한다. 검출 장치는 관심 영역에 대응하는 복원 영상을 생성한다 (340). 이 단계에서 검출 장치들 (라이다 센서, 레이더 센서 등)로부터 획득한 스테레오 영상의 복원 영상 내 픽셀 차이를 이용하여 객체와의 거리를 추정할 수 있다. 단계 (350)은 복원 영상으로부터 관심 객체를 검출하는 단계이며, 객체를 검출하는 방법은 다음과 같다. 우선, 검출 장치는 입력 영상으로부터 차선과 횡단 보도 등과 같이 미리 정해진 객체를 검출한 후 검출된 객체를 중심으로 일정 범위의 관심 영역을 설정한다. 관심 영역에 초해상도 (Super resolution) 기법을 적용하여 복원 영상을 생성한 후, 복원 영상 내에서 객체를 재검출 함으로써 검출 성능을 향상시킨다.      


그림 3. 관심 객체를 검출하는 방법


 검출 장치는 입력 영상 내 차선 표시에 대한 세그멘테이션 (Segmentation) 기법을 이용하여 차선 표시가 수렴하는 도로 소실점을 (510)을 검출할 수 있다 (그림 4). 차선 표시가 수렴하는 지점인 도로 소실점은 자율 주행 차량의 차후 진행 영역에 해당한다. 이는 향후 경로 및 제어 파라미터 설정에 중요한 부분에 해당된다. 검출 장치 내 검출된 객체의 크기가 작을 시, 객체 간의 거리를 추정하기 위해 초해상도 (Super resolution) 기술을 적용하여 도로 소실점을 검출한다. 검출 장치는 도로 소실점에 대응하는 영역을 관심 영역 (점선으로 표시된 박스 (530))으로 설정한다. 관심 영역의 크기는 전체 차로의 개수, 해당 지역의 혼잡도, 신호등, 표지판 및 횡단 보도의 유무 등과 같은 조건에 따라서 달라진다. 예를 들어, 전체 차로의 개수가 증가할수록 관심 영역의 박스 (531)가 확대된다. 반대의 경우에는 관심 영역의 박스 (533)과 같이 축소된다.


그림 4. 관심 영역을 설정하는 방법


 삼섬전자는 차량용 반도체에 대규모 투자를 감행하고 있다. 메모리반도체에 이어 시스템반도체 부분에서도 세계 1위에 오르기 위해서이다. 이를 위해, 차량용 반도체 분야에 133조를 투자하고, 1만 5천명의 전문 인력을 채용할 예정이다. 구체적으로 국내 연구개발분야에 73조원과 첨단 생산 인프라 설비에 60조원을 투자하기로 했다. 삼성전자가 메모리반도체 시장보다 큰 시스템반도체에서 1등이 되기 위해 선택과 집중을 시작한 만큼 차량용 반도체와 관련된 기술력을 확보를 기반으로 어떻게 시장 점유율을 증가시킬지 행보가 주목된다.


특허법인ECM


변리사 김시우


swkim@ecmpatent.com


02-568-2670

2021-01-06
출원번호10-2015-7007981
출원일자2013.10.28
출원인구글 인코포레이티드
공개/등록번호(일자)10-2015-0079576(2015.07.08)
발명의 명칭조합된 깊이 큐들에 기초하여 모노스코픽 이미지로부터 깊이 맵 생성


2019년도 출시된 구글의 AR 앱은 깊이 맵을 명확하게 생성하기 못해 가상 객체와 실제 세계의 전경과 배경을 정확히 표현하기 어려운 문제가 발생했다. 문제의 원인은 깊이 맵 기술로 판명되었다. 깊이 맵이란 관찰시점으로부터 물체 표면과의 거리와 따라 색으로 표현한다. 예를 들어, 그림 1에서 볼 수 있듯이 큐빅이 카메라와 가까울수록 그림 1 (b)와 같이 어두운 색으로 표현된다. 이와의 반대의 경우, 그림 1 (c)처럼 밝은 색으로 나타난다. 구글측은 앞에서 언급된 문제를 해결하기 위해 새로운 Depth API (Application Programming Interface)를 출시했다. 새로운 API는 실제 전경과 배경을 구분, 경로 계획 및 표면 상호 작용과 같은 물리적인 기능을 향상시켜 가상 객체를 올바르게 표시할 수 있게 되었다.


(a) 큐빅 구조               (b) 깊이 맵 (근접)      (c) 깊이 맵 (먼거리)

그림1.  거리에 따른 깊이 맵의 색 변화 [1]


휴대 전화가 움직일 때, Depth API는 특수 카메라 또는 센서에 의존하지 않으며 하드웨어가 개선될 때 향상되는 장점이 추가되었다. 예를 들어, 빛이 피사체에 반사되어 돌아오는 시간을 측정하여 거리를 계산하는 방식을 이용하는 ToF (Time-of-Flight) 센서를 추가할 경우 더 자세한 깊이 맵을 만들 수 있다 (그림 2).


그림 2. ToF를 이용한 깊이 맵 [2]


 2019년도에 출시된 AR 앱의 깊이 맵 문제를 해결하고자 구글은 깊이 맵 기술을 지속적으로 개발해오고 있었음을 본 특허를 통해 확인할 수 있다. 특허가 출원될 당시 기존의 기술들은 객체 분할 (object segmentation)을 이용하여 이미지 내 객체들을 식별하고, 깊이를 대략적으로 결정하였다 (그림 3) [3]. 객체 분할 기법은 객체들의 경계들을 부정확하게 판별할 수 있으므로 근접한 깊이 맵 또는 먼 깊이 맵을 구분하는 것을 어렵게 만든다.


 

                                                                (a) 원 영상                 (b) 분할 영상

그림 3. 객체 분할 기술을 이용한 깊이 맵 [3]


 객체 분할 기법의 문제를 해결하기 위해 구글의 특허에서 제안한 알고리즘은 컬러, 공간 및 모션 깊이 맵의 가중화된 조합을 이용하여 모노스코픽 이미지에 대한 조합된 깊이 맵을 생성한다. 각각의 깊이 맵들은 이미지 평면에 대한 픽셀의 깊이를 나타내게 된다.

 그림 4및 5은 조합된 깊이 맵을 생성하기 위한 플로우 차트이다. 비디오 프레임 (102)는 모노스코픽 이미지를 의미한다. 비디오 프레임 (102)은 모노스코픽 카메라에 의해 촬영되었기 때문에 비디오 프레임 내 픽셀들은 동일한 평면에 존재한다. 컬러 깊이 맵 (104)은 픽셀들의 컬러를 픽셀들의 깊이에 대한 표시자로 이용하여 비디오 프레임 내 픽셀들의 깊이들을 판별한다. 유사한 컬러들을 갖는 픽셀값들은 유사한 깊이를 나타낼 것이라는 정보의 기초하여 컬러 깊이 맵을 생성한다. 공간 깊이 맵 (106)은 이미지 내 평면들에 있는 객체들은 특정 깊이를 가질 것이라는 가정하에 깊이를 판별한다 (그림 6) [4]. 공간 깊이 맵은 각 물체에 대해 각 위치에서 픽셀들의 깊이를 평균화하여 공간 깊이 맵을 생성한다. 모션 깊이 맵 (108)은 빠른 움직임을 나타내는 픽셀들은 이미지의 전경 (foreground)보다 근접하다고 판단하여 생성된다. 조합된 깊이 맵 (110)은 컬러, 공간 및 모션 깊이 맵과 각 깊이 맵들의 가중치와 선형 조합으로 만들어진다. 여기서 컬러 깊이 맵의 가중치는 이미지 내 컬러들의 분포에 기반하여 가중치가 결정된다. 각 픽셀의 위치에서 픽셀 깊이의 분산을 나타내는 것을 분산 맵이라고 하며, 공간 깊이 맵의 가중치는 분산 맵을 이용하여 결정된다. 모션 깊이 맵의 가중치는 이미지 내 움직임의 양에 기반하여 결정된다. 즉, 이미지 내 움직이는 픽셀의 퍼센티지를 이용하여 가중치를 증가시키거나 감소시킨다.



그림 4. 조합된 깊이 맵을 생성하기 위한 대표도


그림 5. 조합된 깊이 맵을 생성하기 위한 흐름도


그림 6. 공간 깊이 맵 [4]


 API는 처음부터 개발하거나 유지 보수할 필요가 없는 기능에 사용자들에게 안전하고 즉각적으로 이용할 수 있도록 해준다. API는 여러 산업의 사용자들에게 우수한 자산을 제공하고, 프로젝트를 시작할 수 있도록 아이디어를 주기 때문에 강력한 자산이 되는 API를 보유하는 것은 마케팅 기술 플랫폼에서 중요하다. 구글은 API를 이용하여 멀티미디어 콘텐츠 플랫폼 중 하나인 AR 앱을 사용자의 요구에 맞게 제공하고 있다 (그림 6) [5]. 구글에 의해 제공된 API를 기반 (로열티 없음)으로 새롭게 만들어진 창의적인 플랫폼들은 더 많은 구글의 상품을 구매하게 하여 수익을 증가시킬 수 있는 기회를 제공할 것으로 보여진다.   

  

그림 7. 구글의 AR 앱을 사용한 예 [5]


특허법인ECM

변리사 김시우

swkim@ecmpatent.com

02-568-2670




2021-01-06

출원번호

14/580,046

출원일자

2014.12.22

출원인

Amazon Technologies, Inc.,

공개/등록번호(일자)

US 9,305,280 (2016.04.05)

발명의 명칭

AIRBORNE FULFILLMENT CENTER UTILIZING UNMANNED AERIAL VEHICLES FOR ITEM DELIVERY


통계 사이트 Statista의 2019년 조사에 따르면, 상업용 드론 누적 판매량은 2022년 백만 대를 훌쩍 넘어 2025년에는 268만 대에 이를 것으로 예상된다. 미래학자 토머스 프레이는 “2030년 지구 위의 하늘엔 10억 개의 드론이 날아다닐 것”이라고 전망하기도 했다.

글로벌 상업용 드론 시장 규모 (출처: Statista)

 이처럼 가파른 성장세를 보이고 있는 상업용 드론은 다양한 산업군에서 환영받고 있다. 그 중, 가장 먼저 응용사례를 내놓을 것으로 기대되는 기업은 미국 최대 온라인 쇼핑업체인 아마존이다. 아마존은 드론 배송 프로그램을 시작하기 위해 다양한 특허를 내놓고 있는데, 오늘은 “항공 주문 처리 센터” 즉 공중을 떠다니는 거대 창고에 관한 특허를 알아보고자 한다.

 미국 등록 특허 9,305,280 호(발명의 명칭: Airborne fulfillment center utilizing unmanned aerial vehicles for item delivery)는 거대한 비행선 형태의 AFC (Airborne Fulfillment Center)와 AFC에 배치된 unmanned aerial vehicles (“UAV”)로 이루어진다. AFC는 예를 들어 45000 피트의 고도에 머무르면서 내부에 배치된 주문 품목을 UAV이 주문 위치로 배송하게 하는 시스템이다. AFC가 도심 지역 공중에 배치되어 있으므로 배송 커버리지가 넓은 동시에 드론의 하방 이동에 의해 전력 소모를 절감할 수 있다. 이 시스템에는 AFC에 상품 재고와 연료 등을 공급하는 셔틀(작은 비행선들)도 추가로 포함되어 있다.

AFC를 활용하는 배송 프로세스

 AFC(302)는 상업용 비행기가 다니는 고도인 42000 피트 보다 높은 45000 피트 이상에 위치하기 때문에 방해 없이 장기간 상공에 머무를 수 있다. 도심(304)에서 주문이 들어오면 도심 위의 AFC(302)로부터 상품을 실은 UAV(312)가 낙하하게 되고 UAV 네트워크 영역(300)에 도달해 고객의 주문처까지 상품을 배송한다. 배송을 완료한 UAV(312)는 셔틀(350)이 있는 보충 구역(351)으로 가서 AFC(302)로 복귀하거나 자재 취급 시설(330)으로 가서 다른 배송을 시작할 수 있다.

AFC(402)는 자체적으로 공중을 탐색할 수 있는 가벼운 항공기라고 설명될 수 있다. 공기보다 가벼운 가스를 포함하는 리프팅 부분(404)과 재고 저장, UAV의 배치 등에 사용되는 주문 처리 센터(406)로 구성된다. 주문 처리 센터(406)에서는 UAV가 이/착륙할 수 있는 UAV 전개 영역(408)과 셔틀(450)과 결합될 수 있는 도킹 팔(414)이 있어 작업자나 로봇이 상품을 경우에 맞게 이송 및 배치할 수 있는 공간이 된다.

UAV의 배송 프로세스 순서도


컴퓨터 시스템의 제어 하에서 드론에 의한 자동 배송이 실행되는데, 사용자로부터 AFC의 Inventory 내 품목에 대한 주문을 받고, 해당 품목을 UAV가 싣고, AFC에서 출발하고 배송 위치로 운항하여 품목을 내려 놓도록 하는 각 단계의 명령에 의하여 자동 배송 방법이 구현된다.

AFC, UAV, 셔틀로 이루어진 시스템 청구항과, AFC의 저장고 내 품목에 대한 주문을 받고 UAV가 주문 품목을 배송지로 배달하는 명령 제어에 대한 방법 청구항을 포함하는 원천 특허로, 아마존은 도심 상공에서의 AFC 시스템을 상당기간 독점할 수 있을 것으로 본다. 다만, 이 특허는 미국에서만 출원, 등록되어 한국 등 다른 국가에서는 아마존 특허 침해 우려 없이 해당 기술의 실시가 가능할 것으로 보인다.

이 시스템은 그동안 많은 규제의 벽에 부딪혀 현실과는 거리가 먼 것으로 인식되어왔다. 하지만 2020년 8월 31일 미 연방 항공국(FAA)으로부터 드론 상품 배송 서비스에 대한 승인을 받음으로써 아마존의 오랜 꿈이 조만간 현실화될 전망이다.


특허법인ECM

변리사 이은심

eslee@ecmpatent.com

02-568-2632

2021-01-05
출원번호10-2018-7002567
출원일자2016.08.10
출원인테슬라, 인크.
공개/등록번호(일자)10-2129333(2020.06.26)
발명의 명칭차량 전방 도어 파워 개방 시스템


지금까지 자동차는 단순한 이동수단이었다. 그러나 다양한 커넥티비티 기술이 발달함에 따라 자동차 안팎에서 많은 것들을 할 수 있게 되었다. ‘차량 내 간편결제 서비스’는 운전자의 시간과 비용을 줄어줌으로써 일상을 편하게 해주는 커넥티비티 서비스 중 하나이다 (그림 1). 이 서비스를 이용하면 운전자가 차에서 내리지 않고 결제 할 수 있다. 이는 스마트폰으로 손쉽게 결제하는 것과 같이 자동차의 새로운 결제 수단이 된다고 생각하면 된다.  


그림 1. 차량 내 간편 결제시스템

테슬라측은 위에서 언급한 최첨단 시스템뿐만 아니라 운전자가 편안하게 자동차를 이용할 수 있는 기능을 제공하고 있다. 예를 들어, 차량의 운전자는 단거리/장거리 이동 시 핸드백, 지갑, 스마트폰, 가방, 및 다른 액세서리와 같은 개인 휴대품을 가지고 다닌다. 이는 개인 물품은 차량으로 들어가거나 나오도록 차 손잡이를 이용하는 것을 어렵게 만든다.

테슬라는 이러한 작은 부분도 놓치지 않고, 운전자 또는 탑승자가 양손에 물건을 운반하고 있는 동안 사람이 차량에 쉽게 진입하도록 제공한다. 셀프 개방 및 셀프 폐쇄 도어는 사람이 차를 타고 떠나기 전에 물건을 내려 놓아야만 하는데 본 특허는 차량으로의 진입 시 편리한 방식을 제공한다.

  그림 2는 검출 영역 (200)과 와이드 위치 (202)에 의해 개방되는 전방 도어 (104A)를 나타낸다. 이는 차량에 운전자가 전방 도어에 충분히 근접할 것으로 검출할 경우 와이드 위치로 도어를 개방한다. 예를 들어, 운전자가 차량을 지나치거나 트렁크로 향하는 경우와 달리 운전자 시트 방향으로 이동한다면 대략 와이드 위치 (202)로 도어 (104A)를 자동으로 개방한다.

  그림 3은 운전자가 차량용 무선 장치를 휴대 시 전방 도어가 자동으로 개방된다. 운전자가 부분적으로 개방된 도어 바로 뒤의 영역에 위치 할 때, 자동차 내 시스템은 와이드 위치로 도어를 개발하도록 조정한다 (그림 4). 그림 5는 운전자가 운전자 시트에 진입한 후, 전방 도어가 닫힌다. 자동차는 전자 열쇠가 차량 내부에 있고, 운전자가 브레이크 페달을 밝고 있다는 것을 검출함으로써 나타난다. 그 다음 단계로 차량은 주행할 수 있는 상태가 된다.



그림 2. 전방 도어의 실시예


그림 3. 차량에 접근하는 운전자의 예


그림 4. 와이드 위치로 개방되는 전방 도어


그림 5. 운전자 시트에 들어간 후 전방 도어 폐쇄

세상의 기술이 발전함에 따라 복잡한 기술들이 자동차 또는 전자기기에 도입되고 있다. 하지만 연령대에 따라 기기에 설치된 기능을 사용하는 연령대도 있고, 사용하지 않는 연령대도 있다. 이보단 본 특허에서 제안한 바와 같이 단순하면서 모든 연령대에 불편함을 감소시켜줄 수 있는 방법이 테슬라 차량의 구매를 증가시킬 수 있는 가장 필수적인 기술로 보인다.


특허법인ECM

변리사 김시우

swkim@ecmpatent.com

02-568-2670


2020-12-30

출원번호

3020190048995

출원일자

2019.10.15

출원인

주식회사 토탈키즈

디자인구분

기본디자인 공개디자인


토탈키즈 '유모차용 컵홀더' 한국 특허청(KIPO) 디자인 등록


지난 4월, 주식회사 토탈키즈는 한국 특허청에서 두번째로 ‘유모차용 컵홀더’를 디자인 등록받았다. 한국 특허청(KIPO)에 ‘유모차용 컵홀더’가 등록된 것은 LG전자의 디자인(등록번호 : 3010461810000)를 제외하고는 처음이다.

그림2. Jacobs Well의 '유모차용 컵홀더' 디자인


주식회사 토탈키즈는 브랜드 Jacobs Well(제이콥스 웰)을 런칭하고 ‘천연가죽 유모차 컵홀더’를 출시했다. 주식회사 토탈키즈의 제품은 천연 소가죽으로 이루어져 있어 내구성이 우수하고 클래식한 감성을 느낄 수 있다.


주식회사 토탈키즈의 제품은 세 가지 용도로 사용이 가능하다. 유모차에 부착하여 커피나 음료수의 홀더로 사용할 수 있으며, 유모차에 부착하여 아기 젖병을 꽂아두는 홀더로 사용할 수도 있다. 마지막으로 컵홀더를 유모차와 분리하여 단독으로 사용할 수도 있다.

브랜드 Jacobs Well(제이콥스 웰)‘의 모토는 평범한 일상에 특별함이 깃들게’ 이다. 제이콥스웰 브랜드의 유모차용 컵홀더는 일상에 스며드는 작은 휴식이 될 것이다.


특허법인ECM

변리사 김시우

swkim@ecmpatent.com

02-568-2670

2020-12-30

출원번호

US D891,048

출원일자

2020.07.28

출원인

HERMES SELLIER (Societe par actions simplifiee)

(좌부터 순서대로) 사시도, 전면도, 후면도

(좌)좌측 (우)우측

(좌) 위에서 본 모습 (우) 아래에서 본 모습


세계 최고 명품 브랜드 에르메스가 올해(2020년) 출원한 키튼힐(굽이 3~5센치로 작은 구두)이다. 신화의 인물인 에르메스처럼 신발의 뒷부분에 날개가 달려있다. Victoire 40 Pump라는 제품명으로 한화 110만원 정도에 판매중이다.


특허법인ECM

변리사 김시우

swkim@ecmpatent.com

02-568-2670

Copyright © 2019 by ECM IP&LAW FIRM . All Rights Reserved.

ECM IP&LAW FIRM
3F, 13, Teheran-ro 70-gil,
Gangnam-gu, Seoul,

Republic of Korea