2020-02-08

서지사항

출원인

International Business Machines Corporation

발명의 명칭

Parallel execution of blockchain transaction

출원번호(출원일)

US15/006171 (2016-1-26)

공개번호(공개일)

US20170212781A1 (2017-07-27)

등록번호(등록일)

US10255108 (2019-04-09)



본 특허는 블록체인 상에서 트랜잭션에 대한 병렬 처리 방법에 관한 것이다.


새로운 블록을 생성시 DAG(directed acyclic graph)(330)를 기반으로 트랜잭션을 구분할 수 있다

DAG는 트랜잭션과 관련된 함수 서명(function signature)를 통해 트랜잭션 간의 종속성독립성에 대한 정보를 획득할 수 있다. DAG를 통해 트랜잭션에 대한 병렬 처리순차 처리에 대한 스케줄링이 수행될 수 있고스케줄링에 따라 트랜잭션에 대한 처리가 병렬적순차적으로 수행될 수 있다.

DAG(330)는 블록 상에서 저장될 복수의 트랜잭션 간의 종속성/독립성에 대해 판단할 수 있다구체적으로 DAG(330)는 복수의 트랜잭션의 입력 및 출력 사이에 존재하는 종속성/독립성에 대해 판단하고트랜잭션을 분류할 수 있다

우선 서버(304)는 블록 생성 시간블록에 포함될 트랜잭션의 수와 같은 기준을 정할 수 있다또한병렬적/순차적으로 처리될 트랜잭션을 구분할 수 있다병렬 처리 또는 순차처리로 구분된 트랜잭션은 복수의 프로세서 상에서 스케줄링되고복수의 프로세서 각각 상에서 병렬 처리 가능한 트랜잭션에 대한 처리가 동시에 수행될 수 있다.


swkim@ecmpatent.com

김시우 변리사

2020-02-08

서지사항

출원인

International Business Machines Corporation

발명의 명칭

Personal ledger blockchain

출원번호(출원일)

US14/971027 (2015-12-16)

공개번호(공개일)

US20170177898A1 (2017-06-22)

등록번호(등록일)

US100013573 (2018-07-03)


본 특허는 사용자들의 개인 데이터를 블록체인 상에서 저장하고 관리하기 위한 방법에 관한 것이다사용자는 특정 단체일 수도 있다.

사용자는 개인 시큐리티 키를 통해 암호화된 정보를 블록체인 상에 업로드할 수 있다업로드된 정보는 이후 요청에 따라 정보를 올린 사용자 또는 사용자에게 공유 권한을 받은 다른 사용자만이 확인할 수 있다사용자는 특정 데이터를 블록체인 상에 업로드하고블록체인은 개인 데이터를 보관/관리하기 위한 분산 원장으로서 활용될 수 있다본 특허에서는 다수의 사용자들이 하나의 블록체인 상에서 개인 데이터를 저장하고 관리하기 위한 방법이 공개되어 있다.


복수의 사용자들에 의해 생성된 복수의 트랜잭션(212, 222)이 존재할 수 있고, 복수의 트랜잭션은 특정 블록(252, 272) 상에 저장될 수 있다.

사용자들은 저장을 원하는 저장 대상 데이터(예를 들어, 텍스트, 이미지, 멀티미디어 데이터 등)을 포함하는 트랜잭션(212, 222)을 생성하고 생성된 트랜잭션을 블록체인 네트워크를 통해 블록 상에 저장될 수 있다.

사용자들에 의해 전송된 트랜잭션(212, 222)은 타임스탬프(시간정보)(214, 224), 카테고리(저장 정보의 카테고리(예를 들어, 텍스트, 이미지, 멀티미디어))(216, 226) 및 트랜잭션 식별 정보(transaction ID)(218, 228)를 포함할 수 있다. 트랜잭션 식별 정보(218, 228)는 추후에 사용자에 의해 블록체인 상에 저장된 데이터에 대한 탐색을 위해 사용될 수 있다.

사용자들에 의해 생성된 트랜잭션에 포함된 데이터(256, 260, 264, 276, 280, 284)는 블록(252, 272) 상에 저장될 수 있다.

사용자에 의해 업로드된 블록 상의 저장 대상 데이터 각각은 개별적으로 암호화되어 관리되거나 블록 단위로 암호화되어 관리될 수 있다.

사용자 데이터의 공유는 아래와 같은 방식으로 이루어질 수 있다.


  1. 블록 단위 암호화

    만약, 사용자가 메디컬 이미지 데이터1(276)과 메디컬 이미지 데이터2(280)을 다른 사람과 공유하고 싶은 경우가 가정된다. 메디컬 이미지 데이터1(276)과 메디컬 이미지 데이터2(280)를 포함하는 블록(272)에 대한 블록 단위 복호화를 통해 메디컬 이미지 데이터1(276)과 메디컬 이미지 데이터2(280)가 복호화된 후 데이터가 공유될 수 있다.

  2. 저장 대상 데이터 단위 암호화

    만약, 사용자가 메디컬 이미지 데이터1(256) 및 메디컬 이미지 데이터2(260)를 공유하고 싶은 경우, 메디컬 이미지 데이터1(256) 및 메디컬 이미지 데이터2(260) 각각에 대한 개별적인 복호화를 수행하여 데이터를 공유할 수 있다. 즉, 메디컬 이미지 데이터1(256)에 대한 데이터 복호화 키1, 메디컬 이미지 데이터2(260)에 대한 데이터 복호화 키2를 기반으로 개별 데이터 각각에 대한 복호화를 수행하여 데이터가 공유될 수 있다.


사용자의 요청에 따라 블록 상에 저장된 데이터가 사용자에게 제공될 수 있다. 간단하게 사용자는 트랜잭션 식별자 및 복호화 키를 전송한다(S404). 블록체인 상에서 트랜잭션 식별자를 기반으로 저장된 데이터를 포함하는 블록이 탐색되고(S406), 블록의 탐색 이후, 복호화키를 기반으로 저장된 데이터를 복호화한다(S408). 이후, 복호화된 데이터는 사용자에게 전달될 수 있다.


본 특허는 개인뿐만 아니라 민감한 개인 정보에 대한 공유, 관리가 필요한 특정 단체들(의료 기관, 공공 기관 등)이 하나의 블록체인을 사적인 분산 원장으로서 활용하기 위한 방법이 개시되어 있다. 데이터에 대한 증빙 및 제한된 공유를 필요로 하는 개인 또는 단체에서 이러한 블록체인을 활용한 데이터 증빙/공유 서비스의 활용이 이루어질 수 있을 것이라 예상된다.


swkim@ecmpatent.com

김시우 변리사

2020-02-08

서지사항

출원인

International Business Machines Corporation

발명의 명칭

System, method, and computer program product for privacy-preserving transaction validation mechanisms for smart contracts that are included in a ledger

출원번호(출원일)

US14/957634 (2015-12-03)

공개번호(공개일)

US20170155515A1 (2017-06-01)

등록번호(등록일)

US9992028 (2018-06-05)


본 특허는 보안이 필요한 경우 사용되는 트랜잭션 포맷에 관한 것이다.

비트코인 프로토콜과 같이 트랜잭션에 대한 투명한 공개가 필요한 경우도 있지만다수의 블록체인 기반 서비스에서는 트랜잭션에 대한 선택적인 공개가 필요하다본 특허에서는 트랜잭션에 대한 보안이 필요한 경우사용 가능한 트랜잭션 포맷들이 공개되어 있다.

블록체인 시스템의 전체 구조는 아래와 같다.

아이덴터티 프로바이더(Identity provider)는 유저(User) 및 벨리데이터(Validator)에게 퍼블릭키(Public key) 및 시크릿키(Secret Key)를 제공한다. 퍼블릭키 및 시크릿키는 등록시 발행되는 영구적인 영구 퍼블릭키 및 영구 시크릿키와 임시적으로 발행되는(예를 들어, 스마트컨트랙트별)로 발행 가능한 임시 퍼블릭키 및 임시 시크릿키를 포함하는 개념이다.

벨리데이터(Validator)는 트랜잭션 및 스마트컨트랙트에 대한 검증을 수행하고, 스마트컨트랙트를 구동한다.

오디터(Auditor)는 아이덴터티 프로바이더의 동작을 감시할 수 있다.

트랜잭션 보안을 위해 본 특허에서 제안된 포맷은 아래와 같다.


1. 트랜잭션 포맷1

General info(502)는 트랜잭션에 대한 유효성 동의 정보를 포함한다. 블록체인 시스템 내의 모든 객체에 의해 접근 가능한다.

Code info(504)는 스마트컨트랙트의 실행 코드를 포함한다. 허가 받은 객체만이 접근 가능한다.

Contact user(506)은 스마트컨트랙트/트랜잭션에 접근 가능한 유저 정보를 포함한다.

Contact validator(508)는 스마트컨트랙트/트랜젹션에 접근 가능한 벨리데이터 정보를 포함한다.

유저의 정보와 벨리데이터의 식별 정보를 보호하기 위한 Pseudonym이 별도로 설정되어 사용될 수 있다.



2. 트랜잭션 포맷2

General info(602)는 트랜잭션을 검증한 벨리데이터의 임시 퍼블릭키를 포함할 수 있다. 임시 퍼블릭키를 사용함으로써 트랜잭션을 검증한 벨리데이터에 대한 특정이 불가하다.


3. 트랜잭션 포맷3

Contract validator(708)을 통해 특정 벨리데이터에게 임시 시크릿키(vsk)를 전달할 수 있다.



4. 트랜잭션 포맷4

Contract users(806)은 유저의 영구 퍼블릭키를 사용하여 트랜잭션/스마트컨트랙트에 접근할 수 있는 유저를 특정한다. 특정된 유저는 Code info(804)에서 function-hdr, ACL(access control list), role에 접근 가능하다.

Contract validators(808)은 벨리데이터의 영구 퍼블릭키를 사용하여 트랜잭션/스마트컨트랙트에 접근할 수 있는 벨리데이터를 특정한다. 특정된 벨리데이터는 function-code에 추가적으로 접근 가능하다.

Auditors(810)은 오디터의 영구 퍼블릭키를 사용하여 트랜잭션/스마트컨트랙트에 접근할 수 있는 오디터를 특정한다. 특정된 오디터는 function-code에 추가적으로 접근 가능하다.



5. 트랜잭션 포맷5

Contract users(906)을 통해 특정 유저를 위한 임시 시크릿키(usk)가 전달된다. 특정 유저는 function-1-hdr 또는 function-2-hdr 및 role에 접근 가능하다. 유저의 임시 퍼블릭키(upk)를 통해 function-1-hdr 또는 function-2-hdr가 구분된다.

Contract validators(908) 및 auditor(910)은 추가로 function-1-code 및 function-2-code에 접근 가능하다.



6. 트랜잭션 포맷6


Code info(1004)는 퍼블릭 키 토큰(public key token, tokenpk)을 통해 특정 유저들에게 function hdr 정보를 전달할 수도 있다.



7. 트랜잭션 포맷7

Contract user(1106)를 통해 유저는 그룹 단위로 특정될 수 있다. 그룹 단위의 유저 설정은 아이덴터티 프로바이더(Identity provider)를 통해 이루어질 수 있다.

Code info(1104)는 그룹 단위로 접근 가능한 정보를 포함한다.


8. 트랜잭션 포맷8

Code(1304)의 Pederson commitment를 기반으로 벨리데이터를 위한 임시키가 결정될 수 있다. 유저는 벨리데이터의 키를 알 수 없다. 트랜잭션은 유저의 사이닝키로 사이닝될 수 있다.


이 외에도 본 특허에는 Auction service를 위한 트랜잭션 포맷 등이 공개되어 있다.

다양한 블록체인 서비스 상의 목적을 위한 다양한 블록체인 시스템의 구조 및 다양한 트랜잭션 포맷에 대한 특허에 대한 출원/등록은 앞으로도 계속적으로 이루어질 것으로 예상된다.


swkim@ecmpatent.com

김시우 변리사

2019-01-31

아마존은 알렉사와 결합한 음악 스트리밍 서비스, 동영상 스트리밍 서비스에 대해 준비 중인 것으로 예상된다. 동영상/음악 스트리밍 서비스는 아마존 서비스 중 작지 않은 수익원일 수 있다. 아마존이 준비하는 영상 서비스에 대해 알아본다.


1) ENHANCING VIDEO CONTENT WITH PERSONALIZED EXTRINSIC DATA(US2018/0048937)

아마존은 동영상 스트리밍 서비스/음악 스트리밍 서비스, 영상 분석 등과 관련된 많은 멀티미디어 서비스 관련 특허를 출원 중이다. 아마존이 준비 중인 알렉사와 결합한 음악 스트리밍 서비스, 동영상 스트리밍 서비스는 큰 마켓으로 아마존의 큰 수익원으로 활용될 수 있다. 

본 특허는 멀티미디어 정보를 제공함에 있어서, 다양한 부가 정보도 함께 제공하고 이러한 부가 정보를 기반으로 추가의 마켓도 열릴 수 있다. 

영상 분석을 통해 배우 정보,  추가(관련) 멀티미디어 정보 등이 사용자에게 제공될 수 있다. 이러한 정보를 통해 사용자는 관심있는 멀티미디어를 빠르게 제공받거나 구매할 수 있다. 

즉, 부가 정보는 사용자에게 필요한 정보를 제공해줄뿐만 아니라, 멀티미디어 제공자에게도 추가의 수익을 올리게 할 수 있다.

위와 같이 현재 아마존 프라임 비디오의 x-ray 서비스를 통해 멀티미디어와 관련된 다양한 정보를 제공하고 있다. 아마존은 IMdb라는 자체 멀티미디어 정보 데이터베이스를 활용하여 이러한 부가적인 서비스를 제공하고 있다.



2) PROVIDING SUPPLEMENTAL CONTENT WITH ACTIVE AREA

본 특허도 멀티미디어 정보가 제공될 때 복수의 사용자 장치를 통해 정보를 제공받는 것이다. 예를 들어, TV를 보다가 부가 정보를 선택하면, 부가 정보와 관련된 내용이 사용자의 스마트폰에서 제공되는 것이다. 마찬가지로, 배우 정보, 관련 서적 정보, 관련 멀티미디어 정보 등이 사용자에게 제공되고 사용자는 멀티미디어 시청시 원하는 부가 정보를 획득할 수 있다. 또한, 제스처 인식을 기반으로 부가 정보가 필요없을 경우, 화면 상에서 빠르게 없앨 수 있다.


소결.

아마존의 멀티미디어 시장에 대한 관심은 높다. 현재도 아마존 프라임 비디오를 통해 넷플릭스와 경쟁을 하고 있다. 아마존은 자체 오리지널 컨텐츠를 제작하여 아마존 프라임 비디오를 통해 공급하고 있다. 

아마존은 방대한 자체 IMdb를 통한 x-ray 서비스를 제공하여 넷플릭스와의 차별점을 가지고 오고 있다. 이뿐만 아니라, 아마존은 알렉사라는 플랫폼을 통해 가정으로 진입하고 있고, 알렉사 플랫폼을 통해 넷플릭스보다 우위에서 멀티미디어 서비스를 제공할 수 있을 것으로 예상된다.

 

최종

1) 공간의 변화 2) 쇼핑의 변화, 3) 멀티미디어의 변화라는 3개의 카테고리로 나누어 아마존의 특허 및 해당 특허가 어떻게 시장에서 구현되어 활용되고 있는지에 대해 간략하게 이야기해보았다. 향후 아마존의 적극적인 한국 시장 진출 여부는 알 수 없으나, 적극적인 진출이 없더라도 이러한 편리한 기능은 고객에게 별도의 시장 진출 없이도 자연스럽게 스며들 수 있을 것이라 예상된다. 앞으로 아마존은 이러한 일상 생활에서 활용되는 기술들을 통해 우리에게 친숙하게 느껴지는 기업이 될 것이다.


ECM특허법률사무소


김시우 변리사


swkim@ecmpatent.com



2019-01-30

쇼핑의 변화에서는 아마존의 출원된 쇼핑 관련 특허를 통해 쇼핑이 현재의 형태에서 어떠한 형태로 변화될 것인지에 대해서는 이야기해보고자 한다. 

 

1) ELECTRONIC COMMERCE FUNTIONALITY IN VIDEO OVERLAYS(US2018/0295424)

BROADCASTER TOOLS FOR INTERACTIVE SHOPPING INTERFACE(US2018/0103298)

LIVE VIDEO STREAM WITH INTERACTIVE SHOPPING INTERFACE (US2018/0152764)


아마존이 홈 쇼핑 채널인 Evine Live를 인수한다는 뉴스가 들리고 있다. 아마존은 홈 쇼핑 채널의 인수를 통해 방송 판매 채널로의 확장을 시도하는 것으로 판단된다. 기존의 홈쇼핑 채널과는 다르게 모바일 기반으로 제공되는 쇼핑 방송으로서 기존의 홈쇼핑과 같은 단방향 채널이라기 보다는 사용자와 판매자와의 인터랙션이 가미된 유튜브와 같은 모바일 미디어 채널을 이용한 온라인 쇼핑에 대한 도전이라고 해석된다.


많은 인플루언서들이 생겨나고 있고, 현재 유튜브의 인플루언서에 의해 화장품 매출이 변화될만큼 영향력이 커지고 있다. 이제 중소기업뿐만 아니라 대기업에서도 영향력있는 인플로언서의 개인 방송 채널을 통해 상품 판매 전략이 사용되고 있다. 아마존의 특허도 전문 방송인이라기 보다는 모바일 장치를 기반으로 일반인도 충분히 판매자로서 활용할 수 있는 방송 판매 채널의 사용자 인터페이스를 제시하고 있는 것으로 판단된다.


아마존은 개인 방송 기반의 상품 판매 채널과 사용자 인터페이스에 대한 연구 및 준비를 지속하고 있고 언젠가는 이러한 방송 기반 상품 판매 플랫폼은 차세대 홈 쇼핑 플랫폼으로서 중요한 위치를 가질 것으로 판단된다.



2) BLENDED REALITY SYSTEMS AND METHODS(US2018/0101991)

사용자의 모습을 거울 속에 반영하여 사용자의 모습을 확인할 수 있도록 해주기 위한 특허이다. 사용자가 거울에 서면, 사용자의 외형 정보가 추출되고, 이후, 사용자 주변의 배경, 사용자가 걸치는 옷에 대한 정보가 선택에 따라 변화될 수 있다. 이러한 방법을 통해 사용자는 자신이 직접 옷을 입어보지 않더라도 자신의 가상 이미지를 통해 옷을 입은 후의 모습에 대한 확인이 가능하다. 


이러한 가상 현실 공간 상에서의 쇼핑은 많은 기업들에게서 연구되고 있다. 실제 우리가 오프라인 상에서 쇼핑을 하는 경험을 VR(virtual reality) 기술을 이용하여 집 안에 있는 사용자에게 동일하게 제공하는 방식이다. 


월마트는 가상(virtual) 상점에 대한 특허를 출원하였다. VR 기술을 통해 고객은 가정 내에서 실제 쇼핑 매장에 간 듯 상품을 보고 쇼핑할 수 있다. 고객은 VR 헤드셋을 착용하고 화면 속에서 가상 품목을 선택하고 결제할 수 있다.


아마존도 가상 이미지를 통해 사용자에 대해 보다 정확하게 분석하고, 사용자가 제품에 대해 보다 정확한 정보를 전달받기 위한 방법을 연구한다. 

2017년 10월에 아마존은 하나의 이미지로도 고객의 3D 형태를 정확하게 예측하고 측정 가능한 바디 랩스(Body Labs)를 인수했다.


또한, 아마존은 에코룩을 통해 고객이 자신의 모습을 촬영하고, 고객에게 어울리는 옷을 제안하고, 자신의 옷장에 있는 옷에 대한 정보를 통해 보다 고객에게 어울리는 패션을 추천하는 서비스를 제공하고 있다. 

이러한 고객에게 맞춤형 서비스를 제공하여 고객이 보다 자신의 체형, 취향에 맞는 옷을 주문하여 옷에 대한 반품을 줄일 수 있다. 이렇게 모아진 고객 데이터는 아마존이 온라인/오프라인 쇼핑에서 보다 강력한 힘을 발휘하게 해줄 것이다



3) IMAGE ANALYSIS FOR USER AUTHENTICATION(US15/937658)


본 특허는 사용자의 신체 정보를 이용하여 인증을 수행하는 방법이다. 아마존은 얼굴 이미지 분석을 통한 사용자의 인증 방법을 제시한다. 현재 우리가 쇼핑을 수행시 미리 설정해둔 비밀 번호, 공인인증서를 사용하여 결제 절차를 진행한다. 아마존은 사용자의 얼굴 이미지를 활용하여 결제를 완료하기 위한 방법을 제시한다. 사용자가 최종 결제 단계에서 사용자의 얼굴을 카메라로 촬영하고 요청하는 동작(예를 들어, 눈을 깜박이는 동작) 등을 수행하여 최종적으로 사용자 인증이 수행되고 결제가 완료될 수 있다. 이전의 특허와 유사하게 물리적인 키 기반의 사용자 인터페이스를 통한 사용자 정보를 입력하여 인증을 진행하는 것이 아니라, 사용자의 음성 및 생체 정보를 사용하여 노 클릭(NO CLICK)으로 사용자가 별도의 물리적인 타이핑 행위 없이도 쇼핑을 가능하게 한다. 즉, 아마존은 원클릭에서 노클릭으로 진화하고 있다.



4) DYNAMIC UNLOCK MECHANISMS FOR MOBILE DEVICES(US15/804,886)

본 특허는 사용자의 스마트폰의 언락 기능에 관련된 것이다. 기존의 전자기기는 사용자가 미리 입력한 정보(숫자, 패턴 등)으로 사용자를 인증하여 전자기기의 사용자를 인증하고, 인증에 따라 전자기기를 사용 가능하게 한다. 아마존은 사용자의 별도의 설정 없이도 사용자가 기존에 읽었던 책, 갔던 장소, 운동량 등에 대한 정보가 수집되어 이러한 정보를 사용하여 사용자가 전자기기에 접근 가능하게 한다. 이러한 UNLOCK 동작은 스마트폰뿐만 아니라, 사용자 소유의 모든 장치에도 확장하여 적용 가능하다. 

아마존은 이러한 전자기기에 대한 사용자 인증을 위해 생체 정보뿐만 아니라 사용자의 일상 생활 중에 수집한 다양한 정보를 기반으로 사용자에 대한 인증을 수행하는 방법에 대해 연구하고 있다. 이러한 인증 방법은 단순히 전자기기의 언락 뿐만 아니라, 추후에 사용자의 쇼핑 결제에도 활용 가능할 것이다.


소결.

아마존의 쇼핑의 변화는 방송 채널 기반의 쇼핑 플랫폼의 진화, 사용자에게 보다 정확하고 필요한 상품의 추천, 노클릭으로의 진화이다. 


개인방송채널기반의 쇼핑 플랫폼은 현재는 많이 사용되지 않는 방식이나, 추후에는 일부 제품에 대해서는 차세대 홈 쇼핑과 같이 변화가능한 영역으로 판단된다. 또한, 홈 어플라이언스를 통한 사용자의 정보 수집 이러한 정보 수집을 통한 보다 강력한 사용자 취향별 추천이 이루어질 것이다.


그리고 아마존을 키운 원클릭은 노클릭으로 변화되고, 쇼핑은 더 이상 물리적인 키에 의한 타이핑이 아닌 스피치에서 스피치, 생체 정보를 기반으로 한 결제로 진화될 것이다.


ECM특허법률사무소

김시우 변리사 

swkim@ecmpatent.com



2019-01-30

로지스타 포캐스트(LOGISTAR FORECAST) 2019에서는 2018년 후반과 2019년 출원된 아마존 특허를 기반으로 아마존의 기술이 일상에 가지고 올 수 있는 변화에 대해 이야기해보고자 한다.


아마존 시총이 애플에 이어 1조 달러를 돌파하면서 제프 베조스 CEO가 마이크로소프트(MS) 창업자 빌 게이츠를 제치고 세계 최고 부호 자리에 올랐다는 뉴스를 접해보았을 것이다. AWS(Amazon web service)를 사용하는 기업, 개발자들에게는 아마존이라는 기업이 친숙할수 있다. 하지만, 일반 고객 특히, 한국인들에게 아마존이라는 기업은 그리 친숙한 기업은 아닐 것이다. 아이폰, 윈도우 등을 통해 애플과 마이크로소프트라는 회사에 대해서는 체감을 하고 있으나, 현재 개발자가 아닌 일반 소비자들이 아마존이라는 회사와의 연결 지점을 찾는 것은 쉽지가 않다.


최근에 아마존 에코와 같은 홈 어플라이언스(home appliance)가 일반 고객과 아마존이라는 회사와의 연결 지점을 찾아주고 있다. 아마존은 다양한 영역에서 사업을 진행하고 있고, 아마존의 관심 분야 중 하나는 홈 어플라이언스, 스마트 홈과 같은 분야이다.


기존의 아마존 특허 및 최근 아마존의 특허를 보면 소비자가 사는 공간, 소비자가 접하는 멀티미디어, 소비자의 쇼핑과 같은 고객의 편의를 향상시키기 위한 지속적인 연구가 진행되고 있음을 확인할 수 있다. 이러한 연구, 홈 어플라이언스 기기의 개발을 통해 한국 내의 소비자들도 멀지 않은 미래에 이제 아마존이라는 이름을 애플, 마이크로소프트라는 회사만큼이나 익숙하게 느낄 수 있을 것 같다.


아래에서는 소비자가 아마존의 기술이 적용된 공간에서 아마존의 기술로 다양한 멀티미디어를 제공받고, 쇼핑도 하는 방법에 대한 아마존의 특허에 대해 다루어보고자 한다. 1) 공간의 변화 2) 쇼핑의 변화, 3) 멀티미디어의 변화라는 3개의 카테고리로 나누어 아마존의 기술을 설명한다.

 

공간의 변화

공간의 변화에서는 아마존 기술이 우리의 일상 생활에서 가지고 올 수 있는 직접적인 변화 가능성에 대해 이야기해보고자 한다. 가정 내의 전자기기 간의 통신, 인공 지능 기술, 인간의 언어에 대한 이해를 통해 우리의 삶이 어떻게 변할지에 대해 예측해보고자 한다.

 

1) DEVICE SELECTION FOR VIDEO BASED COMMUNICATION(US15/661,488)

집에 위치한 다양한 가전기기(냉장고, 오디오, tv 등)들에 카메라, 센서 등을 포함한 알렉사 기반의 인공 지능 모듈이 구현될 수 있다. 알렉사를 탑제한 가전기기들을 사용하여 집 안에서 가족 간에 대화가 가능하다. 이러한 주변 가전기기를 활용한 통신 기술은 단순히 가족뿐만 아니라 일정 공간 내에서 커뮤니케이션이 필요한 장소(예를 들어, 회사)에서 활용될 수 있다.


예를 들어, 가족 구성원 A가 식사를 준비하고, 알렉사가 구현된 냉장고를 통해 가족 구성원 B, C, D를 호출하는 경우이다. 가족 구성원 A는 냉장고의 알렉사를 on 상태로 전환하기 위한 웨어크워드(wakeword)(예를 들어, 안녕? 냉장고)를 사용하여 알렉사를 동작시킬 수 있다. 이후, 알렉사에게 가족 구성원 B, C, D와 연결해줘라고 이야기할 수 있다.


이러한 경우, 가전기기 간의 통신 연결을 통해 각 방에 위치한 가전기기가 영상 분석, 생체 정보 센싱을 통해 가족 구성원 B, C, D를 찾을 수 있고, 가족 구성원A는 가족 구성원 B, C, D와 영상 통신을 수행할 수 있다. 


예를 들어, 알렉사는 기존의 영상 통신 결과를 활용하여 가족 구성원 이미지와의 매칭을 통해 가족 구성원을 찾을 수 있다. 가족 구성원의 생체 정보, 대화 정보, 위치 정보를 기반으로 가족 구성원과의 통신이 가장 용이한 가전기기가 우선적으로 결정되어 영상 통신이 수행될 수 있다. 이때 머신러닝을 통해 구성원과의 통신을 위한 최적의 가전 통신 모듈의 결정, 구성원의 탐색, 구성원의 대화 의지를 가졌는지 여부에 대한 판단이 수행될 수 있다.  


위의 사진은 에코 쇼로 알렉사 플랫폼과 디스플레이와 결합된 기기이다. 에코 쇼는 인공지능 스피커와 디스플레이의 결합으로 위와 같은 모듈이 가전에 구현된다면, 가전기기 간에 다양한 영상 통신이 가능할 수 있다.


이와 같이 아마존은 알렉사라는 인공지능 플랫폼을 다양한 가전기기에 탑제하여 알렉사를 사용한 가전기기 간 통신을 가능하게 하려는 시도를 하고 있다. 아마존은 알렉사 플랫폼을 통해 가정 내에서 가전기기를 통한 자유로운 소통에 대한 연구를 진행하고 있는 것으로 판단된다. 기존에 위치한 다양한 텔레비전, 오디오, 스피커 등이 공간 내 커뮤니케이션 도구로서 활용될 수 있다. 앞으로의 가전 시장은 이러한 가전기기 간의 통신 및 가전기기를 활용한 스마트 홈에 대한 관심이 늘어날 것으로 예상된다.


 

2) AUTOMATED MESSAGING(US2018/0310144)

본 특허는 아마존 에코와 같은 AI스피커를 이용하여 메시지를 전달하는 방법에 관한 것이다. 현재 시점에서 당연히 구현 가능한 기술이라고도 생각할 수도 있는데, 실제로 아직까지 이러한 음성 기반의 메시지 전송을 익숙하게 사용하고 있는 사용자는 드물다. 아마존은 AI스피커를 이용하여 사용자가 별도로 타이핑을 칠 필요없이 음성만으로 다른 사용자에게 텍스트 메시지(또는 음성 메시지, 영상 메시지)를 전달하는 방법에 대한 연구를 지속하고 있다. 


본 특허에서 들고 있는 예시를 보면, 인간의 언어를 분석하여, AI스피커를 호출하는 부분, 수신자를 특정하는 부분, 수신자에게 실제로 전달할 메시지 부분을 판단하고, 이러한 판단을 통해 정확한 메시지를 수신자에게 전달한다.


아마존의 많은 특허는 인간의 언어에 대한 이해, 분석 및 별도의 타이핑 행위가 없는 사용자 인터페이스에 대해 다루고 있다. 또한, 아마존의 많은 특허는 각국의 언어의 장벽을 없애기 위해 모든 언어에 대한 해석 및 그 변환에 대한 부분도 다루고 있다.


아마존은 사용자 인터페이스를 물리적 타이핑에서 보다 직관적인 언어로 변화시키려고 하고 있다. 앞으로의 사용자기기(스마트폰, 컴퓨터 등)의 사용자 인터페이스는 물리적인 버튼이 아닌 사용자의 스피치가 될 것이고, 인공지능 기술의 발전으로 인간의 언어를 입력받는 사용자 인터페이스로의 변화 속도는 점차 가속화될 것이다.

 

 

3) SELECTIVE NOTIFICATION DELIVERY BASED ON USER PRESENCE DETECTIONS(US15/839259)

공간(집, 회사, 호텔 등)에 위치한 전자 기기들이 나의 위치, 현재 시간에 따라 필요한 정보를 전달하며 비서 역할을 수행하는 방법에 관한 특허이다. 특허에서는 VA(virtual assistant)라는 표현을 사용하는데, VA는 아마존 에코, 스마트폰, TV, 차 오디오, 냉장고와 같은 우리 주변 위치한 다양한 알렉사 플랫폼을 탑재한 전자 기기일 수 있다.


VA는 어시스트해줄 사람에 대한 정보를 등록받고 연관된 사람과 관련된 정보를 제공할 수 있다. VA는 사용자의 위치를 판단하고, 사용자의 위치에 따라 ON/OFF되고, 장소와 시간에 맞게 사용자에게 등록된 스케줄 정보를 제공할 수 있다. VA는 머신 러닝을 통해 VA와 연관된 사용자에게 대해 학습하고 사용자에게 필요한 정보를 제공할 수 있습니다. 예를 들어, 가족 구성원이 4명인 경우, 4명을 분별하고 4명의 위치에 따라 개별 스케줄 정보를 가족 구성원 각각에게 전달할 수도 있다. 


예를 들어, 6시에 알람이 울리고, A씨가 기상하면서 ‘일어났다’라고 이야기하면, 침대 주변의 VA가 A씨의 음성을 수신하면서 알람을 멈춘다. 이후, A씨가 침실에서 나와서 부엌으로 이동하면 부엌에 위치한 VA가 A씨의 움직임을 판단하고, A씨의 스케줄에 대해 브리핑해준다. 이후, A씨가 차에 탑승하면 차에 위치한 VA가 A씨에게 필요한 정보를 제공하고, 마찬가지로 회사에서는 회사에 위치한 VA가 A씨에게 필요한 정보(미팅 스케줄 정보, 업무 정보)를 제공한다. 즉, 장소, 시간에 따라 주변에 위치한 VA들을 통해 A씨는 지속적으로 스케줄 관리가 가능하다.


이뿐만 아니라, VA를 통해 등록된 다른 사람들에게 부탁도 가능하다. A씨가 바빠서 B에게 세탁물을 찾아달라고 부탁하는 경우, VA를 통해 B에게 부탁 메시지를 전송할 수 있고, B의 VA는 A의 부탁을 B의 스케줄로 등록하여 B에게 전달할 수 있다.


아마존은 주변의 전자기기들을 사용자에게 필요한 정보를 장소, 시간에 맞춤형으로 제공하는 비서로 활용하고자 한다. 사용자는 자신이 위치한 공간에 위치한 전자 비서의 도움으로 스케줄을 체크할 수 있다. 우리 주변에 위치한 평범한 전자 기기, 가전 기기들이 네트워크로 연결되어 나를 위한 비서로 활용될 날이 멀지 않을 수 있다.


아래의 사진들은 아마존에 의해 개발된 홈 어플라이언스들이다.

아마존이 출시한 에코 벽시계로 명령에 따라 시간을 맞추어 주는 기능, 알람 기능을 제공한다고 한다. 이러한 에코 벽시계는 위와 같이 다른 VA 기기와 연동되어 하나의 VA 기기로서 사용자의 기상, 스케줄 브리핑 등과 같은 동작을 수행할 수 있을 것이다.


위의 사진은 에코 오토로 자동차에 설치되는 VA 기기이다. 전화걸기, 음악 감상, 네비게이션 기능, 스케줄링 기능, 다른 VA에 대한 제어를 수행할 수 있다.


위의 사진은 베이직 전자레인지로 사람의 언어를 이해하고, 원하는 목적에 따라 자동으로 세팅되어 조리를 수행할 수 있다. 

아마존은 위와 같이 현재에도 다양한 VA를 개발하고 있으며, 아마존에 의해 개발된 VA를 통해 고객이 머무르는 공간에서 고객의 삶을 변화시키려 하고 있다.  


4) VOICE ACTIVATED MODULAR CONTROLLER(US15/983,927)

아마존의 구체적인 스마트 홈 하드웨어에 대한 특허 출원이다. 우리가 일상적으로 사용하는 불을 끄고 키고 하는 스위치를 전술한 VA(virtual assistant)로서 구현하여 사용자의 움직임, 목소리 등을 수신하고, 그에 따라 다양한 인터랙션을 집 내부에서 수행하고, 사용자에게 다양한 정보를 제공할 수 있다. 우리 가정 내부에 설치되는 불만을 끄고 키는 기능으로서 사용하는 스위치가 위의 그림과 같은 형태로 구현되어 사용자, 가정 내 다양한 전자 기기와 다양한 상호 작용을 하여 사용자의 집안 내에서의 생활을 보다 편리하게 도와줄 수 있다.


 

5) REMOTE ACCESS AUTHENTICATION AND AUTHORIZATION(US15/659,059)

사람이 내부에 위치하고 있지 않을 때 택배를 받기 위한 방법에 관한 특허이다. 사람이 없는 경우, 일반적으로 택배를 문 앞에 그냥 두고 가는 경우가 많은데 이러한 경우 택배 분실, 훼손의 위험이 크다. 본 특허에서는 이러한 문제를 해결하기 위한 방법을 제시한다. 집 내부에 사람이 없는 경우, 택배 기사는 택배 장치(delivery device)를 통해 택배 정보를 스캔할 수 있고, 스캔한 택배 정보는 통신을 통해 모니터링 장치로 전달된다. 모니터링 장치는 스캔한 택배 정보를 기반으로 현관문을 열어주고, 현관문에서 이후 일어나는 동작들에 대해 모니터링을 수행할 수 있다. 고객은 어플리케이션 등을 통해 직접 문을 열어줄지 여부를 스마트폰으로 결정할 수 있고, 스마트폰을 통해 문을 열어줄 수도 있다. 모니터링 장치는 택배 기사의 동작에 대해 지속적으로 모니터링하고, 택배기사가 나간 후 문을 다시 잠글 수 있다.


현관문 개폐를 원거리, 택배 코드 정보를 기반으로 제어함으로써 택배의 도난, 손상을 막을 수 있고, 이에 대한 책임 소재도 감소할 수 있다. 이뿐만 아니라, 택배 기사가 사용자를 찾기 위한 업무의 부하도 감소시킬 수 있다.


지난해 아마존은 프라임 회원을 위해 스마트 보안캠, 스마트 도어록을 이용해 배송 상품을 안전하게 받을 수 있는 ‘아마존 키(Amazon Key)’ 서비스를 시작했다. 배달원이 상품 바코드를 스캔하고 아마존 클라우드로 전송하면 배송지 문을 열수 있는 코드가 전송되고 물건을 두고 오는 서비스다. 이 과정은 보안 캠으로 녹화되고 고객에게 전송되고 저장된다. 이 서비스는 친구나 방문자에게 사용해 임시 키 발급용으로도 사용할 수 있다. 


아마존 키 서비스는 후술할 아마존이 인수하여 개발 중인 스마트 초인종인 링(Ring)과 함께 연동되어 택배 배송 서비스를 보다 안전하고 효율적으로 변화시킬 수 있다.



6) SHARING VIDEO FOOTAGE FROM AUDIO/VIDEO RECORDING AND COMMUNICATION DEVICES

아마존이 스마트 가전 업체 ‘링(Ring)’를 인수했다. 링은 아마존 알렉사 음성 비서를 지원하고 카메라를 장착한 스마트 초인종을 판매하고 있다.

본 특허는 링을 활용하여 이웃 간에 외부인에 대한 정보를 공유하는 시스템에 관한 것이다. 이웃 간에 상호 침입자의 정보를 공유할 수 있고, 침입자에 대한 정보는 영상 정보로 이웃의 스마트폰으로 공유되어 전송될 수 있다. 어플리케이션을 통해 이웃 간에 상호 보안을 설정할 수 있고, 이웃 간 침입자에 대한 정보를 공유하여 영상 정보로서 확인할 수 있다.

 

 

소결.

추가로 아마존은 사람의 언어에 대한 이해(ASR(automatic speech recognition), NLU(natural language understanding))와 관련한 특허, 인간의 언어 외에 존재하는 노이즈를 인식하고, 실제 명령인지 여부에 대해 보다 정확하게 판단하는 기술 등에 대해 출원하고 있다. 이러한 언어에 대한 이해는 하나의 언어뿐만 아니라, 세계 각국의 다양한 언어에 대한 이해에 대한 연구이다. 아마존은 어떠한 언어이던 그 언어를 해석하고, 더 이상 언어로 인한 장벽을 없애려고 하고 있다.


아마존은 고객의 공간 내의 전자기기가 어떠한 언어를 사용하던 고객의 언어를 이해하고, 인간의 언어를 기반으로 모든 프로세스가 처음부터 끝까지 완료될 수 있는 모델을 꿈꾸고 있는 것으로 판단된다. 고객 주변의 전자기기는 고객을 위한 디지털 비서로 변화할 것이고, 고객이 위치한 공간 내에 위치한 디지털 비서는 고객이 원하는 명령을 해석하여 그에 맞는 응답, 행위를 고객에게 제공할 것이다.


사용자 인터페이스가 키보드, 마우스와 같은 물리적인 버튼을 누르는 행위에서 인간의 언어라는 보다 직관적인 인터페이스로 변화되는 것이다. 아마존은 고객들에게 노 클릭(no click)이라는 경험을 가장 빠르게 제공할 것이고, 이러한 고객 경험을 기반으로 고객들은 보다 아마존에 친숙하게 접근하도록 할 것이다. 아마존은 어떠한 언어이던 그 언어를 해석하고, 더 이상 언어로 인한 장벽을 없앨 것이다.


ECM특허법률사무소


김시우 변리사 (swkim@ecmpatent.com)



2019-01-28

I(artificial intelligence) 스피커 시장이 점점 커지고 있다.  아마존의 에코, 구글의 구글 홈, 애플의 '홈 팟뿐만 아니라 우리나라의 경우, SKT의 누구, KT의 기가지니, 삼성의 빅스비 등 다양한 AI 스피커 제품이 시장에 출시되고 있다. AI 스피커 시장은 단순한 스피커 제품이 아닌 하나의 플랫폼으로서 많은 IT 업체들이 AI 스피커 시장을 선점하기 위해 다양한 노력을 하고 있다.


아마존은 인공지능 플랫폼인 알렉사(Alexa)를 음성 인터페이스로 활용한 아마존 에코 닷 2세대를 출시 및 판매하고 있다. 아마존 에코 닷은 알렉사를 음성 인터페이스로 활용하여 음악 재생, 스마트 홈 장치 제어, 전화 걸기, 메시지 송수신, 뉴스 읽기등 다양한 기능을 수행할 수 있으며, 이뿐만 아니라, 다른 IoT(internet of things) 기기와 연동되어 IoT 장치를 제어를 위해서도 활용될 수 있다.


<아마존 에코 닷 2세대>

AI 스피커의 성능은 인간의 언어를 얼마나 잘 이해하느냐에 달려있다. 그렇다면 아마존 알렉사는 어떠한 방식으로 인간의 음성을 이해하는 것일까?

2016년 12월 28일에 출원된 아마존 특허 US9,911,413 “NEURAL LATENT VARIABLE MODEL FOR SPOKEN LANGUAGE UNDERSTANDING”를 통해 AI 스피커가 인간의 언어를 이해하는 방법에 대해 알아보려고 한다.

인간의 목소리(이하, 명령)가 AI 스피커의 마이크를 통해 입력되는 경우, 스피치 프로세서(SPEECH PROCESSOR)(110)는 음성 신호를 음성 신호 벡터로 변화시킬 수 있다. 음성 신호 벡터는 스피치 인식기(SPEECH RECOGNIZER)(120)와 언어 특징 추출기(LINGUISTIC  FEATURE EXTRACTOR)(121)를 통해서 언어 표현 정보(LINGUISTIC REPRESENTATION)로 추출될 수 있다. 언어 표현 정보는 기존의 단어 관련 정보를 고려하여 추출될 수 있다.


예를 들어, AI 스피커에 “Alexa post a tweet saying Hello”라는 명령을 한다면, 음성 신호 ‘Alexa post a tweet saying Hello’가 전체 음성 신호 벡터로 표현되고 전체 음성 신호 벡터는 단어 데이터베이스를 기반으로 분할되어 단어에 해당하는 고정된 길이의 하위 음성 신호 벡터(예를 들어, ‘post’에 해당하는 고정된 길이의 하위 음성 신호 벡터)인 언어 표현 정보로 추출된다.


이후, 언어 표현 정보는 스킬 분류기(Skill classifier)(130), 의도 분류기(Intent classifier)(141) 및 슬롯 인지기(Slot recognizer)(150)로 입력될 수 있다. 


스킬 분류기(130)는 언어 표현 정보를 통해 입력된 명령과 매칭되는 스킬을 결정할 수 있다. “Alexa post a tweet saying Hello”에서 스킬은 ‘트위터(tweeter)’일 수 있다. 스킬은 해당 명령과 관련된 상위 개념일 수 있다. 명령과 관련된 스킬은 복수개일 수 있다. 스킬은 음악, 쇼핑 등과 같은 해당 명령과 관련된 가장 상위 카테고리일 수 있고 하나의 명령은 복수개의 스킬과 관련성을 가질 수 있다.


의도 분류기(141)는 언어 표현 정보를 통해 입력된 명령의 의도를 결정할 수 있다. “Alexa post a tweet saying Hello”에서 의도는 “post a tweet saying Hello”일 수 있다. 스킬 분류기에 의해 결정된 스킬 각각은 수천, 수만 가지의 의도와 매칭되어 있을 수 있다. 예를 들어, 스킬이 ‘트위터’인 경우, ‘post a tweet, reply to a tweet, search for a tweet 등이 트위터와 매칭되는 다양한 의도일 수 있다.


슬롯 인지기(150)는 언어 표현 정보에서 의미있는 정보를 인지할 수 있다. 예를 들어, ‘play mother’s little helper by rolling stones’라는 명령을 입력받은 경우, 분류된 스킬은 ‘music’이고, 의도는 ‘play’이고, 슬롯은 ‘mother’s little helper by rolling stones‘일 수 있다. 슬롯 인지기는 문장의 문법적 구조를 고려하여 의도/명령의 핵심 정보를 슬롯으로서 찾고 인지할 수 있다.


스킬 프로세서(skill processor)(160)는 분류된 스킬, 분류된 의도, 인지된 슬롯을 프로세싱하여 관련된 기기를 동작시킬 수 있다.

알렉사가 입력된 언어를 정확하게 이해하기 위해서는 스킬, 의도, 슬롯에 대한 정확한 분석이 필요하다. 


위의 그림은 의도 분류기의 학습 모델이다. 


의도 분류기는 인공 뉴럴 네트워크(artificial neural network)((딥 뉴럴 네트워크)deep neural network)를 사용할 수 있고, 입력된 데이터를 기반으로 뉴럴 네트워크의 가중치가 변화되면서 학습이 진행될 수 있다. 학습이 진행됨에 따라 변화되는 가중치 값을 사용하여 의도 분류기는 보다 정확하게 명령의 의도를 판단할 수 있다. 


의도 분류기는 언어 표현 정보가 입력되면, 복수개의 서로 다른 출력값을 발생시킬 수 있다. 예를 들어, “Alexa post a tweet saying Hello”이 언어 표현 정보(125)로서 입력되는 경우, 의도 분류기는 1) post a tweet, 2) reply to a tweet, 3) search for a tweet과 같은 서로 다른 출력값(245)을 생성할 수 있고, 1) post a tweet, 2) reply to a tweet, 3) search for a tweet 각각은 확률값을 가질 수 있다. 예를 들어, 1) post a tweet(0.6, 60%), 2) reply to a tweet(0.3, 30%), 3) search for a tweet(0.1, 10%)과 같이 분류될 수 있다. 의도 분류기는 가장 높은 확률값을 가지는 ‘post a tweet’이 입력된 명령의 의도라고 판단할 수 있다.


의도 분류기의 학습을 위해 미리 (언어 표현 정보, 언어 표현 정보와 매칭되는 의도), (언어 표현 정보, 언어 표현 정보와 매칭되지 않는 의도)를 포함하는 학습 세트가 의도 분류기로 입력될 수 있고, 학습을 통해  뉴럴 네트워크의 가중치가 변화될 수 있다. 예를 들어, (Alexa post a tweet saying Hello, post a tweet)은 (언어 표현 정보, 언어 표현 정보와 매칭되는 의도)이고, (Alexa post a tweet saying Hello, reply to a tweet)은 (언어 표현 정보, 언어 표현 정보와 매칭되지 않는 의도)일 수 있다.


또는 의도 분류기는 학습을 시키는 사람이 별도로 다양한 언어 세트를 직접 듣고, 의도와 매칭한 정보를 입력받거나, 스킬 프로세서로부터 최종적으로 출력된 결과가 맞는지 여부를 피드백하여 의도 분류기를 학습시킬 수도 있다.


아래의 그림은 입력된 명령이 해석되고, 명령과 관련된 기기를 동작시키는 방법에 관한 것이다. 

 

사람의 음성 신호가 어쿠스틱 신호(acoustic signal)로서 입력되는 경우, 웨이크워드 디텍션 모듈(wakeword detection module)(1220)이 AI 스피커를 동작 가능 상태로 만드는 웨이크워드(예를 들어, Alexa)를 포함하는지 여부를 판단할 수 있다. 예를 들어, 우리가 웨이크워드인 ‘Alexa’라고 부르면, AI 스피커가 동작 가능 상태로 변화될 수 있다.


이후, AFE(acoustic front end)(1256)는 마이크를 통해 입력된 오디오 데이터를 스피치 인식 엔진(speech recognition engine)에 의해 인식 가능한 특징 벡터로 변경할 수 있다.


스피치 인식 엔진은 어쿠스틱 모델(accoustic model)(1253)과 언어 모델(language model)(1254)을 기반으로 특징 벡터를 단어/음소와 매칭시킬 수 있다. 구체적으로 어쿠스틱 모델은 입력된 특징 벡터를 음소 단위로 인지하고, 언어 모델은 문법 모델(grammar model)을 사용하여 현재 문장에서 해당 음소가 포함된 위치를 고려하여 해당 음소가 어떠한 단어인지 여부를 결정할 수 있다. 스피치 인식 엔진은 입력된 음성 신호를 텍스트로서 변경시켜 NLU(natural language understanding)로 입력시킬 수 있다.


이후, 입력된 텍스트는 NLU(natural language understanding)를 통해 해석될 수 있다. NLU는 NER(named entity recognition)와 IC(intent classification) 모듈로 구성될 수 있다.


NER은 언어 문법 저장소(linguistic grammar storage) 및 스킬 및 의도 모델(skill and intent model)을 사용하여 전술한 스킬 분류기 및 슬롯 인지기의 역할을 수행할 수 있다. NER은 입력된 텍스트와 연관된 스킬(또는 도메인)을 결정하고 스킬과 연관된 언어 문법 저장소를 활용하여 슬롯을 찾을 수 있다. 스킬은 위에서 말한 트위터일 수도 있고, 쇼핑, 음악 등일 수도 있다. 언어 문법 저장소는 사용자의 스킬마다 형성될 수 있다. 즉, 쇼핑에 대한 언어 문법 저장소, 음악에 대한 언어 문법 저장소가 별도로 형성될 수 있다. 또한, 언어 문법 저장소는 사용자의 언어 습관, 사용자가 자주 방문하는 쇼핑 사이트, 사용자의 음악 콜렉션 등과 같이 사용자 특성/취향에 따라 변화될 수 있다. 이러한 방법을 통해 AI 스피커가 보다 정확하게 사용자가 원하는 동작을 이해하고 수행할 수 있다.


예를 들어, ‘play mother’s little helper by rolling stones’가 입력되는 경우, NER은 ‘play’라는 단어를 기반으로 해당 명령의 스킬을 music으로 분류하고, play의 뒤에 위치한 단어를 [slot]으로 인지할 수 있다. 


IC 모듈은 입력된 텍스트의 의도를 이해하기 위한 구조로서 스킬별 언어 문법 저장소를 활용하여 의도를 결정할 수 있다. 예를 들어, ‘play mother’s little helper by rolling stones’가 AI 스피커에 입력되는 경우, ‘play’라는 동사는 음악이라는 스킬에 관련되고, ‘play music’이라는 의도를 가지는 것이 판단될 수 있다. 이러한 경우, 문장의 뒷단의 ‘mother’s little helper by rolling stones‘라는 용어는 해석이 되지 않을 수 있다. ’play music‘이 의도인 경우, paly 뒤에 위치한 단어를 {Artist name}, {Album name}, {Song name}과 같은 슬롯으로 인지하여 문법적 구조를 기반으로 사용자의 의도가 보다 정확하게 해석될 수 있다. 


NLU를 통과하게 되면 ‘play mother’s little helper by rolling stones’는 {domain/skill} Music, {intent} Play Music, {artist name} rolling stones, {media type} song, [song title] mother’s little helper, 와 같이 의미의 해석이 가능하다.


이러한 해석 결과는 음악 플레이 어플리케이션로 전달되어 사용자가 원하는 음악이 재생될 수 있다.


위에서는 AI 스피커의 동작 원리에 대해 알아보았다. AI 스피커 시장의 선점은 새로운 플랫폼의 선점이다. 아마존의 AI 스피커로부터 발생되는 응답은 사용자의 특성이 반영되나, 아마존의 학습 결과를 반영한 결과이다. 학습은 객관적이지 않고, 입력되는 데이터, 학습시키는 사람/회사의 판단이 들어갈 수 있기 때문에 AI 스피커는 제작 회사의 의도에 따라 서로 다르게 학습되게 된다.


즉, 아마존의 에코 닷을 통해 상품을 주문시 아마존/아마존과 관련된 플랫폼을 통해 특정 상품을 주문하도록 유도도 가능할 수 있다. 음악을 들을 때도 아마존과 관련된 스트리밍 플랫폼이 음악을 재생하도록 유도할 수 있다. 이러한 이유로 다양한 기업들이 이러한 AI 스피커 시장, 인공 지능 플랫폼 시장을 선점하려고 노력을 하고 있다고 판단된다.


국가 간 언어의 장벽이 무너진다면, 국가 간 배송의 장벽이 무너진다면, 승자는 사용자가 가장 편리하게 사용 가능하고 가장 정확한 인공지능 플랫폼 기술을 가진 기업이 될 것이다. 많은 사람들이 언어 장벽/배송 장벽으로 인해 해외 쇼핑을 꺼려하고 있다 하지만, AI 스피커 시장을 통해 더 이상 언어의 장벽이 없어져 해외 쇼핑도 한국어로 자유롭게 할 수 있다면, 배송의 장벽이 점차 무너진다면 인공 지능 기술을 가지고 있는 기업과 가지고 있지 않은 기업의 온라인 마켓 상의 점유율의 차이는 점차 벌어질 것으로 예상된다.


ECM특허법률사무소

김시우 변리사

swkim@ecmpatent.com



2018-12-21

이전 글을 다시 한번 상기해보자면 특허권은 속지주의의 원칙에 의해 특허권은 등록된 국가에만 효력을 미치게 됩니다. 한국에만 등록된 한국 특허권은 한국 외의 국가에서는 효력이 없고, 미국에만 등록된 미국 특허권은 미국 외의 국가에서는 효력이 없습니다.

속지주의 원칙에 의해 발생할 수 있는 문제는 아래와 같습니다.

업체X가 등록한 한국 특허의 청구항이 아래와 같다고 가정해봅니다.

청구항1

블록체인 서비스 노드가 블록체인 서비스 A를 사용자 장치로 제공하는 단계

 


이러한 경우, 미국에 위치한 업체Y가 청구항과 동일한 서비스를 한국의 사용자에게 제공하는 경우, 업체X가 위의 청구항으로 침해를 주장하면 아래와 같은 반응이 나올 수 있습니다. 

업체Y: 우리는 미국에 위치한 업체로 속지주의의 원칙에 의해 한국 특허권의 침해가 아니다.

즉, 블록체인 서비스 노드는 미국에 위치해 있지만, 한국 사용자에게 서비스를 제공하는 경우, 원칙적으로 한국 특허권으로 침해를 주장하기가 어려울 수 있습니다. 

원칙적으로는 침해를 주장하기 어려우나, 판례를 통해 서버가 해외가 있더라도 APP이 설치되어 사용되는 곳이 국내인 경우, 실질적인 관련성을 인정하여 침해를 인정하는 경우도 존재하고(한국), 서버가 해외에 있는 경우에도 장치 청구항이고, 서버의 제어를 하는 주체가 국내(미국)에 있는 경우, 침해를 인정하기도 합니다(미국).

이러한 문제를 해결하기 위해서는 원칙적으로 한국 내에서 국내 출원뿐만 아니라, 해외 출원(미국, 중국, 일본 유럽 등)을 하는 게 맞습니다. 하지만, 해외 출원에도 비용 상의 한계가 있다면 어떠한 주체, 어떠한 클레임을 사용하는 것이 최선인지에 대한 선택이 필요합니다.

블록체인 특허의 경우, 가능한 행위의 주체에 대해 생각해보자면, 블록체인 기반 서비스를 제공하는 서비스 노드, 블록체인 서비스를 받는 사용자 노드, 블록체인 그 자체, 블록체인 네트워크 등이 있을 수 있습니다.



1) 서비스 노드 

서비스 노드가 청구항에서 행위의 주체로 설정되는 경우, 원칙적으로 출원 및 등록된 해당 국가에서만 동일한 블록체인 서비스를 제공하는 침해 업체의 행위에 대해 직접적인 침해 주장이 가능합니다. 즉, 출원/등록한 국가 이외의 국가에서는 원칙적으로 침해 주장이 불가능할 수도 있습니다. 미국 특허(장치 청구항)로 등록받는 경우, 판례에 따라 서비스 노드의 위치가 다른 나라(예를 들어, 남미, 유럽 등)에 있는 경우에도 실제 운영 주체가 미국에 존재하는 경우 침해에 대한 인정이 가능할 수도 있습니다.

 

2) 사용자 노드 

사용자 노드가 청구항에서 행위의 주체로 설정되는 경우, 원칙적으로 출원 및 등록된 해당 국가에서만 동일한 블록체인 서비스를 제공받는 사용자의 행위에 대해 직접적인 침해 주장이 가능합니다. 하지만, 이전에 언급한 바와 마찬가지로 사용자 노드를 청구항에서 행위의 주체로 설정하는 경우, 원칙적으로 침해 주장이 쉽지 않습니다. 사용자 노드의 주체인 dAPP 사용자를 상대로 침해 소송을 하기는 어렵기 때문입니다. 

 

3) 블록체인 그 자체(또는 블록)

서비스를 제공하는 블록체인 그 자체가 행위의 주체로 설정되는 경우, 블록체인을 기반으로 서비스를 제공하는 서비스 노드 및 사용자 노드에 대한 침해 주장이 가능할 수 있습니다. 블록체인은 서비스 노드의 위치, 사용자 노드의 위치에서도 분산된 데이터베이스로 존재할 수 있기 때문입니다. 블록체인은 일종의 분산된 데이터베이스로서 다양한 국가, 다양한 지역에 위치할 수 있기 때문입니다. 

 

4) 블록체인 네트워크 

블록체인 네트워크가 행위의 주체로 설정되는 경우, 해당 블록체인 네트워크가 수행하는 서비스동작을 다른 침해 블록체인 네트워크가 수행하는 경우, 침해 주장이 가능할 수 있습니다. 다른 침해 블록체인 네트워크가 해당 지역에 서비스 제공자의 입장 또는 서비스 사용자의 입장이던 관계없이 해당 서비스를 제공하는 블록체인 네트워크를 사용하는 것만으로 침해 주장이 가능할 수도 있습니다.

 

마찬가지로, 블록체인 케이스마다 위의 주체 중 어떠한 주체를 기준으로 청구항을 기술할 것인지에 대해서는  변리사의 깊은 고민이 필요하고, 청구항 작성 기술 또한 필요합니다. 케이스별로 특정 주체를 기준으로 한 기술이 불가능한 경우도 존재할 수도 있습니다. 이러한 청구항 주체에 대한 충분한 고민이 강한 블록체인 특허를 만들어낼 수 있습니다. 중요건인 경우 가능한 다양한 주체로 특허 청구항을 만들어낼 필요성도 분명히 존재합니다.

지금까지 어떻게 하면 강한 블록체인 특허를 만들 수 있는지에 대해 이야기해보았습니다. 아마 변리사들이 고민해야할 주제이긴 하지만, 실제로 출원인들이 조금이라도 알고 있어야 내 특허권이 유용한지 여부에 대한 판단이 가능할 것 같습니다. 블록체인 업체에도 많은 특허 소송이 일어날 것으로 예상되는데, 이러한 소송에 대한 대비하여 비즈니스 모델의 침해 여부에 대한 분석 및 지식 재산권의 확보에 대해 고려를 해보는 것이 필요합니다.

 

ECM특허법률사무소 

김시우 변리사(swkim@ecmpatent.com)



2018-12-19

삼성 전자에서 유럽에 출원한 블록체인 상표들입니다.


상표명은 Blockchain KeyStore, Blockchain Key box, Blockchain Core입니다.

20181210일에 출원되었네요얼마 안되었습니다.


우리나라에서는 아직 동일 명칭으로 검색되는 상표는 보이지 않습니다시간이 좀 더 지나면 검색이 가능할 수 있을 것도 같습니다

Blockchain KeyStore, Blockchain Key box, Blockchain Core를 어디에 쓸것인지는 류와 지정상품을 보면 알 수 있는데요


위의 상표들의 지정상품은,

9: Smartphone, Software applications for use with mobile device, computer software platform, application software입니다.


 상표 명칭 상의 느낌으로 보면


-Blockchain KeyStore, Blockchain Key box는 삼성에서 개발한 블록체인 서비스를 위한 프라이빗 키에 대한 보관 기능을 하는 어플리케이션(application software)으로 사용될 것으로 판단되고,


-Blockchain Core는 삼성에서 개발한 블록체인 플랫폼(computer software platform)의 상표명으로 사용될 수 있을 것 같습니다근데, Blockchain Core가 등록 가능할지는 모르겠네요.


아마도 사용하지는 않을 것 같지만스마트폰의 이름에도 이러한 명칭을 받아 놓았으니스마트폰 이름으로 Blockchain KeyStore, Blockchain Key box, Blockchain Core를 사용할 수 있겠네요


ECM특허법률사무소
김시우 변리사(swkim@ecmpatent.com)


2018-12-14

프로세스 행위 주체의 문제를 이야기하기 이전에 특허권의 두 가지 성질을 이야기하고자 합니다.

첫번째로 특허권의 침해 여부는 원칙적으로 구성 요소 완비의 원칙(all element rule, AER)에 의해 판단됩니다간단하게 A단계+B단계를 통해 생산되는 제품X가 청구항을 통해 청구된 경우특허권에 대한 침해는 A단계와 B단계를 모두 실시할 경우 만족됩니다.

두번째로 특허권은 속지주의의 원칙에 의해 특허권은 등록된 국가에만 효력을 미치게 됩니다한국에만 등록된 한국 특허권은 한국 외의 국가에서는 효력이 없고미국에만 등록된 미국 특허권은 미국 외의 국가에서는 효력이 없습니다이러한 이유로 한국에만 특허등록된 제품과 동일한 제품이 미국에서 생산되어도 한국으로 수입되지 않는 이상 침해의 주장을 하기 어렵습니다따라서많은 기업들이 국내 출원뿐만 아니라해외에서도 특허출원을 진행합니다.

위의 두가지 특허권의 성질로 인해 청구항 상의 프로세스 행위 주체의 문제가 중요해집니다.

우선구성요소 완비의 원칙에 의해 발생할 수 있는 문제는 아래와 같습니다.

업체X가 등록한 청구항이 아래와 같다고 가정해봅니다.

 

청구항1

단계1:블록체인 서비스 노드가 A하는 단계

단계2: 사용자 노드가 B하는 단계

 

이러한 경우업체Y가 청구항과 동일한 서비스를 수행하는 경우업체X가 위의 청구항으로 침해를 주장하면 아래와 같은 반응이 나올 수 있습니다

업체 Y: 우리는 단계1만 수행하기 때문에 구성요소 완비의 원칙에 의해 침해가 아니다.

업체Y의 서비스를 사용하는 사용자 노드우리는 단계2만 수행하기 때문에 구성요소 완비의 원칙에 의해 침해가 아니다.

극단적인 예시이기는 하지만실제로 청구항에 행위의 주체 및 향후 침해 주장에 대한 생각없이 기술하는 경우 발생할 수 있는 문제입니다실제로 많은 특허의 청구항들이 이러한 문제점을 가지고 있고 이러한 문제로 인해 비침해로 판단되는 경우도 많습니다물론 이러한 청구항의 경우에도 사안에 따라 공동 침해기여 침해 등으로 해석하기 위한 다양한 논리판례가 존재하고특정한 경우(공동 침해 주체 간의 관계관계의 종속성), 예외적으로 침해를 인정해주기도 합니다하지만이러한 판례 및 학설을 기준으로 침해를 해석하기 이전에 구성요소완비의 원칙에 따라 침해 주장이 용이한 형태로 청구항을 작성하는 것이 더욱 더 중요합니다.

블록체인 특허의 경우어떠한 방식으로 작성하는 것이 향후 침해 주장이 용이한지에 대한 고민이 필요합니다.

블록체인 특허의 경우가능한 행위의 주체에 대해 생각해보자면블록체인 기반 서비스를 제공하는 서비스 노드블록체인 서비스를 받는 사용자 노드블록체인 그 자체블록체인 네트워크 등이 있을 수 있습니다.


1) 서비스 노드
서비스 노드가 청구항에서 행위의 주체로 설정되는 경우원칙적으로 동일한 블록체인 서비스를 제공하는 침해 업체의 행위에 대해 직접적인 침해 주장이 가능합니다회사 대 회사로 침해 소송이 가능합니다다만특허권의 프로세스가 외부에서 쉽게 확인 가능한 동작이 아닌 경우(또는 상대방측 서비스가 오픈 소스가 아닌 경우), 침해 주장이 어려울 수 있습니다따라서이러한 부분을 충분히 고려하여 청구항을 작성시 프로그램 소스를 확인하지 않더라도 외부에서 쉽게 확인할 수 있는 동작을 위주로 청구항을 작성할 필요가 있습니다
 
2) 사용자 노드
사용자 노드를 청구항에서 행위의 주체로 설정하는 경우원칙적으로 침해 주장이 어렵습니다사용자 노드의 주체인 dAPP 사용자를 상대로 침해 소송을 하기는 어렵기 때문입니다사용자 노드가 주체인 방법(method) 청구항의 경우서비스 제공자의 직접 침해를 구성한다는 견해가 있기는 하나원칙적으로 사용자 노드가 청구항에서 행위의 주체인 경우서비스 제공자에게 직접 침해를 묻기는 어려울 가능성이 있습니다.
 
3) 블록체인 그 자체(또는 블록)
서비스를 제공하는 블록체인 그 자체가 행위의 주체로 설정되는 경우해당 블록체인을 사용하는 서비스 노드 및 사용자 노드가 해당 서비스를 제공하는 블록체인을 사용하는 경우침해 주장이 가능할 수 있습니다.
 
4) 블록체인 네트워크
블록체인 네트워크가 행위의 주체로 설정되는 경우해당 블록체인 네트워크가 수행하는 서비스동작을 다른 침해 블록체인 네트워크가 수행하는 경우침해 주장이 가능할 수 있습니다.
 
블록체인 케이스마다 위의 주체 중 어떠한 주체를 기준으로 청구항을 기술할 것인지에 대해서는  변리사의 깊은 고민이 필요하고청구항 작성 기술 또한 필요합니다케이스별로 특정 주체를 기준으로 한 기술이 불가능한 경우도 존재할 수도 있습니다이러한 청구항 주체에 대한 충분한 고민이 강한 블록체인 특허를 만들어낼 수 있습니다또한중요건인 경우 가능한 다양한 주체로 특허 청구항을 만들어낼 필요성도 분명히 존재합니다.
다음 글에서는 강한 블록 체인 특허를 만들기 위한 3) 프로세스 행위 주체의 문제(속지주의의 원칙)에 대해 알아보겠습니다.
 
ECM특허법률사무소
김시우 변리사(swkim@ecmpatent.com)


Copyright © 2019 by ECM IP&LAW FIRM . All Rights Reserved.

ECM IP&LAW FIRM
3F, 13, Teheran-ro 70-gil,
Gangnam-gu, Seoul,

Republic of Korea