구글 얼굴 감정 - gugeul eolgul gamjeong

KR20130015958A - 얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체 - Google Patents

얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체 Download PDF

Info

Publication numberKR20130015958A KR20130015958A KR1020110078319A KR20110078319A KR20130015958A KR 20130015958 A KR20130015958 A KR 20130015958A KR 1020110078319 A KR1020110078319 A KR 1020110078319A KR 20110078319 A KR20110078319 A KR 20110078319A KR 20130015958 A KR20130015958 A KR 20130015958AAuthorityKRSouth KoreaPrior art keywordsfacial expressionemotion recognitionfaceemotionchangePrior art date2011-08-05Application numberKR1020110078319AOther languages English (en) Other versions KR101265466B1 (koInventor손진훈박혜준오형석Original Assignee충남대학교산학협력단Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)2011-08-05Filing date2011-08-05Publication date2013-02-14 2011-08-05 Application filed by 충남대학교산학협력단 filed Critical 충남대학교산학협력단 2011-08-05 Priority to KR1020110078319A priority Critical patent/KR101265466B1/ko 2013-02-14 Publication of KR20130015958A publication Critical patent/KR20130015958A/ko 2013-05-16 Application granted granted Critical 2013-05-16 Publication of KR101265466B1 publication Critical patent/KR101265466B1/ko

Links

  • Espacenet
  • Global Dossier
  • Discuss
  • 230000001815 facial Effects 0.000 title claims abstract description 81
  • 230000014509 gene expression Effects 0.000 title claims abstract description 64
  • 210000001508 Eye Anatomy 0.000 claims description 45
  • 210000004709 Eyebrows Anatomy 0.000 claims description 24
  • 238000006243 chemical reaction Methods 0.000 claims description 12
  • 230000004044 response Effects 0.000 claims description 10
  • 238000000605 extraction Methods 0.000 claims description 9
  • 206010048909 Boredom Diseases 0.000 claims description 7
  • 239000000284 extract Substances 0.000 abstract description 4
  • 230000000875 corresponding Effects 0.000 abstract 1
  • 230000002996 emotional Effects 0.000 description 7
  • 210000000088 Lip Anatomy 0.000 description 6
  • 238000010586 diagram Methods 0.000 description 4
  • 210000004209 Hair Anatomy 0.000 description 2
  • 230000000694 effects Effects 0.000 description 2
  • 230000001264 neutralization Effects 0.000 description 2
  • 210000001061 Forehead Anatomy 0.000 description 1
  • 210000004185 Liver Anatomy 0.000 description 1
  • 238000004458 analytical method Methods 0.000 description 1
  • 230000003796 beauty Effects 0.000 description 1
  • 230000005540 biological transmission Effects 0.000 description 1
  • 239000000969 carrier Substances 0.000 description 1
  • 230000003247 decreasing Effects 0.000 description 1
  • 238000001514 detection method Methods 0.000 description 1
  • 230000004927 fusion Effects 0.000 description 1
  • 239000000203 mixture Substances 0.000 description 1
  • 230000003287 optical Effects 0.000 description 1
  • 230000001131 transforming Effects 0.000 description 1
  • 230000000007 visual effect Effects 0.000 description 1

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques

Abstract

본 발명은 얼굴표정을 이용한 감정인식 장치 및 감정인식 방법에 관한 것으로서, 대상체의 얼굴표정 변화를 감지함으로써 대상체가 느끼는 9가지 감정을 구별할 수 있는 얼굴표정을 이용한 감정인식 장치 및 감정인식 방법에관한 것이다. 이를 위해 제시된 자극에 대응하여 반응하는 객체의 객체정보를 입력받아 객체의 얼굴을 인식하는 얼굴인식수단(100); 인식된 객체의 얼굴을 이용하여 객체의 얼굴요소를 추출하는 얼굴요소추출수단(200); 및 추출된 객체의 얼굴요소를 바탕으로 자극에 상응하여 변하는 객체의 얼굴표정 변화를 인식함으로써 객체가 표현하는 감정을 인식하는 감정인식수단(300);을 포함하는 것을 특징으로 하는 얼굴표정을 이용한 감정인식 장치가 개시된다.

Description

얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체{Emotion recognition apparatus using facial expression, emotion recognition method using the same, and recording medium thereof}

본 발명은 얼굴표정을 이용한 감정인식 장치 및 감정인식 방법에 관한 것으로서, 보다 상세하게는 대상체의 얼굴표정 변화를 감지함으로써 대상체가 느끼는 9가지 감정을 구별할 수 있는 얼굴표정을 이용한 감정인식 장치 및 감정인식 방법에관한 것이다.

멀티모달 인터페이스는 인간과 기계의 통신을 위해 음성, 키보드, 펜 등을 이용해 인터페이스하는 방법을 의미한다. 이러한 멀티모달 인터페이스를 통한 멀티 모달 정보가 입력된 경우 이러한 각각의 모달리티에서 입력된 정보를 각각 융합하여 분석하는 방법이 사용된다.

그러나 이러한 멀티 모달리티에서 입력된 정보의 특징을 추출하고 분류하기 위해서는 다양한 학습 알고리즘이 사용될 수 있다. 따라서 어떤 학습 알고리즘을 사용하느냐에 따라 이를 분석하여 인식하는 에러율이 다양하게 나타난다.

한편, 감정 인식률이 높은 시각 모달리티 반응을 이용한 종래기술은 객체의 감정인식시 밝기에 대한 제약이 있었다. 또한, 인위적인 감정상태의 객체반응 데이터를 사용함으로써 자연스러운 감정을 유발하여 객체반응을 측정하는 발명에 비해 감정인식이 실제로 잘 이루어지지 않는 문제가 있었다. 그리고 멀티 모달리티를 활용하여 특징을 추출한 후 이러한 특징을 융합할 수 없는 문제점이 있었다.

따라서 본 발명이 속하는 기술 분야에서는 멀티 모달리티 중 하나인 객체의 얼굴표정 변화를 감지하여 객체가 표현하는 다양한 감정을 인식할 수 있는 발명의 개발을 요하고 있었다.

대한민국 공개특허공보 제10-2004-0038419호의 음성을 이용한 감정인식 시스템 및 감정인식 방법에서는 화자의 감정 상태를 효과적으로 추정, 인식하기 위하여 화자의 발화에 포함된 화자의 감정 상태를 나타내는 언어적 정보 및 비 언어적 정보에 관한 다수의 파라미터를 추출하여 종합적으로 분석하는 음성을 이용한 감정 인식 방법이 개시되어 있다.

따라서, 본 발명은 전술한 바와 같은 문제점을 해결하기 위하여 창출된 것으로서, 감정을 표현하는 대상체의 얼굴표정 변화를 측정함으로써 대상체가 느끼는 9가지의 감정을 인식할 수 있는 발명을 제공하는데 그 목적이 있다.

그러나, 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 본 발명의 목적은, 제시된 자극에 대응하여 반응하는 객체의 객체정보를 입력받아 객체의 얼굴을 인식하는 얼굴인식수단(100); 인식된 객체의 얼굴을 이용하여 객체의 얼굴요소를 추출하는 얼굴요소추출수단(200); 및 추출된 객체의 얼굴요소를 바탕으로 자극에 상응하여 변하는 객체의 얼굴표정 변화를 인식함으로써 객체가 표현하는 감정을 인식하는 감정인식수단(300);을 포함하는 것을 특징으로 하는 얼굴표정을 이용한 감정인식 장치를 제공함으로써 달성될 수 있다.

또한, 객체정보는 객체의 얼굴을 촬영한 동영상 데이터 또는 정지영상 데이터인 것을 특징으로 한다.

또한, 얼굴인식수단(100)은 객체정보를 입력받아 하르-라이크 특징을 이용한 아다부스트 학습 알고리즘을 통해 객체의 얼굴을 인식하는 것을 특징으로 한다.

또한, 아다부스트 학습 알고리즘은 검정과 흰색 패턴으로 이루어진 하르-라이크 특징을 토대로 추출된 특징점을 분류하는 것을 특징으로 한다.

또한, 추출되는 객체의 얼굴요소는 눈, 눈썹, 미간, 및 입 중 적어도 어느 하나인 것을 특징으로 한다.

또한, 객체의 얼굴요소 추출은 이미지 기울기 또는 RGB 변환 필터를 이용하여 추출하는 것을 특징으로 한다.

또한, 얼굴표정 변화는 눈의 크기변화, 눈과 눈썹간의 간격변화, 미간의 형상변화, 입의 크기변화, 및 입의 형상변화 중 적어도 어느 하나인 것을 특징으로 한다.

또한, 눈의 크기변화는 눈의 가로 및 세로 크기 변화인 것을 특징으로 한다.

또한, 입의 크기변화는 입의 가로 및 세로 크기 변화인 것을 특징으로 한다.

또한, 얼굴표정 변화는 눈, 눈썹, 미간, 및 입 중 적어도 어느 하나의 형상 변화인 것을 특징으로 한다.

또한, 객체가 표현하는 감정은 기쁨, 놀람, 슬픔, 분노, 흥미, 지루함, 공포, 아픔, 및 중립 중 적어도 어느 하나인 것을 특징으로 한다.

또한, 객체가 표현하는 감정의 인식은 베이시언 분류기를 이용하여 인식하는 것을 특징으로 한다.

그리고, 객체정보는 감정을 인식하고자 하는 대상체의 동영상 데이터 또는 정지영상 데이터인 것을 특징으로 한다.

한편 본발명의 목적은 다른 카테고리로서, 얼굴인식수단(100)이 제시된 자극에 대응하여 반응하는 객체의 객체정보를 입력받아 객체의 얼굴을 인식하는 단계(S610); 얼굴추출수단(200)이 인식된 객체의 얼굴을 이용하여 객체의 얼굴요소를 추출하는 단계(S620); 및 감정인식수단(300)이 추출된 객체의 얼굴요소를 바탕으로 자극에 상응하여 변하는 객체의 얼굴표정 변화를 인식함으로써 객체가 표현하는 감정을 인식하는 단계(S630);를 포함하는 것을 특징으로 하는 얼굴표정을 이용한 감정인식 방법을 제공함으로써 달성될 수 있다.

또한, S610 단계는 객체의 객체정보를 입력받는 단계; 하르-라이크 특징점을 이용하여 입력된 객체정보의 특징점을 추출하는 단계; 및 아다부스트 학습 알고리즘에 의해 객체정보의 특징점을 분류함으로써 객체의 얼굴을 인식하는 단계;를 포함하는 것을 특징으로 한다.

또한, 하르-라이크 특징점은 검정과 흰색 패턴으로 이루어진 것을 특징으로 한다.

또한, S620 단계는 이미지 기울기 또는 RGB 변환 필터를 이용하여 객체의 얼굴요소를 추출하는 것을 특징으로 한다.

또한, 이미지 기울기는 객체의 눈 위치를 추출하기 위해 이용되는 것을 특징으로 한다.

또한, RGB 변환 필터는 객체의 입 위치를 추출하기 위해 이용되는 것을 특징으로 한다.

또한, 얼굴표정 변화는 눈의 크기변화, 눈과 눈썹간의 간격변화, 미간의 형상변화, 입의 크기변화, 및 입의 형상변화 중 적어도 어느 하나인 것을 특징으로 한다.

그리고, 객체가 표현하는 감정은 기쁨, 놀람, 슬픔, 분노, 흥미, 지루함, 공포, 아픔, 및 중립 중 적어도 어느 하나인 것을 특징으로 한다.

한편, 본 발명의 목적은 다른 카테고리로서 얼굴표정을 이용한 감정인식 방법을 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공함으로써 달성될 수 있다.

전술한 바와 같은 본 발명에 의하면 대상체의 얼굴표정 변화를 측정함으로써 대상체가 느끼는 9가지 감정을 객관적으로 판별할 수 있는 효과가 있다.

그리고, 본 발명에 의하면 대상체의 감정상태를 대상체의 얼굴표정 변화를 측정하여 인식함으로써 장애인 도우미 칩에 이식하여 활용할 수 있는 효과가 있다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명에 따른 얼굴표정을 이용한 감정인식 장치의 구성을 나타낸 구성도이고,
도 2는 본 발명에 따른 5종류의 하르-라이크 특징점을 나타낸 도면이고,
도 3은 본 발명에 따른 아다부스트 학습 알고리즘의 개념을 나타낸 개념도이고,
도 4는 본 발명에 따른 아다부스트 학습 알고리즘을 이용하여 추출되는 얼굴요소의 도면이고,
도 5는 본 발명에 따른 이미지 경사도를 이용한 대상체의 눈 탐색방법을 나타낸 도면이고,
도 6은 본 발명에 따른 RGB 변환 필터를 이용하여 추출한 입술을 나타낸 도면이고,
도 7은 본 발명에 따른 눈과 눈썹 사이의 간격 변화를 나타낸 도면이고,
도 8은 본 발명에 따른 미간의 형상 변화를 나타낸 도면이고,
도 9는 본 발명에 따른 대상체의 감정에 따른 입의 형상 변화를 나타낸 도면이고,
도 10은 본 발명에 따른 얼굴표정을 이용한 감정인식 방법을 순차적으로 나타낸 순서도이다.

이하, 도면을 참조하여 본 발명의 바람직한 일실시예에 대해서 설명한다. 또한, 이하에 설명하는 일실시예는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.

< 얼굴표정을 이용한 감정인식 장치의 구성>

도 1은 본 발명에 따른 얼굴표정을 이용한 감정인식 장치의 구성을 나타낸 구성도이다. 도 1에 도시된 바와 같이 본 발명에 따른 얼굴표정을 이용한 감정인식 장치는 대략적으로 얼굴인식수단(100), 얼굴요소추출수단(200), 및 감정인식수단(300)으로 구성할 수 있다. 이하에서는 도 1 내지 도 8을 참조하여 본 발명에 따른 얼굴표정을 이용한 감정인식 장치의 구성을 자세히 설명하기로 한다.

본 발명에 따른 얼굴표정을 이용한 감정인식장치는 감정을 인식하고자 하는 객체 즉 대상체의 얼굴표정 변화를 감지하여 대상체가 느끼는 9가지 감정(기쁨, 놀람, 슬픔, 분노, 흥미, 지루함, 공포, 아픔, 및 중립)을 분류하여 인식한다.

본 발명에 따른 얼굴인식수단(100)은 제시된 자극에 대응하여 반응하는 객체의 객체정보를 입력받아 객체의 얼굴을 인식한다. 이때 객체는 감정을 인식하고자 하는 대상체이다. 대상체는 사람이 될 수 있으며, 특정 동물의 감정을 인식하기 위해서는 감정을 인식하고자 하는 동물이 될 수도 있다.

객체정보는 피측정 대상체의 정보로서 주로 피측정 대상체를 촬영한 동영상 데이터 또는 정지영상 데이터이다. 객체정보의 일실시예로서 카메라(도면 미도시)를 통해 대상체의 동영상 또는 정지영상을 촬영한 경우 이로부터 생성된 디지털 데이터가 객체정보일 수 있다.

한편, 객체정보로부터 대상체의 얼굴을 인식하기 위해 아다부스트 학습 알고리즘을 이용한다. 아다부스트 학습 알고리즘은 하르-라이크 특징점을 이용하여 추출된 객체의 특징점을 분류한다. 이때 하르-라이크 특징점은 도 2에 도시된 바와 같이 5가지 종류의 흰색(1) 및 검정색(2) 직사각형 패턴으로 이루어진 것으로서 인접한 직사각형들 사이의 강도 차이를 나타낸다.

도 3에 도시된 바와 같이 아다부스트 학습 알고리즘을 통해서 얻어진 특징점을 이용하여 대상체의 얼굴을 인식하기 위하여는 입력된 정지영상 데이터(10)로부터 얼굴영역을 추출하고, 추출된 얼굴영역을 약한분류기들 및 강한분류기를 이용(약한분류기를 조합한 강한 분류기를 이용)하여 대상체의 얼굴인지 아닌지를 판단하면 된다.

본 발명에 따른 얼굴요소추출수단(200)은 얼굴인식수단(100)에서 인식된 대상체의 얼굴을 이용하여 대상체의 얼굴요소를 추출한다. 추출되는 얼굴요소는 양쪽 눈(20a,20b), 양쪽 눈썹(30a,30b), 미간(40), 또는 입(50)이다. 도 4에 도시된 바와 같이 대상체의 동영상 또는 정지영상 데이터(10)로부터 얼굴영역(60)을 인식하고, 인식된 얼굴에 의해 얼굴요소를 추출한다.

여기서 대상체의 얼굴요소를 추출하기 위하여 아다부스트 학습 알고리즘을 이용할 수도 있다. 이때 아다부스트를 이용한 얼굴요소 추출을 위해 각각 1000여개의 파지티브 샘플과 110,000여개의 네가티브 샘플을 사용하여 학습을 한다. 아다부스트용 약분류기의 경우에는 가중치 기반 리스트 스퀘어(Least Square)를 바탕으로 하며 약 500회의 약분류기를 토대로 잰틀 아다부스트(Gentle AdaBoost)로 구성한다. 일실시예에 따른 학습용 샘플의 수는 아래 표 1과 같다.

왼쪽 눈 오른쪽 눈 왼쪽 눈썹 오른쪽 눈썹
1117 1110 1115 1118 914

한편, 대상체의 얼굴요소를 추출하기 위해서는 우선적으로 대상체의 얼굴요소의 위치를 주어진 대상체의 얼굴로부터 빠르게 탐색할 필요가 있다. 따라서 대상체의 얼굴요소를 아다부스트 알고리즘보다 더 빠르게 추출하기 위한 방법으로 본 발명에서는 이미지 기울기(Image Gradient) 방법과 RGB 변환 필터를 이용한다. 즉 본 발명에서는 아다부스트 알고리즘에 의한 얼굴요소 추출도 가능하나 이보다 빠른 검출방법인 이미지 기울기 방법과 RGB 변환 필터를 이용한다.

이미지 기울기(경사도)는 눈과 입 주변 및 눈썹의 위치를 기준으로 기하학적인 위치, 크기 및 방향을 기준으로 특징을 추출한다. 좀 더 상세하게는 대상체의 얼굴영상의 x와 y축 방향의 이미지 기울기를 이용하여 눈, 눈썹, 이마 부위의 영역을 분리하여 얼굴요소의 위치정보를 추출한다. 추출되는 위치정보는 아래의 수학식 1 및 수학식 2에서 구한 이미지 경사도를 이용하여 구할 수 있다. 아래의 수학식 1 및 수학식 2는 이미지 포인트에서 x 방향과 y 방향의 강도 변화를 의미한다.

구글 얼굴 감정 - gugeul eolgul gamjeong

구글 얼굴 감정 - gugeul eolgul gamjeong

(여기서, Ix 및 Iy는 이미지의 x축 및 y축 위치이다)

이미지 기울기는 대상체의 눈 위치를 고속으로 탐색하기 위하여 적용된다. 도 5에 도시된 바와 같이 이미지 경사도의 문턱값에 의해 눈을 찾기 위한 탐색영역을 최소화하고, 템플릿 이미지를 적용하여 양쪽 눈동자를 찾음으로써 고속으로 눈의 위치를 탐색할 수 있다. 이러한 이미지 기울기를 이용한 대상체의 눈 탐색방법은 아다부스트 탐색에 비해 약 2.5배 이상 빨리 눈을 탐색할 수 있다.

한편, 대상체의 형상중 가장 다양한 형상을 갖는 입 위치를 고속으로 추출하기 위해서 RGB 변환 필터 및 가장자리 탐색기법을 사용하며, RGB 변환 필터에 따른 대상체의 입술 추출결과가 도 6에 도시되어 있다. RGB 변환 필터는 R, G, B 영역 중 B가 감소(입술 색에서 파란색은 중요하지 않음)된 색 변환 필터를 사용하였으며 다음의 수학식 3과 같다.

구글 얼굴 감정 - gugeul eolgul gamjeong

가장자리 탐색기법은 RGB 변환필터에 의해 입술 영역이 찾아지면 입술의 테두리를 탐색하기 위해 사용된다.

본 발명에 따른 감정인식수단(300)은 추출된 대상체의 얼굴요소(양쪽 눈, 양쪽 눈썹, 입)를 바탕으로 얼굴표정 변화를 인식함으로써 대상체가 표현하는 감정은 인식한다. 대상체의 얼굴표정 변화는 눈의 크기변화, 눈과 눈썹간의 간격변화, 미간의 형상변화, 입의 크기변화 및 입의 형상변화로서 이러한 얼굴표정 변화를 감지하여 대상체가 느끼는 9가지 감정을 인식한다.

얼굴표정 변화를 좀더 상세하게 설명하면 눈의 크기변화는 눈의 가로 및 세로 크기에 따른 변화이다. 대상체는 다양한 감정에 따라 눈을 크게 뜨거나 눈을 감게 되고 따라서 이러한 눈의 크기변화를 이용할 수 있다. 주로 눈의 크기변화는 기쁨, 슬픔, 놀람, 흥미 등의 감정 특징을 잘 표현한다.

또한, 도 7에 도시된 바와 같이 눈과 눈썹 사이의 간격(x)에 따라 대상체는 다양한 감정을 느낀다. 눈과 눈썹 사이의 간격 변화에 따른 감정 인식은 주로 놀람, 기쁨 등에 이용하는 것이 바람직하다.

또한, 미간의 형상변화는 주로 기쁨, 슬픔, 흥미 등에 따른 눈썹 사이의 공간변화를 추출함으로써 감정을 인식할 수 있다. 도 8에 도시된 바와 같이 감정 변화 중 밸런스량에 따라 화남, 싫음과 같은 높은 밸런스에서는 32차 벡터의 경사도가 높은 반면, 기쁨, 슬픔처럼 낮은 밸런스에서는 완만한 변화를 보이고 있다.

즉, 감정에서 밸런스는 감정의 유쾌 또는 불쾌를 의미한다. 기쁨처럼 유쾌한 감정에서는 미간의 이미지 경사도가 완만(도 8의 원안)한 반면, 화남과 같은 불쾌한 감정에서는 이미지 경사도가 급격(도 8의 원안)하다.

또한, 입의 크기 변화는 입의 가로 및 세로 크기에 따른 변화이다. 대상체의 감정 표출시 감정에 따라 입을 굳게 다물거나 또는 입을 크게 벌릴 수 있으며 입의 크기에 따라 감정을 구분할 수 있다.

또한, 입의 형상 변화는 대상체의 감정에 따라 다양하게 나타나는 입의 형상이다. 도 9에 도시된 바와 같이 대상체는 감정에 따라 다양한 입 모양을 표현한다. 따라서 입의 픽셀 개수와 입술의 픽셀 개수의 비율로 계산되므로 앞서 설명한 입의 가로 및 세로 비율과는 다른 정보를 추출한다.

상술한 다섯 가지의 얼굴표정 변화를 감지하고, 감지된 변화를 기초로 베이시언 분류기 또는 KNN 분류기를 이용하여 대상체의 감정을 인식할 수 있다. 본 발명의 일실시예에서는 정규화된 36차 특징 벡터를 KNN 분류기로 분류하였다. KNN 분류기는 학습 샘플 중에 주어진 x에 가장 가까운 학습 샘플 k개를 구하고 k개의 샘플이 가장 많은 빈도를 보인 부류로 분류하는 방식으로서 자세한 설명은 당업자에게 자명한 바 생략하기로 한다.

베이시언 분류기 또는 KNN 분류기를 이용하여 대상체가 느끼는 감정의 인식률(대상 150명, 샘플 3603개)은 대략 73% 정도이며 아래의 표 2와 같다.

유발\판별 분노 지루함 공포 흥미 기쁨 중립 통증 슬픔 놀람 전체
분노 82 5 1 3 0 3 1 0 1 100
지루함 7 77 0 2 2 5 0 0 2 100
공포 5 3 81 1 1 1 0 0 2 100
흥미 4 5 2 73 5 4 0 0 3 100
기쁨 2 4 1 6 82 0 0 0 0 100
중립 5 16 1 7 2 60 0 0 4 100
통증 7 5 5 2 0 3 75 1 0 100
슬픔 4 8 2 6 2 7 2 62 2 100
놀람 5 5 4 14 1 2 0 1 63 100

이때 중립의 감정은 사람이 평상시 표현하는 감정을 나타낸다.

상술한 얼굴인식수단(100), 얼굴요소추출수단(200), 및 감정인식수단(300)은 설명상의 편의를 위하여 그 기능을 구분하여 설명하였을 뿐 실제로 이를 구현할 시에는 하나의 계산용 컴퓨터에 의해 수행될 수도 있으며 필요에 따라 그 기능이 분리되어 각각의 계산용 컴퓨터에 의해 수행될 수도 있다.

< 얼굴표정을 이용한 감정인식 방법>

도 10은 본 발명에 따른 얼굴표정을 이용한 감정인식 방법을 순차적으로 나타낸 순서도이다. 상술한 구성을 가지는 얼굴표정을 이용한 감정인식 장치에 의하여 수행될 수 있는 얼굴표정을 이용한 감정인식 방법의 일실시예가 도 10에 도시되어 있다. 이하 도 10을 참조하여 본 발명에 따른 얼굴표정을 이용한 감정인식 방법을 자세히 설명하기로 한다.

먼저, 얼굴인식수단(100)이 제시된 자극에 대응하여 반응하는 객체의 객체정보를 입력받아 객체의 얼굴을 인식하는 단계(S610)를 수행한다. 보다 상세하게는 객체정보인 동영상 데이터 또는 정지영상 데이터를 입력받고, 하르-라이크 특징점을 이용하여 입력받은 동영상 데이터 또는 정지영상 데이터의 특징점을 추출하며, 아다부스트 학습 알고리즘에 의해 추출된 특징점을 분류함으로써 객체의 얼굴을 인식한다. 이때 하르-라이크 특징점은 도 2에 도시된 바와 같이 다섯 종류의 흰색과 검정색 직사각형 패턴의 특징을 가지고 있다.

다음으로, 아다부스트 학습 알고리즘에 의해 대상체의 얼굴을 인식한 후 얼굴추출수단(200)이 인식된 대상체의 얼굴을 이용하여 얼굴요소를 추출하는 단계를 수행한다(S620). 얼굴요소는 양쪽 눈, 양쪽 눈썹, 및 입으로서 얼굴요소를 추출하기 위하여 먼저 이미지 기울기 또는 RGB 변환 필터를 이용하여 대상체의 얼굴요소를 고속으로 추출함으로써 대상체의 동영상 데이터 또는 정지영상 데이터로부터 얼굴요소를 추출할 수 있다.

마지막으로, 얼굴요소를 추출한 후 감정인식수단(300)이 추출된 대상체의 얼굴요소를 바탕으로 자극에 상응하여 변하는 대상체의 얼굴표정 변화를 인식함으로써 대상체가 표현하는 9가지 감정을 인식한다(S630). 이때 대상체의 얼굴표정 변화는 앞서 상술한 눈의 크기 변화, 눈과 눈썹간의 간격변화, 미간의 형상변화, 입의 크기변화, 및 입의 형상변화로써 변화된 얼굴표정 변화를 베이시언 분류기에 의해 분류함으로써 9가지 감정을 분류 및 인식한다.

<기록매체>

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상, 본 발명의 일실시예를 참조하여 설명했지만, 본 발명이 이것에 한정되지는 않으며, 다양한 변형 및 응용이 가능하다. 즉, 본 발명의 요지를 일탈하지 않는 범위에서 많은 변형이 가능한 것을 당업자는 용이하게 이해할 수 있을 것이다.

1 : 흰색
2 : 검정색
10 : 정지영상 데이터
20a,20b : 양쪽 눈
30a,30b : 양쪽 눈썹
50 : 입
60 : 얼굴영역
100 : 얼굴인식수단
200 : 얼굴요소추출수단
300 : 감정인식수단

Claims (22)

  1. 제시된 자극에 대응하여 반응하는 객체의 객체정보를 입력받아 상기 객체의 얼굴을 인식하는 얼굴인식수단(100);
    인식된 상기 객체의 얼굴을 이용하여 상기 객체의 얼굴요소를 추출하는 얼굴요소추출수단(200); 및
    추출된 상기 객체의 얼굴요소를 바탕으로 상기 자극에 상응하여 변하는 상기 객체의 얼굴표정 변화를 인식함으로써 상기 객체가 표현하는 감정을 인식하는 감정인식수단(300);을 포함하는 것을 특징으로 하는 얼굴표정을 이용한 감정인식 장치.

  2. 제 1 항에 있어서,
    상기 객체정보는 상기 객체의 얼굴을 촬영한 동영상 데이터 또는 정지영상 데이터인 것을 특징으로 하는 얼굴표정을 이용한 감정인식 장치.

  3. 제 1 항에 있어서,
    상기 얼굴인식수단(100)은,
    상기 객체정보를 입력받아 하르-라이크 특징을 이용한 아다부스트 학습 알고리즘을 통해 상기 객체의 얼굴을 인식하는 것을 특징으로 하는 얼굴표정을 이용한 감정인식 장치.

  4. 제 3 항에 있어서,
    상기 아다부스트 학습 알고리즘은,
    검정과 흰색 패턴으로 이루어진 상기 하르-라이크 특징을 토대로 추출된 특징점을 분류하는 것을 특징으로 하는 얼굴표정을 이용한 감정인식 장치.

  5. 제 1 항에 있어서,
    추출되는 상기 객체의 얼굴요소는 눈, 눈썹, 미간, 및 입 중 적어도 어느 하나인 것을 특징으로 하는 얼굴표정을 이용한 감정인식 장치.

  6. 제 5 항에 있어서,
    상기 객체의 얼굴요소 추출은 이미지 기울기 또는 RGB 변환 필터를 이용하여 추출하는 것을 특징으로 하는 얼굴표정을 이용한 감정인식 장치.

  7. 제 5 항에 있어서,
    상기 얼굴표정 변화는,
    상기 눈의 크기변화, 상기 눈과 상기 눈썹간의 간격변화, 상기 미간의 형상변화, 상기 입의 크기변화, 및 상기 입의 형상변화 중 적어도 어느 하나인 것을 특징으로 하는 얼굴표정을 이용한 감정인식 장치.

  8. 제 7 항에 있어서,
    상기 눈의 크기변화는,
    상기 눈의 가로 및 세로 크기 변화인 것을 특징으로 하는 얼굴표정을 이용한 감정인식 장치.

  9. 제 7 항에 있어서,
    상기 입의 크기변화는,
    상기 입의 가로 및 세로 크기 변화인 것을 특징으로 하는 얼굴표정을 이용한 감정인식 장치.

  10. 제 5 항에 있어서,
    상기 얼굴표정 변화는,
    상기 눈, 눈썹, 미간, 및 입 중 적어도 어느 하나의 형상 변화인 것을 특징으로 하는 얼굴표정을 이용한 감정인식 장치.

  11. 제 1 항에 있어서,
    상기 객체가 표현하는 감정은,
    기쁨, 놀람, 슬픔, 분노, 흥미, 지루함, 공포, 아픔, 및 중립 중 적어도 어느 하나인 것을 특징으로 하는 얼굴표정을 이용한 감정인식 장치.

  12. 제 1 항에 있어서,
    상기 객체가 표현하는 감정의 인식은 베이시언 분류기 또는 KNN 분류기를 이용하여 인식하는 것을 특징으로 하는 얼굴표정을 이용한 감정인식 장치.

  13. 제 1 항에 있어서,
    상기 객체정보는,
    상기 감정을 인식하고자 하는 대상체의 동영상 데이터 또는 정지영상 데이터인 것을 특징으로 하는 얼굴표정을 이용한 감정인식 장치.

  14. 얼굴인식수단(100)이 제시된 자극에 대응하여 반응하는 객체의 객체정보를 입력받아 상기 객체의 얼굴을 인식하는 단계(S610);
    얼굴추출수단(200)이 인식된 상기 객체의 얼굴을 이용하여 상기 객체의 얼굴요소를 추출하는 단계(S620); 및
    감정인식수단(300)이 추출된 상기 객체의 얼굴요소를 바탕으로 상기 자극에 상응하여 변하는 상기 객체의 얼굴표정 변화를 인식함으로써 상기 객체가 표현하는 감정을 인식하는 단계(S630);를 포함하는 것을 특징으로 하는 얼굴표정을 이용한 감정인식 방법.

  15. 제 14 항에 있어서,
    상기 S610 단계는,
    상기 객체의 객체정보를 입력받는 단계;
    하르-라이크 특징점을 이용하여 입력된 상기 객체정보의 특징점을 추출하는 단계; 및
    아다부스트 학습 알고리즘에 의해 상기 객체정보의 특징점을 분류함으로써 상기 객체의 얼굴을 인식하는 단계;를 포함하는 것을 특징으로 하는 얼굴표정을 이용한 감정인식 방법.

  16. 제 15 항에 있어서,
    상기 하르-라이크 특징점은,
    검정과 흰색 패턴으로 이루어진 것을 특징으로 하는 얼굴표정을 이용한 감정인식 방법.

  17. 제 14 항에 있어서,
    상기 S620 단계는,
    이미지 기울기 또는 RGB 변환 필터를 이용하여 상기 객체의 얼굴요소를 추출하는 것을 특징으로 하는 얼굴표정을 이용한 감정인식 방법.

  18. 제 17 항에 있어서,
    상기 이미지 기울기는,
    상기 객체의 눈 또는 눈썹을 추출하기 위해 이용되는 것을 특징으로 하는 얼굴표정을 이용한 감정인식 방법.

  19. 제 17 항에 있어서,
    상기 RGB 변환 필터는,
    상기 객체의 입을 추출하기 위해 이용되는 것을 특징으로 하는 얼굴표정을 이용한 감정인식 방법.

  20. 제 14 항에 있어서,
    상기 얼굴표정 변화는,
    상기 눈의 크기변화, 상기 눈과 상기 눈썹간의 간격변화, 상기 미간의 형상변화, 상기 입의 크기변화, 및 상기 입의 형상변화 중 적어도 어느 하나인 것을 특징으로 하는 얼굴표정을 이용한 감정인식 방법.

  21. 제 14 항에 있어서,
    상기 객체가 표현하는 감정은,
    기쁨, 놀람, 슬픔, 분노, 흥미, 지루함, 공포, 아픔, 및 중립 중 적어도 어느 하나인 것을 특징으로 하는 얼굴표정을 이용한 감정인식 방법.

  22. 제 14 내지 제 21 항 중 어느 한 항에 따른 얼굴표정을 이용한 감정인식 방법을 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.

KR1020110078319A 2011-08-05 2011-08-05 얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체 KR101265466B1 (ko)

Priority Applications (1)

Application NumberPriority DateFiling DateTitle
KR1020110078319A KR101265466B1 (ko) 2011-08-05 2011-08-05 얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체

Applications Claiming Priority (1)

Application NumberPriority DateFiling DateTitle
KR1020110078319A KR101265466B1 (ko) 2011-08-05 2011-08-05 얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체

Publications (2)

Publication NumberPublication Date
KR20130015958A true KR20130015958A (ko) 2013-02-14
KR101265466B1 KR101265466B1 (ko) 2013-05-16

Family

ID=47895654

Family Applications (1)

Application NumberTitlePriority DateFiling Date
KR1020110078319A KR101265466B1 (ko) 2011-08-05 2011-08-05 얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체

Country Status (1)

CountryLink
KR (1) KR101265466B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
KR101480669B1 (ko) * 2014-03-24 2015-01-26 충남대학교산학협력단 얼굴 표정을 이용한 감정 인식 어플리케이션이 구비된 단말기 및 그 제어방법
KR20180125756A (ko) * 2017-05-16 2018-11-26 전주대학교 산학협력단 감정인식 인터페이스 장치
KR20190038203A (ko) * 2017-09-29 2019-04-08 이인규 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법
KR20190123371A (ko) 2018-04-11 2019-11-01 (주)트라이스 안면이미지를 기반한 감정 인식 방법 및 인공지능 학습 방법
KR20190128933A (ko) 2018-05-09 2019-11-19 연세대학교 산학협력단 시공간 주의 기반 감정 인식 장치 및 방법
KR102293234B1 (ko) 2020-09-24 2021-08-25 월드버텍 주식회사 인공지능 기술을 활용한 화상교육 시스템 및 학습 지원 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
GB2585261B (en) * 2019-04-01 2022-05-25 Samsung Electronics Co Ltd Methods for generating modified images
KR102204743B1 (ko) 2019-07-24 2021-01-19 전남대학교산학협력단 시선 움직임 분석에 의한 감정 인식 장치 및 방법
  • 2011
    • 2011-08-05 KR KR1020110078319A patent/KR101265466B1/ko active IP Right Grant

Cited By (6)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
KR101480669B1 (ko) * 2014-03-24 2015-01-26 충남대학교산학협력단 얼굴 표정을 이용한 감정 인식 어플리케이션이 구비된 단말기 및 그 제어방법
KR20180125756A (ko) * 2017-05-16 2018-11-26 전주대학교 산학협력단 감정인식 인터페이스 장치
KR20190038203A (ko) * 2017-09-29 2019-04-08 이인규 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법
KR20190123371A (ko) 2018-04-11 2019-11-01 (주)트라이스 안면이미지를 기반한 감정 인식 방법 및 인공지능 학습 방법
KR20190128933A (ko) 2018-05-09 2019-11-19 연세대학교 산학협력단 시공간 주의 기반 감정 인식 장치 및 방법
KR102293234B1 (ko) 2020-09-24 2021-08-25 월드버텍 주식회사 인공지능 기술을 활용한 화상교육 시스템 및 학습 지원 방법

Also Published As

Publication numberPublication date
KR101265466B1 (ko) 2013-05-16

Similar Documents

PublicationPublication DateTitle
KR101265466B1 (ko) 2013-05-16 얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체
Li et al. 2013 Learning to predict gaze in egocentric video
CN107169455B (zh) 2020-08-28 基于深度局部特征的人脸属性识别方法
CN107122709B (zh) 2020-12-04 活体检测方法及装置
CN106960181B (zh) 2020-04-24 一种基于rgbd数据的行人属性识别方法
Hassanat et al. 2015 Colour-based lips segmentation method using artificial neural networks
Shan et al. 2010 Recognizing facial expressions automatically from video
KR20180093632A (ko) 2018-08-22 멀티 모달 데이터 기반 표정인식방법 및 장치
KR100988323B1 (ko) 2010-10-18 표정 증폭을 이용한 미세 표정인식 방법 및 장치
Gudipati et al. 2016 Efficient facial expression recognition using adaboost and haar cascade classifiers
Mohseni et al. 2014 Facial expression recognition using anatomy based facial graph
Li et al. 2019 Facial expression classification using salient pattern driven integrated geometric and textual features
Chiang et al. 2018 A vision-based human action recognition system for companion robots and human interaction
Gorbova et al. 2019 Going deeper in hidden sadness recognition using spontaneous micro expressions database
Travieso et al. 2014 Using a Discrete Hidden Markov Model Kernel for lip-based biometric identification
Lee 2013 Detection and recognition of facial emotion using bezier curves
Yi et al. 2015 Assistive text reading from natural scene for blind persons
Kumar et al. 2014 Emotion recognition using anatomical information in facial expressions
Sun et al. 2018 General-to-specific learning for facial attribute classification in the wild
Adithya et al. 2018 An efficient method for hand posture recognition using spatial histogram coding of nct coefficients
Ishikiriyama et al. 2017 An interactive virtual mirror to support makeup for visually impaired persons
Mandal et al. 2017 Spontaneous versus posed smiles—can we tell the difference?
Cabalfin et al. 2012 Filipino sign language recognition using manifold projection learning
Rani et al. 2014 Implementation of emotion detection system using facial expressions
Widanagamaachchi et al. 2009 Emotion recognition with image processing and neural networks
DateCodeTitleDescription
2011-08-05 A201 Request for examination
2012-07-27 E902 Notification of reason for refusal
2012-09-26 AMND Amendment
2013-02-25 E601 Decision to refuse application
2013-03-19 AMND Amendment
2013-04-24 X701 Decision to grant (after re-examination)
2013-05-10 GRNT Written decision to grant
2016-04-28 FPAY Annual fee payment

Payment date: 20160428

Year of fee payment: 4

2018-04-27 FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 6

2019-04-18 FPAY Annual fee payment

Payment date: 20190418

Year of fee payment: 7