Сравнение локальных дескрипторов при локализации контрольных точек на лице

Автор работы: Пользователь скрыл имя, 20 Мая 2013 в 15:50, статья

Описание

Локальные дескрипторы представляют собой вектора признаков, построенные по отдельным фрагментам изображения. Дескрипторы нашли успешное применение во многих областях: распознавание объектов, распознавание текстуры, поиск изображений, сравнение изображений, создание панорам, распределение объектов по категориям, интеллектуальный анализ видеоданных. Практически важный интерес представляет использование локальных дескрипторов для локализации контрольных точек на изображении лица человека в условиях наличия дополнительных факторов, таких, как отклонение ракурса головы от фронтального, изменение направления взгляда и пр. В данной статье приведены результаты исследования пригодности трех наиболее распространенных локальных дескрипторов для решения указанной задачи.

Работа состоит из  1 файл

Статья_final.docx

— 389.53 Кб (Скачать документ)

УДК 004.93

Сравнение локальных  дескрипторов при локализации контрольных  точек на лице

М.В.Жиденко1

 

1Студент, МГТУ им. Н.Э. Баумана, г. Москва, Россия

Научный руководитель: А.В. Самородов, к.т.н., доцент кафедры «Биомедицинские технические системы»

Ключевые  слова: локальный дескриптор, вектор признаков, локализация контрольных точек лица, local descriptor, feature vector, localization of facial points.

Аннотация: Данная статья посвящена краткому обзору и сравнению локальных дескрипторов, используемых для описания текстурных особенностей окрестности контрольных точек на изображениях. Рассмотрены дескрипторы на основе гауссовых фильтров, SIFT и самоподобных преобразований. Приведены результаты исследования качества локализации контрольных точек лица с использованием вышеперечисленных дескрипторов.

Введение

Локальные дескрипторы представляют собой вектора признаков, построенные  по отдельным фрагментам изображения. Дескрипторы нашли успешное применение во многих областях: распознавание объектов, распознавание текстуры, поиск изображений, сравнение изображений, создание панорам, распределение объектов по категориям, интеллектуальный анализ видеоданных. Практически важный интерес представляет использование локальных дескрипторов для локализации контрольных точек на изображении лица человека в условиях наличия дополнительных факторов, таких, как отклонение ракурса головы от фронтального, изменение направления взгляда и пр. В данной статье  приведены результаты исследования пригодности трех наиболее распространенных локальных дескрипторов для решения указанной задачи.

Локальные дескрипторы

  1. Вычисление первого локального дескриптора основано на алгоритме выделения локальных текстурных признаков в окрестности КТ с помощью фильтров Гаусса [1]. Фильтр представляет собой набор из 16-ти т.н. ядер, каждое из которых чувствительно только к одному из 16-ти направлений изменения текстуры и находится как разность между двумя функциями Гаусса, см. рисунок 1:

,

 

где - СКО, fk – угол поворота, , k=0..15, .

Рис 1. Вид функции Гаусса для различных направлений. а) угол f=0o, б) угол f=157.5o


Далее происходит вычисление свертки по всей области интереса по следующей формуле:

,

где Cij представляет собой набор цветовых параметров изображения.

В оригинальной работе [1] в качестве используемых цветовых параметров изображения лица рассматриваются «тон», «насыщенность» и «яркость», однако, как показали проведенные исследования данного алгоритма, достаточно использовать однотонное изображение с 256 градациями серого. Максимальный отклик среди 16-ти значений CEijfk определяет максимальное изменение локальной границы вокруг данной точки.

Вектор текстурных признаков  пикселя изображения состоит  из 49 элементов. На рисунке 2 показано, в каком виде рассматривается окрестность точки (Ψ= 22.5о), Каждый узел сетки – это результат свертки окрестности данного узла с описанным выше фильтром. Расстояния R0, R1 и R2 выбираются исходя из практических соображений.

Рис 2. Вычисление текстурных признаков контрольной точки


Сравнение вектора текстурных признаков текущей точки с шаблонным происходит путем вычисления меры K:

,

где Aij является значением свертки для j-ой ориентации в конкретной области для i-ой точки входного окна,

b – шаблонный вектор текстурных признаков,

rw – текущий вектор текстурных признаков,

 

Пороговое значение подобрано  эмпирически и принято равным 0,2. Чем выше полученное значение меры К, тем больше схожесть окрестности рассматриваемой точки с шаблонной, полученной при обучении.

  1. Следующий рассмотренный дескриптор основан на преобразовании SIFT [2] (Scale Invariant Feature Transform). Получаемые с помощью него признаки инвариантны относительно масштаба и поворота, устойчивы к ряду аффинных преобразований, шуму, изменению в освещении. Данный алгоритм можно разделить на две части: определение «точек интереса» и построение дескрипторов окрестностей данных точек. Существует несколько способов определения точек интереса. Алгоритм, предложенный в рамках SIFT, один из самых известных. Он заключается в построении и использования пирамиды Гаусса изображения. Все изображения из указанной пирамиды приводятся к одному размеру, и вычисляется их разность, как показано на Рисунке 3. В качестве кандидатов точек интереса выбираются только те пиксели, которые сильно отличаются от остальных. Их поиск осуществляется путем сравнения каждого пикселя изображения с несколькими соседними на данном масштабе, с несколькими соответствующими соседями в большем и меньшем масштабе (Рисунок 3). Пиксель выбирается в качестве точки интереса только в том случае, если значение его интенсивности является экстремумом.

 

Рис 3. Процесс нахождения точек интереса


Далее для каждой точки  интереса вычисляется локальный  дескриптор, характеризующий направление  градиентов в пикселях некоторой  его окрестности, как показано на рисунке 4.

Рис 4. Гистограммы градиентов Lowe (SIFT)


Основным недостатком  SIFT дескрипторов является их высокая размерность (128 значений на точку) и большое количество точек интереса на изображении. Для преодоления данного недостатка в работе [3] предложен метод PCA-SIFT, основанный на снижении размерности дескриптора с помощью метода главных компонент.

  1. Все вышеописанные локальные дескрипторы используют общую парадигму, заключающуюся в нахождении точек интереса и построении для каждой из них дескриптора, описывающего ее окрестность. Принципиально другой подход описан в работе [4]. Он основан на свойстве повторяемости (самоподобия) фрагментов на изображении, то есть на наблюдении, что небольшие фрагменты изображения имеют свойство повторяться на нем в том же или другом масштабе. Информация о такой повторяемости в пределах некоторой области изображения формирует так называемую геометрическую разметку. С помощью данной геометрической разметки формируются самоподобные локальные дескрипторы.

Процесс вычисления данного  дескриптора можно разбить на несколько этапов [4]:

  • Вычисление «поверхности расстояний». В качестве «эталона» используется область размером 5x5 пикселей вокруг рассматриваемой точки. С использованием данного эталона рассчитывается «сумма квадратов расстояний между значениями интенсивностей» (SSDq) по области размером 41x41 пикселей вокруг рассматриваемой точки.
  • Вычисление «корреляционной поверхности». Выполняется нормировка поверхности расстояний SSDq в соответствии с соотношением:

 

   

где varnoise – константа, которая указывает допустимые вариации (в цвете, освещении или допустимый шум); varauto(q) – зависит от контраста фрагмента и его структуры и определяется как максимальная разница между фрагментом с центром в q и фрагментами в центрах q1,..q8, где q1,..q8 соседи пикселя q. Отсчеты результирующей «корреляционной поверхности» рассчитываются как экспоненциальные значения :

.

  • Построение дескриптора. Полученная «корреляционная поверхность» разбивается на 20 секторов и 4 значения радиуса в логарифмических полярных координатах. В каждой области ищется максимум корреляционной поверхности, который является отсчетом дескриптора (рисунок 5).

Рисунок 5. Вычисление самоподобного локального дескриптора [4]


Мера подобия двух дескрипторов вычисляется по формуле, приведенной в работе [5]:

,

где SD – константная матрица ковариаций, которая определяет допустимое отклонение значений дескрипторов.

Тестирование  дескрипторов

Тестирование проводилось  на двух базах изображений. Одна из них – IMM Face Database [6]Ю – представляет собой набор фотографий 40 различных людей, снятых под разными ракурсами и при изменении освещении. Вторая – собранная в НИИЦ БТ МГТУ им. Н.Э. Баумана – видеофрагменты 4 разных людей, совершающих различные движения глазами и головой: моргание, взгляд вверх, влево и вправо, наклоны головы вперед и назад, отклонения головы вправо и влево, повороты головы вправо и влево. В качестве контрольных точек были выбраны внешние углы глаз, вершина носа, углы рта. Оценка проводилась путем вычисления евклидового расстояния между координатами найденных точек и размеченными вручную координатами. Для базы IMM обучение проводилось на изображении того же человека, снятого фронтально без эмоций. Для второй выборки обучение проводилось на первом кадре видеофрагмента для конкретного движения. Все алгоритмы реализованы в среде разработки Matlab. Результаты тестирования для IMM представлены в таблицах 1-3. Числовые значения, представленные в таблицах – евклидовы расстояния между найденными положениями контрольных точек и действительными, установленными визуально.

Таблица 1. Не нейтральное выражение лица (улыбка)

 

Правый глаз

Левый глаз

Правый угол рта

Левый угол рта

Все точки вместе

Гауссовы фильтры

3,42

3,18

6,04

4,84

17,48

SIFT

3,93

3,71

8,07

8,92

24,63

Самоподобный дескриптор

4,16

3,83

5,98

6,56

20,52


 

Таблица 2. Поворот головы вправо ~30-40о

 

Правый глаз

Левый глаз

Правый угол рта

Левый угол рта

Все точки вместе

Гауссовы фильтры

5,58

9,54

3,8

3,24

22,16

SIFT

7,65

10,32

8,95

8,48

35,39

Самоподобный дескриптор

4,67

9,65

5,61

3,6

23,54


 

Таблица 3. Изменение освещения

 

Правый глаз

Левый глаз

Правый угол рта

Левый угол рта

Все точки вместе

Гауссовы фильтры

2,99

2,62

2,78

2,52

10,9

SIFT

5,87

5,23

4,27

4,18

19,54

Самоподобный дескриптор

3,77

3,82

2,99

2,62

13,19


 

Результаты тестирования дескрипторов на второй базе изображений лица представлены в таблице 4.

Таблица 4. Результаты тестирования базы изображений с различными движениями.

Номер движения

SIFT

Гауссовы фильтры

Самоподобный дескриптор

Движение

1

22,31967

23,64445

23,20511

моргание

2

18,49111

20,26788

21,69701

взгляд вверх

3

17,33071

20,52258

19,20403

взгляд влево

4

17,58264

18,70621

19,20364

взгляд вправо

5

26,51935

37,58023

32,69188

отклонение головы вправо

6

25,74362

35,05964

33,76104

отклонение головы влево

7

42,98084

48,93646

50,78858

поворот головы вправо

8

47,21496

52,06191

50,61911

поворот головы влево

9

58,7592

64,26434

71,15198

наклон головы вперед

10

42,31121

48,54333

42,51209

наклон головы назад

Информация о работе Сравнение локальных дескрипторов при локализации контрольных точек на лице