Российские лингвисты предложили новый подход к описанию жестов рук при спонтанной речи

Новости

  • Структура мультиканальной организации. Источник: Андрей Кибрик
Ученые из Института языкознания РАН, подведомственного ФАНО России, и МГУ имени М.В. Ломоносова создали единую схему для обозначения всех компонентов, которые собеседники используют при общении: слов, жестов рук, движений головы, направления взора, мимики. Работа проходит в рамках проекта «Язык как он есть», поддержанного Российским научным фондом (РНФ). 

Авторы работают в области мультиканальной лингвистики — направления, основной задачей которого является исследование всего множества коммуникативных каналов, задействованных в речи. Коммуникативные каналы — это компоненты, которые люди используют параллельно при коммуникации. К ним относятся вербальный канал (слова), просодия (интонация, темп и громкость голоса), значимые движения рук, головы, лица, глаз. 

В рамках проекта был создан видеоресурс «Рассказы и разговоры о грушах», который основан на пересказах испытуемыми «Фильма о грушах», созданного известным американским лингвистом Уоллесом Чейфом. Ресурс включает серию записей естественной коммуникации между четырьмя участниками и совокупное описание вокальной (речь) и кинетической (движения) составляющих этих записей. Записи были сделаны при помощи оригинальных технических решений, включающих высококачественную аудио- и видеозапись, а также регистрацию движений глаз. 

В представленном докладе ученые подробно описали один из аспектов этого исследования, а именно аннотирование жестов рук — подробную запись с помощью системы обозначений. Движения рук говорящего, взятые в целом, представляют собой кинетический «фон», на котором ученые выделяют кинетические «фигуры». Среди них выделяются иллюстративные жесты, непосредственно связанные с содержанием речи. Например, можно руками изобразить геометрическую форму или траекторию движения. Ритмические жесты подчеркивают наиболее важные моменты дискуссии, а указательные жесты локализуют объект разговора в пространстве и времени. Формально жест определяется авторами как хорошо структурированное движение, для которого характерно явное усилие, четкая траектория, высокая амплитуда, заметное ускорение или замедление. Эти признаки являются основными критериями для деления жестикуляционного потока на отдельные его части. Важнейшая составляющая кинетического «фона» — это так называемые адапторы, то есть физиологически мотивированные движения, связанные с поиском более удобного положения и снятием телесного дискомфорта (поправить волосы, почесаться). 

В своей работе ученые предложили аннотационную схему — систему обозначений для каждого жеста и его части. Жест – центральное понятие такой схемы. Жесты далее объединяются в жестовые цепочки, а они сами состоят из отдельных фаз. Важнейшая фаза жеста — мах, в котором реализуется значение жеста; это единственная обязательная фаза жеста. Предложенная учеными схема ориентирована на среду ELAN — одну из наиболее известных программ для аннотирования движений. Важной отличительной особенностью этой программы является возможность многослойной покадровой аннотации видеофайлов. 

Авторы выделяют отдельные независимые, привязанные лишь к временной шкале, слои для жестовых цепочек, смены положений рук, жестов, фаз жестов и адапторов. Каждый слой представлен отдельно для правой и левой руки. Группа зависимых слоев, привязанных к слою жестов, позволяет более подробно описывать характеристики жеста, в том числе его рукость (термин, используемый для обозначения преобладания движения одной рукой или другой) и некоторые важные особенности, такие как наличие многократного маха или наложения соседнего жеста. 

Необходимо также отметить уникальную точность проводимой разметки: частота видеозаписи 100 кадров в секунду дает возможность осуществлять аннотацию с шагом всего в 10 миллисекунд. Проанализировав материал, ученые обнаружили значительные индивидуальные различия между жестикуляцией говорящих. В частности, одни люди постоянно переходят от жестикуляции к сериям адапторов и обратно, а другие, наоборот, между сериями жестов сохраняют неподвижность. Для описания различных движений авторы ввели понятие «жестикуляционного портрета». Этот портрет показывает, каковы типичные для данного говорящего человека скорость и амплитуда движений, естественные положение рук в покое, привычное количество адапторов, а также предпочтения в использовании при жестикуляции правой или левой руки. 

«Предлагаемая схема нацелена на согласованность аннотаций разных слоев между собой. Это отражает реальное положение дел в естественной коммуникации, где движения разных частей тела задействованы синхронно и направлены на передачу единого послания. Создаваемый на базе данной аннотационной схемы ресурс позволит проводить широкий круг исследований в области взаимодействия коммуникативных каналов у говорящего человека», — рассказал один из авторов доклада Андрей Кибрик, доктор филологических наук, директор Института языкознания РАН.

Дата публикации: 05.09.2017 09:12
Дата последнего изменения: 05.09.2017 09:12

Оформить подписку на периодическую рассылку информационных материалов официального сайта ФАНО России