В чем измеряется юзабилити? Точно не в попугаях (часть 2) Юзабилити Бюллетень. Выпуск № 20

Полный список статей / В чем измеряется юзабилити? / Версия для печати / translit / абракадабра :-)

В первой части статьи ее автор, доктор психологических наук и кандидат технических наук А.Н.Костин, критикует юзабилити-метрики по стандартам ISO 9126-4 и ISO 9241-11.
Они размыты по содержанию, неполны, часто не совпадают между собой, а иногда противоречивы. Во второй части статьи автор обосновывает необходимость разработки новых метрик на новой основе.

Разработка юзабилити-метрик

Для адекватной юзабилити-оценки и более полного учета психологического содержания в юзабилити-метриках их следует разрабатывать на основе деятельностного подхода. Суть данного подхода заключается в выделении особенностей различных компонентов деятельности, ее психофизиологических, эмоциональных и личностных аспектов, а также внешних, результативных и процессуальных показателей. Тогда оценка юзабилити продукта будет исходить не из его формальных свойств, а из показателей деятельности пользователя при работе с продуктом.

2.1. Группы метрик и их назначение

По аналогии с ISO 9126-4 юзабилити метрики предлагается разделить на 4 группы, но с определенными коррективами. Во-первых, в название каждой группы для определенности введен термин «деятельность». Во-вторых, изменено название второй группы, так как затраты на деятельность адекватно отражает понятие «Экономичность» (как в ISO 9241-11), а не «Продуктивность» (как в ISO 9126-4), которое по смыслу мало отличимо от понятия «Эффективность». В-третьих, группу «Безопасность», которая содержится в ISO 9126-4 и отсутствует в ISO 9241-11, целесообразно дополнить метриками, характеризующими надежность деятельности пользователей. В итоге получаются следующие группы юзабилити метрик (см. табл. 3).

Таблица 3

ПЕРЕЧЕНЬ И СОДЕРЖАНИЕ ГРУПП ЮЗАБИЛИТИ МЕТРИК

№	Название группы	Содержание группы
1	Эффективность деятельности	Метрики отражают различные аспекты результативности деятельности.
2	Экономичность деятельности	Метрики оцениваютзатраты на деятельность т.е. ресурсы пользователя, затрачиваемые на деятельность.
3	Надежность и безопасность деятельности	Метрики направлены на оценку устойчивости выполнения, рисков и возможных опасных последствий деятельности.
4	Удовлетворенность деятельностью	Метрики раскрывают различные аспектыотношений пользователя к продукту.

Для большей определенности и разносторонности оценок метрики каждой группы разделены на технологическую и психологическую подгруппы. Метрики технологической подгруппы отражают аспекты деятельности пользователя, связанные со свойствами продукта, а метрики психологической подгруппы – с особенностями психологических процессов деятельности.

Так, в первой группе «Эффективность деятельности» технологическую сторону могут отражать метрики, раскрывающие различные аспекты результативности деятельности, а психологическую – эффективности компонентов деятельности. Во второй группе «Экономичность деятельности» указанные подгруппы могут отражать процессуальные и психологические затраты. Третья группа «Надежность и безопасность деятельности» может быть разделена на результативную и психологическую надежность и безопасность. В последней четвертой группе «Удовлетворенность деятельностью» можно выделить подгруппы удовлетворенности свойствами продукта» и личностной удовлетворенности. Перечень получившихся подгрупп приведен в таблице 4.

Таблица 4

ПЕРЕЧЕНЬ И СОДЕРЖАНИЕ ПОДГРУПП ЮЗАБИЛИТИ МЕТРИК

№	Группа метрик	Технологическая подгруппа	Психологическая подгруппа
1	Эффективность деятельности	Результативность	Психологическая эффективность
2	Экономичность деятельности	Процессуальные затраты	Психологические затраты
3	Надежность и безопасность деятельности	Результативная надежность и безопасность	Психологическая надежность и безопасность
4	Удовлетворенность деятельностью	Удовлетворенность свойствами продукта	Личностная удовлетворенность

2.2. Разработка юзабилити-метрик

Разработанные метрики представляют собой показатели деятельности, раскрывающие содержание каждой из введенных подгрупп.

Для первой группы «Эффективность деятельности» в подгруппу «Результативность» входят метрики, отражающие успешность деятельности, ее оперативность и конкретные параметры результативности; в подгруппу «Психологическая эффективность» – метрики, связанные с эффективностью основных компонентов деятельности (анализа информации, принятия решений, планирования, исполнительными действиями).

Во второй группе «Экономичность деятельности» подгруппу «Процессуальные затраты» образуют метрики, связанные с конкретными видами затрат на выполнение деятельности и ее обеспечением; подгруппу «Психологические затраты» – метрики субъективной сложности, трудоемкости, психофизиологических и эмоциональных затрат.

В третьей группе «Надежность и безопасность деятельности» подгруппа «Результативная надежность и безопасность» включает метрики стабильности деятельности, ошибочности действий, компенсации ошибок и риска деятельности; подгруппа «Психологическая надежность и безопасность» – метрики уверенности, сосредоточенности и ответственности за деятельность.

В четвертой группе «Удовлетворенность деятельностью» подгруппу «Удовлетворенность свойствами продукта» составляют метрики удовлетворенности функциональностью и качеством продукта, потребности в нем и его адекватности решаемым задачам, удобства представления информации, управления, интерфейса в целом и различных функциональностей, удовлетворенности алгоритмом деятельности и автоматизацией. И, наконец, в подгруппу «Личностная удовлетворенность» входят метрики удовлетворенности характером деятельности, эстетической удовлетворенности, выраженности позитивных эмоций и социальной удовлетворенности.

Метрики юзабилити для каждой группы и подгруппы приведены в таблице 5. Для каждой метрики в скобках указывается качественная шкала оценки, а ее смысл раскрывается в графе содержания.

Таблица 5

ПЕРЕЧЕНЬ ЮЗАБИЛИТИ-МЕТРИК

№	Название метрик	Содержание метрик
1. Группа Эффективность деятельности
	ПодгруппаРезультативность
1	Успешность (высокая – низкая)	Степень достижения целей деятельности
2	Оперативность (высокая – низкая	Степень отсутствия вынужденных задержек выполнения деятельности
3	Количественные показатели результативности деятельности (высокие – низкие)	Относительные результативные показатели, которые вводятся в зависимости от вида задачи (например, время выполнения, количество продукции, точность и т.п. по отношению к норме)
	Подгруппа Психологическая эффективность
4	Эффективность анализа информации(высокая – низкая)	Степень адекватности, полноты и своевременности оценки возникающих ситуаций
5	Эффективность решений (высокая – низкая)	Степень правильности, полноты и своевременности принятия решений
6	Эффективность планирования (высокая – низкая)	Масштаб, детальность и гибкость планирования выполнения задач
7	Эффективность исполнительных действий (высокая – низкая)	Степень правильности, своевременности и точности исполнительных действий
2. Группа Экономичность деятельности
	Подгруппа Процессуальные затраты
1	Количественные показатели затрат на выполнение деятельности (высокие – низкие)	Относительные показатели затрат, которые вводятся в зависимости от вида задачи (например, время выполнения, количество операций и т.п. по отношению к аналогичной задаче)
2	Использование дополнительной информации (высокое – низкое)	Частота и относительное время поиска дополнительной информации (в.т.ч. справочной)
3	Выполнение повторных или дополнительных операций (велико – мало)	Частота и относительное время выполнения повторных или дополнительных операций
4	Затраты на обучение (велики – малы)2.4	Относительные затраты времени и средств на теоретическую подготовку и практическое освоение деятельности по сравнению с аналогичными по сложности продуктами
	Подгруппа Психологические затраты
5	Субъективная сложность деятельности (высокая – низкая)	Степень затруднений при выполнении деятельности
6	Трудоемкость деятельности (высокая – низкая)	Степень занятости исполнительными действиями
7	Психофизиологическая цена деятельности (высокая – низкая)	Степень усталости, утомления, болезненных ощущений и т.д., возникающих при работе с продуктом
8	Выраженность негативных эмоций (высокая – низкая)	Частота и относительная длительность проявления реакций раздражения, недовольства, чувства гнева, тупика, безысходности и т.п.
3. Группа Надежность и безопасность деятельности
	Подгруппа Результативная надежность и безопасность
1	Стабильность выполнения деятельности (высокая – низкая)	Степень повторяемости достижения целей и результатов деятельности
2	Ошибочность действий (высокая – низкая)	Частота и относительное количество допускаемых ошибок
3	Компенсация ошибок (высокая – низкая)	Возможность и относительное время исправления пользователем допущенных ошибок
4	Риск деятельности (высокий – низкий)	Возможность создания опасных ситуаций (потери данных, сбоя в работе продукта и т.п.) в результате действий пользователя
	Подгруппа Психологическая надежность и безопасность
5	Уверенность в деятельности (высокая – низкая)	Степень спокойствия и энергичности при работе с продуктом
6	Сосредоточенность на деятельности (высокая – низкая)	Степень концентрации внимания на решаемой задаче
7	Ответственность за деятельность(высокая – низкая)	Степень осторожности, тщательности и продуманности при работе с продуктом
4. Группа Удовлетворенность деятельностью
	Подгруппа Удовлетворенность свойствами продукта
1	Удовлетворенность функциональностью продукта (высокая – низкая)	Отношение к назначению и полезности продукта
2	Удовлетворенность качеством продукта (высокая – низкая)	Отношение к различным аспекта качества: эффективности, надежности функционирования, безопасности использования, быстродействию, процессу освоения (обучения) продукта и т.д.
3	Потребность в продукте (высокая – низкая)	Отношение к необходимости и целесообразности использования продукта
4	Адекватность продукта (высокая – низкая)	Субъективная оценка соответствия особенностей продукта решаемым задачам
5	Удобство представления информации (высокое – низкое)	Субъективная оценка привлекательности структуры и формы представления информации в продукте
6	Удобство управления (высокое – низкое)	Субъективная оценка совершенства средств управления, ввода и корректировки данных в продукте
7	Удовлетворенность алгоритмом деятельности (высокая – низкая)	Субъективная оценка оптимальности алгоритма деятельности пользователя при выполнении задачи
8	Удовлетворенность автоматизацией (высокая – низкая)	Отношение к предсказуемости процесса функционирования продукта
	Подгруппа Личностная удовлетворенность
9	Удовлетворенность характером деятельности (высокая – низкая)	Отношение к характеру деятельности при работе с продуктом (исполнительская или творческая, интересная или рутинная и т.п.)
10	Эстетическая удовлетворенность (высокая – низкая)	Отношение к эстетическим свойствам продукта (красивый, изящный, элегантный или некрасивый, грубый, безобразный и т.п.)
11	Выраженность позитивных эмоций (высокая – низкая)	Частота и относительная длительность проявления реакций удовольствия, удовлетворенности, восторга, чувства радости и т.п. при работе с продуктом
12	Социальная удовлетворенность (высокая – низкая)	Субъективная оценка социальных аспектов деятельности при работе с продуктом (личной профессиональной значимости, своей роли в коллективном распределении задач, характера взаимодействия с другими сотрудниками и т.п.)

Безусловно, приведенный перечень не является жестким, метрики могут дополняться и уточняться. Тем не менее достаточная обобщенность метрик обеспечивает полноценное сравнение результатов различных исследований, что отвечает требованиям стандартизации.

Как и в существующих стандартах некоторые метрики являются общими, универсальными, некоторые – частными. Поэтому в зависимости от цели исследования допускается использование только части из приведенных метрик. В то же время в любом тестировании целесообразно использовать все четыре группы метрик, а в каждой группе – как технологические, так и психологические критерии. При этом должен соблюдаться основной принцип: чем сложнее продукт, тем больше должен быть используемый набор метрик.

Наиболее наглядной формой представления результатов может быть профили оценок по разным метрикам. Это позволит легко сравнивать результаты разных пользователей или продуктов, а также выделять позитивные и негативные оценки. При этом низкие оценки тестирования должны сопровождаться объяснением обуславливающих их причин. В случае использования анкетирования такое объяснение целесообразно получать в ходе беседы с пользователем, при налюдении и экспертной оценки – выделение причин осуществляется самим экспертом.

3. Методы тестирования

Метрики первой группы могут оцениваться методами наблюдения, хронометража, оценки результативных показателей (при возможности), экспертной оценки.

Метрики второй группы оцениваются методами наблюдения, опроса, анкетирования, психофизиологическими методами (частично).

Для оценки метрик третьей группы возможно использование наблюдения и экспертной оценки.

Четвертая группа метрик определяется в основном методом опроса и анкетирования (метрики на основе эмоциональных состояний оцениваются посредством наблюдения).

В связи с тем, что все метрики имеют достаточно четкое содержание, их качественная оценка не представляет особых трудностей, хотя это и требует разработки конкретных процедур и бланков наблюдения, экспертной оценки, а также вопросников. В тоже время для точных количественных оценок ряда метрик необходимы специальные психофизиологические методы.

Выводы

Разработка юзабилити-метрик на основе деятельностного подхода позволяет логически упорядочить как их смысловые группы, так и сами метрики.
Разделение метрик в каждой группе на две подгруппы – технологические и психологические – позволяет повысить разносторонность и содержательность оценки.
Возможность частичного использования метрик обеспечит гибкость процедур тестирования в зависимости от его целей.
Определена примерная взаимосвязь между метриками и методами тестирования. Для практической реализации метрик необходима разработка конкретных процедур, бланков и анкет.
Достаточная обобщенность метрик обеспечивает полноценное сравнение результатов различных исследований, что отвечает требованиям стандартизации. Поэтому полученные результаты могут стать основой для корректировки существующих международных стандартов в части юзабилити метрик.

ОБ АВТОРЕ:

Анатолий Николаевич Костин – доктор психологических наук и кандидат технических наук. Научный руководитель UsabilityLab. Старший научный сотрудник Института Психологии РАН. Автор принципа взаимного резервирования при распределении функций между человеком и автоматикой. Разработчик метода таксономии межсаккадических интервалов движений глаз, позволяющего проводить автоматическую оценку деятельности программным образом в реальном времени.

upa.org.ru/UsabilityBulletin-20.aspx?EntryID=745