В чем измеряется юзабилити? Точно не в попугаях (часть 2) Юзабилити Бюллетень. Выпуск № 20

www.romver.ru / Полный список статей / В чем измеряется юзабилити?

АБРАКАДАБРА (Тоже самое но в читаемом виде)

V pervoy 4asti stat'i ee avtor, doktor psixologi4eskix nauk i kandidat texni4eskix nauk A.N.Kostin, kritikuet uzabiliti-metriki po standartam ISO 9126-4 i ISO 9241-11.
Oni razmiti po soderjaniu, nepolni, 4asto ne sovpadaut mejdu soboy, a inogda protivore4ivi. Vo vtoroy 4asti stat'i avtor obosnovivaet neobxodimost' razrabotki novix metrik na novoy osnove.

Razrabotka uzabiliti-metrik

Dla adekvatnoy uzabiliti-ocenki i bolee polnogo u4eta psixologi4eskogo soderjania v uzabiliti-metrikax ix sleduet razrabativat' na osnove deatel'nostnogo podxoda. Sut' dannogo podxoda zaklu4aetsa v videlenii osobennostey razli4nix komponentov deatel'nosti, ee psixofiziologi4eskix, emocional'nix i li4nostnix aspektov, a takje vne6nix, rezul'tativnix i processual'nix pokazateley. Togda ocenka uzabiliti produkta budet isxodit' ne iz ego formal'nix svoystv, a iz pokazateley deatel'nosti pol'zovatela pri rabote s produktom.

2.1. Gruppi metrik i ix nazna4enie

Po analogii s ISO 9126-4 uzabiliti metriki predlagaetsa razdelit' na 4 gruppi, no s opredelennimi korrektivami. Vo-pervix, v nazvanie kajdoy gruppi dla opredelennosti vveden termin «deatel'nost'». Vo-vtorix, izmeneno nazvanie vtoroy gruppi, tak kak zatrati na deatel'nost' adekvatno otrajaet ponatie «Ekonomi4nost'» (kak v ISO 9241-11), a ne «Produktivnost'» (kak v ISO 9126-4), kotoroe po smislu malo otli4imo ot ponatia «Effektivnost'». V-tret'ix, gruppu «Bezopasnost'», kotoraa soderjitsa v ISO 9126-4 i otsutstvuet v ISO 9241-11, celesoobrazno dopolnit' metrikami, xarakterizuu6imi nadejnost' deatel'nosti pol'zovateley. V itoge polu4autsa sleduu6ie gruppi uzabiliti metrik (sm. tabl. 3).

Tablica 3

PERE4EN' I SODERJANIE GRUPP UZABILITI METRIK

№	Nazvanie gruppi	Soderjanie gruppi
1	Effektivnost' deatel'nosti	Metriki otrajaut razli4nie aspekti rezul'tativnosti deatel'nosti.
2	Ekonomi4nost' deatel'nosti	Metriki ocenivautzatrati na deatel'nost' t.e. resursi pol'zovatela, zatra4ivaemie na deatel'nost'.
3	Nadejnost' i bezopasnost' deatel'nosti	Metriki napravleni na ocenku ustoy4ivosti vipolnenia, riskov i vozmojnix opasnix posledstviy deatel'nosti.
4	Udovletvorennost' deatel'nost'u	Metriki raskrivaut razli4nie aspektiotno6eniy pol'zovatela k produktu.

Dla bol'6ey opredelennosti i raznostoronnosti ocenok metriki kajdoy gruppi razdeleni na texnologi4eskuu i psixologi4eskuu podgruppi. Metriki texnologi4eskoy podgruppi otrajaut aspekti deatel'nosti pol'zovatela, svazannie so svoystvami produkta, a metriki psixologi4eskoy podgruppi – s osobennostami psixologi4eskix processov deatel'nosti.

Tak, v pervoy gruppe «Effektivnost' deatel'nosti» texnologi4eskuu storonu mogut otrajat' metriki, raskrivau6ie razli4nie aspekti rezul'tativnosti deatel'nosti, a psixologi4eskuu – effektivnosti komponentov deatel'nosti. Vo vtoroy gruppe «Ekonomi4nost' deatel'nosti» ukazannie podgruppi mogut otrajat' processual'nie i psixologi4eskie zatrati. Tret'a gruppa «Nadejnost' i bezopasnost' deatel'nosti» mojet bit' razdelena na rezul'tativnuu i psixologi4eskuu nadejnost' i bezopasnost'. V posledney 4etvertoy gruppe «Udovletvorennost' deatel'nost'u» mojno videlit' podgruppi udovletvorennosti svoystvami produkta» i li4nostnoy udovletvorennosti. Pere4en' polu4iv6ixsa podgrupp priveden v tablice 4.

Tablica 4

PERE4EN' I SODERJANIE PODGRUPP UZABILITI METRIK

№	Gruppa metrik	Texnologi4eskaa podgruppa	Psixologi4eskaa podgruppa
1	Effektivnost' deatel'nosti	Rezul'tativnost'	Psixologi4eskaa effektivnost'
2	Ekonomi4nost' deatel'nosti	Processual'nie zatrati	Psixologi4eskie zatrati
3	Nadejnost' i bezopasnost' deatel'nosti	Rezul'tativnaa nadejnost' i bezopasnost'	Psixologi4eskaa nadejnost' i bezopasnost'
4	Udovletvorennost' deatel'nost'u	Udovletvorennost' svoystvami produkta	Li4nostnaa udovletvorennost'

2.2. Razrabotka uzabiliti-metrik

Razrabotannie metriki predstavlaut soboy pokazateli deatel'nosti, raskrivau6ie soderjanie kajdoy iz vvedennix podgrupp.

Dla pervoy gruppi «Effektivnost' deatel'nosti» v podgruppu «Rezul'tativnost'» vxodat metriki, otrajau6ie uspe6nost' deatel'nosti, ee operativnost' i konkretnie parametri rezul'tativnosti; v podgruppu «Psixologi4eskaa effektivnost'» – metriki, svazannie s effektivnost'u osnovnix komponentov deatel'nosti (analiza informacii, prinatia re6eniy, planirovania, ispolnitel'nimi deystviami).

Vo vtoroy gruppe «Ekonomi4nost' deatel'nosti» podgruppu «Processual'nie zatrati» obrazuut metriki, svazannie s konkretnimi vidami zatrat na vipolnenie deatel'nosti i ee obespe4eniem; podgruppu «Psixologi4eskie zatrati» – metriki sub&ektivnoy slojnosti, trudoemkosti, psixofiziologi4eskix i emocional'nix zatrat.

V tret'ey gruppe «Nadejnost' i bezopasnost' deatel'nosti» podgruppa «Rezul'tativnaa nadejnost' i bezopasnost'» vklu4aet metriki stabil'nosti deatel'nosti, o6ibo4nosti deystviy, kompensacii o6ibok i riska deatel'nosti; podgruppa «Psixologi4eskaa nadejnost' i bezopasnost'» – metriki uverennosti, sosredoto4ennosti i otvetstvennosti za deatel'nost'.

V 4etvertoy gruppe «Udovletvorennost' deatel'nost'u» podgruppu «Udovletvorennost' svoystvami produkta» sostavlaut metriki udovletvorennosti funkcional'nost'u i ka4estvom produkta, potrebnosti v nem i ego adekvatnosti re6aemim zada4am, udobstva predstavlenia informacii, upravlenia, interfeysa v celom i razli4nix funkcional'nostey, udovletvorennosti algoritmom deatel'nosti i avtomatizaciey. I, nakonec, v podgruppu «Li4nostnaa udovletvorennost'» vxodat metriki udovletvorennosti xarakterom deatel'nosti, esteti4eskoy udovletvorennosti, virajennosti pozitivnix emociy i social'noy udovletvorennosti.

Metriki uzabiliti dla kajdoy gruppi i podgruppi privedeni v tablice 5. Dla kajdoy metriki v skobkax ukazivaetsa ka4estvennaa 6kala ocenki, a ee smisl raskrivaetsa v grafe soderjania.

Tablica 5

PERE4EN' UZABILITI-METRIK

№	Nazvanie metrik	Soderjanie metrik
1. Gruppa Effektivnost' deatel'nosti
	PodgruppaRezul'tativnost'
1	Uspe6nost' (visokaa – nizkaa)	Stepen' dostijenia celey deatel'nosti
2	Operativnost' (visokaa – nizkaa	Stepen' otsutstvia vinujdennix zaderjek vipolnenia deatel'nosti
3	Koli4estvennie pokazateli rezul'tativnosti deatel'nosti (visokie – nizkie)	Otnositel'nie rezul'tativnie pokazateli, kotorie vvodatsa v zavisimosti ot vida zada4i (naprimer, vrema vipolnenia, koli4estvo produkcii, to4nost' i t.p. po otno6eniu k norme)
	Podgruppa Psixologi4eskaa effektivnost'
4	Effektivnost' analiza informacii(visokaa – nizkaa)	Stepen' adekvatnosti, polnoti i svoevremennosti ocenki voznikau6ix situaciy
5	Effektivnost' re6eniy (visokaa – nizkaa)	Stepen' pravil'nosti, polnoti i svoevremennosti prinatia re6eniy
6	Effektivnost' planirovania (visokaa – nizkaa)	Mas6tab, detal'nost' i gibkost' planirovania vipolnenia zada4
7	Effektivnost' ispolnitel'nix deystviy (visokaa – nizkaa)	Stepen' pravil'nosti, svoevremennosti i to4nosti ispolnitel'nix deystviy
2. Gruppa Ekonomi4nost' deatel'nosti
	Podgruppa Processual'nie zatrati
1	Koli4estvennie pokazateli zatrat na vipolnenie deatel'nosti (visokie – nizkie)	Otnositel'nie pokazateli zatrat, kotorie vvodatsa v zavisimosti ot vida zada4i (naprimer, vrema vipolnenia, koli4estvo operaciy i t.p. po otno6eniu k analogi4noy zada4e)
2	Ispol'zovanie dopolnitel'noy informacii (visokoe – nizkoe)	4astota i otnositel'noe vrema poiska dopolnitel'noy informacii (v.t.4. spravo4noy)
3	Vipolnenie povtornix ili dopolnitel'nix operaciy (veliko – malo)	4astota i otnositel'noe vrema vipolnenia povtornix ili dopolnitel'nix operaciy
4	Zatrati na obu4enie (veliki – mali)2.4	Otnositel'nie zatrati vremeni i sredstv na teoreti4eskuu podgotovku i prakti4eskoe osvoenie deatel'nosti po sravneniu s analogi4nimi po slojnosti produktami
	Podgruppa Psixologi4eskie zatrati
5	Sub&ektivnaa slojnost' deatel'nosti (visokaa – nizkaa)	Stepen' zatrudneniy pri vipolnenii deatel'nosti
6	Trudoemkost' deatel'nosti (visokaa – nizkaa)	Stepen' zanatosti ispolnitel'nimi deystviami
7	Psixofiziologi4eskaa cena deatel'nosti (visokaa – nizkaa)	Stepen' ustalosti, utomlenia, boleznennix o6u6eniy i t.d., voznikau6ix pri rabote s produktom
8	Virajennost' negativnix emociy (visokaa – nizkaa)	4astota i otnositel'naa dlitel'nost' proavlenia reakciy razdrajenia, nedovol'stva, 4uvstva gneva, tupika, bezisxodnosti i t.p.
3. Gruppa Nadejnost' i bezopasnost' deatel'nosti
	Podgruppa Rezul'tativnaa nadejnost' i bezopasnost'
1	Stabil'nost' vipolnenia deatel'nosti (visokaa – nizkaa)	Stepen' povtoraemosti dostijenia celey i rezul'tatov deatel'nosti
2	O6ibo4nost' deystviy (visokaa – nizkaa)	4astota i otnositel'noe koli4estvo dopuskaemix o6ibok
3	Kompensacia o6ibok (visokaa – nizkaa)	Vozmojnost' i otnositel'noe vrema ispravlenia pol'zovatelem dopu6ennix o6ibok
4	Risk deatel'nosti (visokiy – nizkiy)	Vozmojnost' sozdania opasnix situaciy (poteri dannix, sboa v rabote produkta i t.p.) v rezul'tate deystviy pol'zovatela
	Podgruppa Psixologi4eskaa nadejnost' i bezopasnost'
5	Uverennost' v deatel'nosti (visokaa – nizkaa)	Stepen' spokoystvia i energi4nosti pri rabote s produktom
6	Sosredoto4ennost' na deatel'nosti (visokaa – nizkaa)	Stepen' koncentracii vnimania na re6aemoy zada4e
7	Otvetstvennost' za deatel'nost'(visokaa – nizkaa)	Stepen' ostorojnosti, t6atel'nosti i produmannosti pri rabote s produktom
4. Gruppa Udovletvorennost' deatel'nost'u
	Podgruppa Udovletvorennost' svoystvami produkta
1	Udovletvorennost' funkcional'nost'u produkta (visokaa – nizkaa)	Otno6enie k nazna4eniu i poleznosti produkta
2	Udovletvorennost' ka4estvom produkta (visokaa – nizkaa)	Otno6enie k razli4nim aspekta ka4estva: effektivnosti, nadejnosti funkcionirovania, bezopasnosti ispol'zovania, bistrodeystviu, processu osvoenia (obu4enia) produkta i t.d.
3	Potrebnost' v produkte (visokaa – nizkaa)	Otno6enie k neobxodimosti i celesoobraznosti ispol'zovania produkta
4	Adekvatnost' produkta (visokaa – nizkaa)	Sub&ektivnaa ocenka sootvetstvia osobennostey produkta re6aemim zada4am
5	Udobstvo predstavlenia informacii (visokoe – nizkoe)	Sub&ektivnaa ocenka privlekatel'nosti strukturi i formi predstavlenia informacii v produkte
6	Udobstvo upravlenia (visokoe – nizkoe)	Sub&ektivnaa ocenka sover6enstva sredstv upravlenia, vvoda i korrektirovki dannix v produkte
7	Udovletvorennost' algoritmom deatel'nosti (visokaa – nizkaa)	Sub&ektivnaa ocenka optimal'nosti algoritma deatel'nosti pol'zovatela pri vipolnenii zada4i
8	Udovletvorennost' avtomatizaciey (visokaa – nizkaa)	Otno6enie k predskazuemosti processa funkcionirovania produkta
	Podgruppa Li4nostnaa udovletvorennost'
9	Udovletvorennost' xarakterom deatel'nosti (visokaa – nizkaa)	Otno6enie k xarakteru deatel'nosti pri rabote s produktom (ispolnitel'skaa ili tvor4eskaa, interesnaa ili rutinnaa i t.p.)
10	Esteti4eskaa udovletvorennost' (visokaa – nizkaa)	Otno6enie k esteti4eskim svoystvam produkta (krasiviy, iza6niy, elegantniy ili nekrasiviy, grubiy, bezobrazniy i t.p.)
11	Virajennost' pozitivnix emociy (visokaa – nizkaa)	4astota i otnositel'naa dlitel'nost' proavlenia reakciy udovol'stvia, udovletvorennosti, vostorga, 4uvstva radosti i t.p. pri rabote s produktom
12	Social'naa udovletvorennost' (visokaa – nizkaa)	Sub&ektivnaa ocenka social'nix aspektov deatel'nosti pri rabote s produktom (li4noy professional'noy zna4imosti, svoey roli v kollektivnom raspredelenii zada4, xaraktera vzaimodeystvia s drugimi sotrudnikami i t.p.)

Bezuslovno, privedenniy pere4en' ne avlaetsa jestkim, metriki mogut dopolnat'sa i uto4nat'sa. Tem ne menee dostato4naa obob6ennost' metrik obespe4ivaet polnocennoe sravnenie rezul'tatov razli4nix issledovaniy, 4to otve4aet trebovaniam standartizacii.

Kak i v su6estvuu6ix standartax nekotorie metriki avlautsa ob6imi, universal'nimi, nekotorie – 4astnimi. Poetomu v zavisimosti ot celi issledovania dopuskaetsa ispol'zovanie tol'ko 4asti iz privedennix metrik. V to je vrema v lubom testirovanii celesoobrazno ispol'zovat' vse 4etire gruppi metrik, a v kajdoy gruppe – kak texnologi4eskie, tak i psixologi4eskie kriterii. Pri etom doljen sobludat'sa osnovnoy princip: 4em slojnee produkt, tem bol'6e doljen bit' ispol'zuemiy nabor metrik.

Naibolee nagladnoy formoy predstavlenia rezul'tatov mojet bit' profili ocenok po raznim metrikam. Eto pozvolit legko sravnivat' rezul'tati raznix pol'zovateley ili produktov, a takje videlat' pozitivnie i negativnie ocenki. Pri etom nizkie ocenki testirovania doljni soprovojdat'sa ob&asneniem obuslavlivau6ix ix pri4in. V slu4ae ispol'zovania anketirovania takoe ob&asnenie celesoobrazno polu4at' v xode besedi s pol'zovatelem, pri naludenii i ekspertnoy ocenki – videlenie pri4in osu6estvlaetsa samim ekspertom.

3. Metodi testirovania

Metriki pervoy gruppi mogut ocenivat'sa metodami nabludenia, xronometraja, ocenki rezul'tativnix pokazateley (pri vozmojnosti), ekspertnoy ocenki.

Metriki vtoroy gruppi ocenivautsa metodami nabludenia, oprosa, anketirovania, psixofiziologi4eskimi metodami (4asti4no).

Dla ocenki metrik tret'ey gruppi vozmojno ispol'zovanie nabludenia i ekspertnoy ocenki.

4etvertaa gruppa metrik opredelaetsa v osnovnom metodom oprosa i anketirovania (metriki na osnove emocional'nix sostoaniy ocenivautsa posredstvom nabludenia).

V svazi s tem, 4to vse metriki imeut dostato4no 4etkoe soderjanie, ix ka4estvennaa ocenka ne predstavlaet osobix trudnostey, xota eto i trebuet razrabotki konkretnix procedur i blankov nabludenia, ekspertnoy ocenki, a takje voprosnikov. V toje vrema dla to4nix koli4estvennix ocenok rada metrik neobxodimi special'nie psixofiziologi4eskie metodi.

Vivodi

Razrabotka uzabiliti-metrik na osnove deatel'nostnogo podxoda pozvolaet logi4eski uporado4it' kak ix smislovie gruppi, tak i sami metriki.
Razdelenie metrik v kajdoy gruppe na dve podgruppi – texnologi4eskie i psixologi4eskie – pozvolaet povisit' raznostoronnost' i soderjatel'nost' ocenki.
Vozmojnost' 4asti4nogo ispol'zovania metrik obespe4it gibkost' procedur testirovania v zavisimosti ot ego celey.
Opredelena primernaa vzaimosvaz' mejdu metrikami i metodami testirovania. Dla prakti4eskoy realizacii metrik neobxodima razrabotka konkretnix procedur, blankov i anket.
Dostato4naa obob6ennost' metrik obespe4ivaet polnocennoe sravnenie rezul'tatov razli4nix issledovaniy, 4to otve4aet trebovaniam standartizacii. Poetomu polu4ennie rezul'tati mogut stat' osnovoy dla korrektirovki su6estvuu6ix mejdunarodnix standartov v 4asti uzabiliti metrik.

OB AVTORE:

Anatoliy Nikolaevi4 Kostin – doktor psixologi4eskix nauk i kandidat texni4eskix nauk. Nau4niy rukovoditel' UsabilityLab. Star6iy nau4niy sotrudnik Instituta Psixologii RAN. Avtor principa vzaimnogo rezervirovania pri raspredelenii funkciy mejdu 4elovekom i avtomatikoy. Razrabot4ik metoda taksonomii mejsakkadi4eskix intervalov dvijeniy glaz, pozvolau6ego provodit' avtomati4eskuu ocenku deatel'nosti programmnim obrazom v real'nom vremeni.

upa.org.ru/UsabilityBulletin-20.aspx?EntryID=745