www.romver.ru / Полный список статей / Как проводить эвристическую оценку.

Ris. 1

Illustracia pokazivaet, kakoy iz u4astnikov testirovania bankovskoy sistemi kakuu problemu na6el. Kajdiy rad tablici sootvetstvuet odnomu iz 19 u4astnikov testa, a kajdiy stolbec - odnoy iz 16 obnarujennix problem. Kajdiy kvadratik pokazivaet, kakuu iz problem obnarujil tot ili inoy u4astnik: esli kvadratik 4erniy - u4astnik obnarujil etu problemu, esli beliy - ne obnarujil. Radi tablici vistroeni tak, 4to samie uspe6nie u4astniki testa naxodatsa vnizu, a samie neuda4nie - vverxu. Stolbci tablici bili vistroeni tak, 4to problemi, kotorie leg4e vsego bilo nayti, raspolagautsa sprava, a samie trudnie problemi - sleva.

Kak eto delaetsa

Vo vrema provedenia evristi4eskoy ocenki kajdiy u4astnik vipolnaet svou rabotu individual'no. Tol'ko posle togo, kak vse u4astniki zakon4at vipolnenie raboti, im razre6aetsa pogovorit' drug s drugom i ob&edinit' polu4ennie svedenia. O4en' vajno sobludat' imenno takoy poradok, 4tobi polu4it' v rezul'tate nezavisimie i nepredvzatie ocenki ot kajdogo u4astnika. Rezul'tati ocenok libo zapisivautsa na bumage v vide ot4etov ot kajdogo u4astnika, libo izlagautsa ustno kajdim u4astnikom vo vrema vipolnenia testa. Pis'mennie ot4eti xoro6i tem, 4to avlautsa formal'noy zapis'u rezul'tatov ocenki, no na ix sostavlenie trebuutsa dopolnitel'nie usilia ot u4astnika testa, i neobxodimo vrema rukovoditela testa na ix pro4tenie i svedenie. Esli je ot4et vedetsa ustno, v kajdom teste trebuetsa nabludatel' dla zapisi kommentariev, no blagodara etomu snimaetsa nagruzka s samix u4astnikov testa. Krome togo, rezul'tati testov mojno polu4it' po4ti srazu posle okon4ania poslednego testa. Zaderjka svazana s tem, 4to nabludatelu samomu nujno vrema na prosmotr i svedenie svoix li4nix zapisey. Tem ne menee na eto uydet men'6e vremeni, 4em na napisanie ot4eta kajdim iz u4astnikov testa. Pomimo etogo nabludatel' mojet pomo4' u4astnikam v rabote s interfeysom v slu4ae vozniknovenia problem, naprimer, v slu4ae s nestabil'nim prototipom, libo pomo4' u4astnikam, esli u nix otsutstvuut neobxodimie znania dla raboti s prototipom i im nado ob&asnit', kak 4to rabotaet.

V slu4ae testirovania s u4astiem pol'zovatela nabludatel' (kotoriy vistupaet v roli "rukovoditela") otve4aet za interpretaciu deystviy pol'zovatela i ix svaz' s problemami uzabiliti v dizayne interfeysa. Blagodara etomu takie testi mojno provodit' daje v tex slu4aax, kogda pol'zovatel'-u4astnik absolutno ni4ego ne znaet o dizayne interfeysov. V slu4ae je s evristi4eskoy ocenkoy otvetstvennost' za analiz interfeysa vozlagaetsa na samogo u4astnika, a nabludatelu otvoditsa li6' rol' sekretara, zapisivau6ego kommentarii u4astnika, t.e. nabludatel' v dannom slu4ae ne zanimaetsa ocenkoy deystviy u4astnika.

Nel'za ne napomnit' o dvux drugix razli4iax mejdu evristi4eskoy ocenkoy sistemi i tradicionnim ee testirovaniem s pomo6'u pol'zovatela. Re4' idet o prave nabludatela otve4at' na voprosi u4astnika testa vo vrema ego provedenia, a takje o glubine otvetov na eti voprosi. V tradicionnom teste s u4astiem pol'zovatela zada4a sostoit v tom, 4tobi obnarujit', kakie o6ibki v rabote s interfeysom mojet dopustit' pol'zovatel'. Takim obrazom, organizator testirovania ne sklonen davat' u4astniku informaciu bol'6e, 4em to neobxodimo. Takje pol'zovateley prosat otiskat' otvet na voznik6iy vopros s pomo6'u samoy sistemi, a ne nadeat'sa na otvet nabludatela. V slu4ae je s evristi4eskoy ocenkoy nerazumno otkazivat' u4astniku ocenki v otvetax na voprosi, kasau6iesa predmetnoy oblasti sistemi, v osobennosti esli ekspert ne avlaetsa specialistom v toy oblasti, s kotoroy svazana sistema. V dannom slu4ae polnie otveti nabludatela na voprosi eksperta pomogut poslednemu bolee gluboko ocenit' uzabiliti pol'zovatel'skogo interfeysa, opiraas' na polu4ennie ot nabludatela znania. To4no takje, kogda ekspert stolknetsa s zatrudneniami, nabludatel' mojet dat' sovet, kak viyti iz situacii, 4tobi ne tratilos' dragocennoe vrema na bor'bu s interfeysom. Zdes', odnako, vajno otmetit', 4to nabludatel' ne doljen pomogat' do tex por, poka on asno ne ubeditsa v tom, 4to ekspert popal v zatrudnitel'noe polojenie i 4etko otmetil problemu s uzabiliti.

Kak pravilo evristi4eskaa ocenka otdel'nim ekspertom dlitsa odin dva 4asa. Bolee dlitel'nie testi mogut potrebovat'sa v slu4ae o4en' bol'6oy ili o4en' slojnoy sistemi, gde prisutstvuut mnojestvo dialogovix elementov. No v etom slu4ae ocenku lu46e razdelit' na neskol'ko seansov, v kotorom ocenivaetsa tol'ko kakaa-to opredelennaa 4ast' interfeysa.

Vo vrema seansa ocenki ekspert neskol'ko raz proxodit po interfeysu i rassmatrivaet ego razli4nie dialogovie elementi, sravnivaa ix so spiskom principov uzabiliti (evristiki). Eti evristiki avlautsa ob6imi pravilami, kotorie opisivaut ob6ie svoystva vsex interfeysov, kotorie s4itautsa udobnimi v ispol'zovanii. V dopolnenie k dannomu spisku ob6ix evristik ekspert, razumeetsa, imeet pravo pol'zovat'sa lubimi drugimi izvestnimi emu principami ili rezul'tatami predidu6ix ocenok, kotorie primenimi k kakomu-to konkretnomu elementu interfeysa. Bolee togo, na osnove ob6ix evristik mojno razrabotat' spisok evristik, kotorie specifi4ni imenno dla dannoy kategorii sistem. Spisok takix specifi4eskix evristik mojno sostavit', proveda, naprimer, analiz konkuriruu6ey sistemi ili testirovanie su6estvuu6ix sistem s pomo6'u pol'zovateley, posle 4ego nado vivesti abstraktnie principi xoro6ego interfeysa na osnove obnarujennix problem s uzabiliti (Dykstra 1993).

Nuansi

V celom eksperti sami re6aut, kak oni sobirautsa ocenivat' interfeys. V ka4estve ob6ey rekomendacii mi sovetuem, 4tobi vo vrema seansa ekspert pro6elsa po interfeysu dvajdi. Perviy proxod slujit dla ponimania, kak rabotaet interfeys sistemi i v kakoy posledovatel'nosti vipolnautsa deystvia. Vo vrema vtorogo proxoda ekspert koncentriruet vnimanie na opredelennix elementax interfeysa, uje znaa, kak oni skladivautsa v ob6uu kartinu.

Tak kak eksperti ne ispol'zuut interfeys kak takovoy (t.e. ne vipolnaut real'nuu zada4u, a li6' ocenivaut sam interfeys), evristi4eskuu ocenku primenit' daje k interfeysu, kotoriy su6estvuet v vide bumajnix prototipov [sm. sootvetstvuu6iy metod v kataloge metodov veb-dizayna i stat'u Nil'sena na etu temu], no v real'nosti e6e ne sdelan (Nielsen 1990). Eto zna4it, 4to evristi4eskaa ocenka mojet provodit'sa na rannix etapax dizayna sistemi.

Esli sistema imeet prostoy interfeys i prednazna4ena dla 6irokoy auditorii, ili esli eksperti razbirautsa v predmetnoy oblasti, im pomo6' v rabote s interfeysom ne ponadobitsa. V protivnom slu4ae, kogda sistema specifi4na i eksperti ne sli6kom gluboko znakomi s predmetnoy oblast'u, im mojet ponadobit'sa pomo6' dla raboti s interfeysom. V ka4estve pomo6i ekspertam mojno razdat' tipi4nie scenarii ispol'zovania sistemi, gde budut pere4isleni razli4nie 6agi, kotorie doljen vipolnit' tipi4niy pol'zovatel', 4tobi vipolnit' kakuu-to real'nuu zada4u. Takie scenarii sostavlautsa na osnove analiza zada4 pol'zovateley i ix raboti i v dal'ney6em slujat osnovoy dla ponimania togo, kak v budu6em budet ispol'zovat'sa sistema.

Rezul'tati

Rezul'tatom ocenki po evristi4eskomu metodu avlaetsa spisok problem s uzabiliti interfeysa so ssilkami na te principi uzabiliti, kotorie bili naru6eni v dizayne interfeysa po mneniu kajdogo iz ekspertov. Ekspertam nedostato4no tol'ko skazat', 4to im 4to-to tam ne ponravilos'; oni doljni ob&asnit' po4emu im 4to-to ne ponravilos' so ssilkoy na evristiki ili na drugie rezul'tati ocenki uzabiliti. Eksperti-ocen6iki doljni bit' to4ni v svoix slovax naskol'ko eto vozmojno i doljni ukazivat' kajduu obnarujennuu problemu v otdel'nosti. Naprimer, esli v opredelennom dialogovom elemente tri ve6i sdelani nepravil'no, vse tri sleduet ukazat' po otdel'nosti so ssilkami na razli4nie principi uzabiliti, kotorie ob&asnaut, po4emu danniy aspekt elementa interfeysa soderjit problemu. Otdel'noe upominanie kajdoy problemi vizvano dvuma pri4inami: vo-pervix, esli problema avno ne ukazana, su6estvuet risk povtorit' nevernoe re6enie v dialogovom elemente daje v tom slu4ae, kogda on polnost'u zamenen na noviy. Vo-vtorix, mojet bit' i ne udastsa ispravit' vse problemi s uzabiliti v interfeyse ili zamenit' element na noviy, no po krayney mere kakie-to iz obnarujennix problem mojno budet re6it', esli oni to4no ukazani v spiske.

Evristi4eskaa ocenka na avlaetsa metodom sistemati4eskogo testirovania interfeysa ili metodom ocenki ka4estva osu6estvlennogo redizayna. Tem ne menee, tak kak evristi4eskaa ocenka podrazumevaet ob&asnenie kajdoy obnarujennoy problemi na osnove opredelennix principov uzabiliti, etot metod pomogaet dovol'no legko delat' noviy dizayn. Krome togo, mnogie problemi s uzabiliti, stoit ix tol'ko obnarujit', mojno dostato4no legko i bistro ispravit'.

Naprimer, esli problema sostoit v tom, 4to pol'zovatel' ne mojet skopirovat' informaciu iz odnogo okna v drugoe, to re6enie etoy problemi dostato4no o4evidnoe - dobavit' takuu funkciu v programmu. To4no takje, esli problema sostoit v tom, 4to v interfeyse programmi ispol'zuutsa raznie 6rifti, po raznomu pi6utsa slova ili nazivaetsa odin i tot je termin, re6enie dannoy problemi takje o4evidno - vibrat' ediniy format dla vsego interfeysa. Tem ne menee, daje v etix prostix primerax dizayner ne polu4aet ot eksperta nikakoy informacii kak imenno emu nujno izmenit' interfeys (naprimer, kak imenno doljna bit' realizovana funkcia kopirovania iz odnogo okna v drugoe, ili kakoy imenno nado vibrat' format 6rifta dla interfeysa).

V ka4estve ras6irenia metoda evristi4eskoy ocenki, 4tobi u dizaynerov poavilas' otpravnaa to4ka dla raboti, mi rekomenduem provodit' ob6e sobranie ekspertov posle provedenia poslednego seansa ocenki. V 4islo u4astnikov sobrania vklu4aut ekspertov, nabludatela i predstaviteley dizaynerskoy komandi. Sobranie provoditsa sna4ala v rejime mozgovogo 6turma i koncentriruetsa na tom, kakie nado vnesti izmenenia v dizayn, 4tobi ispravit' obnarujennie o6ibki ili bolee ob6ie o6ibki dizayna v celom. Eto sobranie takje xoro6aa vozmojnost' obsudit' pozitivnie momenti v issledovannom dizayne, tak kak evristi4eskaa ocenka nikak ne zatragivaet etu vajnuu storonu issleduemogo predmeta.

Evristi4eskaa ocenka otnositsa k metodam uzabiliti "dla malogo budjeta". Nezavisimie issledovania (Jeffries et al. 1991) bezuslovno pokazali, 4to metod evristi4eskoy ocenki avlaetsa o4en' effektivnim metodom uzabiliti. V odnom iz slu4aev iz moego li4nogo opita nam udalos' dosti4' 48-kratnoy effektivnosti: stoimost' provedennogo issledovania sostavlala 10.500 dollarov, v to vrema kak ojidaemiy effekt ot etogo issledovania sostavil 500.000 dollarov (Nielsen 1994). Avlaas' metodom "dla malogo budjeta", metod evristi4eskoy ocenki ne mojet dat' "ideal'nix" rezul'tatov ili pomo4' vam otiskat' vse do edinoy o6ibki v interfeyse.

Opredelaem koli4estvo u4astnikov

V principe evristi4eskuu ocenku pol'zovatel'skogo interfeysa mojet vipolnit' i odin 4elovek, odnako opit raboti v neskol'kix proektax pokazivaet, 4to pri ispol'zovanii tol'ko odnogo eksperta uroven' rezul'tatov ostavlaet jelat' lu46ego. Primerno v 6esti moix proektax ekspert, rabotav6iy odin, na6el li6' 35% problem s uzabiliti. Odnako, v svazi s tem, 4to raznie eksperti mogut nayti raznie problemi, gorazdo bolee visokogo rezul'tata mojno dosti4' ob&ediniv usilia neskol'kix ekspertov. Na Ris.2 pokazano otno6enie koli4estva naydennix problem k koli4estvu ekspertov, prinimav6ix u4astie v testirovanii. Grafik asno pokazivaet, 4to neskol'ko u4astnikov namnogo lu46e, 4em odin. Mi s4itaem razumnim ograni4it'sa pat'u ekspertami, i uj kone4no ix 4islo ne doljno bit' men'6e trex. To4noe 4islo ekspertov zavisit ot stoimosti proekta i stoimosti ojidaemogo rezul'tata. Bol'6ee 4islo ekspertov trebuetsa tam, gde rol' uzabiliti o4en' vajna, ili tam, gde ojidaetsa bol'6aa otda4a ot obnarujenia o6ibok v svazi s 4rezvi4aynoy vajnost'u sistemi ili ee 6irokomas6tabnim ispol'zovaniem.

Ris. 2

Krivaa demonstriruet otno6enie mejdu 4islom naydennix problem i 4islom ekspertov. Krivaa otobrajaet srednie dannie, vivedennie na osnovanii 6esti proektov.

V svoey rabote Nil'sen i Landauer predstavili model', osnovannuu na formule, pozvolau6ey predskazat' 4islo naydennix problem, osnovivaas' na 4isle u4astnikov evristi4eskoy ocenki:

ProblemsFound(i) = N(1 - (1-l)i )

gde ProblemsFound(i) obozna4aet koli4estvo razli4nix problem, naydennix pri ob&edinenii rezul'tatov raboti i nezavisimix ekspertov. N obozna4aet ob6ee koli4estvo problem v interfeyse, a l obozna4aet srednee koli4estvo problem, kotorie naxodit odin ekspert. V 6esti proektax zna4enie l kolebalos' ot 19 do 51 procenta, a usrednennoe zna4enie sostavlalo 34 procenta. Zna4enia peremennoy N var'irovalis' ot 16 do 50 procentov, a usrednennoe zna4enie ravnalos' 33. Ispol'zua eti zna4enia v formule, vi polu4ite krivuu, kotoraa o4en' sil'no priblijena k toy, 4to predstavlena na Ris.2, xota to4naa forma krivoy budet zaviset' ot va6ix konkretnix srednix zna4eniy N i l, kotorie v va6em konkretnom proekte mogut otli4at'sa ot na6ix zna4eniy.

Dla togo, 4tobi opredelit' optimal'noe 4islo ekspertov, neobxodimo sootnesti stoimost' evristi4eskoy ocenki s eё otda4ey. Perviy element pri vi4islenii - eto stoimost' provedenia testa, vklu4au6aa fiksirovannie i peremennie rasxodi. Fiksirovannie rasxodi eto te, kotorie pridetsa zaplatit' vne zavisimosti ot togo, skol'ko ekspertov budet privle4eno k testirovaniu: stoimost' sostavlenia plana testirovania, stoimost' podgotovki materialov, napisania ot4eta. Peremennie rasxodi - eto te dopolnitel'nie rasxodi, kotorie nabegaut vsakiy raz, kogda k testu privlekaetsa o4erednoy dopolnitel'niy ekspert. Suda vxodit oplata raboti eksperta, stoimost' ocenki ego ot4eta, stoimost' oborudovania ili drugix resursov. Osnovivaas' na opite neskol'kix proektov mi s4itaem, 4to postoannie rasxodi na evristi4eskuu ocenku sostavlaut gde-to 3.700 - 4.800 dollarov, a peremennie rasxodi - 410 - 900 dollarov na kajdogo eksperta.

Razumeetsa, konkretnie summi rasxodov zavisat ot proekta, ot va6ey kompanii i ot slojnosti ocenivaemogo interfeysa. V ka4estve otpravnoy to4ki s4itayte, 4to fiksirovannaa stoimost' evristi4eskoy ocenki ravna 4.000 dollaram, a peremennaa stoimost' - 600 dollaram na kajdogo eksperta. V takom slu4ae ob6aa stoimost' testirovania pri pomo6i i ekspertov rass4itivaetsa po formule $(4,000 + 600i).

Vigodami ot evristi4eskoy ocenki avlautsa naydennie problemi s uzabiliti, xota v nekotorix slu4aax vigodoy mojno nazvat' pobo4niy obu4au6iy effekt, kogda eksperti povi6aut uroven' svoix znaniy, sravnivaa svoi ot4eti s ot4etami drugix ekspertov na ob6em sobranii. V na6em proekte stoimost' kajdoy neobnarujennoy o6ibki sostavlala 15.000 dollarov. Razumeetsa, v va6em konkretnom proekte stoimost' budet drugaa. Naprimer dla programm, kotorie ispol'zuutsa vnutri va6ey kompanii, ocenivat' stoimost' kajdoy o6ibki, naydennoy vo vrema testirovania, mojno po ojidaemomu rostu proizvoditel'nosti truda pol'zovateley; dla produktov, kotorie budut prodavat'sa na rinke, ocenku mojno osnovivat' na predpolagaemom roste prodaj blagodara bolee visokomu urovnu udovletvorenia pokupateley ili bolee visokim ocenkam storonnix ekspertov. Obratite vnimanie, 4to v plus vi zapisivaete sebe tol'ko te problemi, kotorie bili obnarujeni do otpravki produkta na prilavok. Tak kak vse obnarujennie problemi ispravit' nevozmojno, stoimost' obnarujennoy, no neispravlennoy problemi, nije stoimosti obnarujennoy i ispravlennoy.

Ris. 3

Krivaa pokazivaet vo skol'ko raz otda4a ot evristi4eskoy ocenki vi6e rasxodov na ee provedenie. Dannie vzati iz proekta, o kotorom idet re4' v tekste. Optimal'noe koli4estvo u4astnikov testa - 4 4eloveka. Pri etom otda4a ot nix v 62 raza vi6e rasxodov.

Na ris.3 predstavleni razli4nie sootno6enia otda4i ot testa k ego stoimosti pri razli4nom koli4estve u4astnikov testa. Krivaa pokazivaet, 4to Optimal'noe koli4estvo u4astnikov testa - 4 4eloveka. Eto podtverjdaet ob6ie nabludenia, 4to evristi4eskaa ocenka lu46e vsego rabotaet, kogda v ney prinimaet u4astie ot trex do pati ekspertov. V na6em primere, esli evristi4eskaa ocenka obo6las' bi v 6.400 dollarov, a ob6aa stoimost' naydennix problem s uzabiliti sostavila bi 395.000 dollarov.