ÀÁÐÀÊÀÄÀÁÐÀ (Òîæå ñàìîå íî â ÷èòàåìîì âèäå)
Tipi4naa
situacia: biznes prokru4ivaet desatki i desatki A/B-testov posado4nix
stranic v te4enie goda, i mnogie iz nix «pobejdaut». Nekotorie testi
daut ojidaemiy rost viru4ki v 25% ili daje vi6e. No kogda vi vikativaete
izmenenia, viru4ka ne rast¸t na 25%,
i daje god spusta konversia osta¸tsa toy je. Kak je tak?
Po
mneniu Pipa Layi, specialista po konversii, rost konversii v dannom
slu4ae avlaetsa mnimim: ego poprostu ne bilo izna4al'no. Da, va6
instrument testirovania soob6il o 95% urovne statisti4eskoy zna4imosti,
no eto ni4ego ne zna4it. Statisti4eskaa
zna4imost' i obosnovannost' — ne odno i to je.
Statisti4eskaa zna4imost' — ne povod ostanovit' testirovanie
V
real'nosti, kogda po rezul'tatam testov zaavlennaa to4nost'
predskazania dostigaet 95% ili daje 99%, eto ne zna4it, 4to u vas est'
viigri6niy variant stranici.
V
ka4estve primera Pip privodit odin iz testov, gde za korotkiy
promejutok vremeni na viborke v 110 posetiteley variant stranici
pokazivaet uxud6enie konversii na 89,5% i nulevuu veroatnost' stat'
viigri6nim variantom v teste. Odnako test bil prodl¸n e6¸
na desat' dney, i na viborke uje v 620 posetiteley stranica pokazala
rost konversii na 25,18% s veroatnost'u pobedit' v
teste v 95%.
Xuje
vsego v podobnoy situacii daje ne mnimiy rost konversii, a lojnaa
uverennost' v pravote, rukovodstvuas' kotoroy, vi riskuete
rasprostranit' polu4ennoe «znanie» na ves' sayt.
Stoit
otmetit', odnako, 4to v primere vi6e rezul'tat, polu4enniy s otsro4koy v
10 dney, toje ne avlaetsa dostato4no dostovernim, poskol'ku absolutnaa
raznica v tranzakciax tam sostavlaet vsego 19 konversiy. Eta raznica
mojet bit' «perekrita» vsego za
den'.
Kak
govorit Ton Vesseling, osnovatel' Testing Agency, prekra6enie
testirovanie po dostijenii zadannogo urovna uverennosti podobno
smertnomu grexu. Kak pokazivaet ego opit, v 77% A/A-testov (to est' v
sravnenii odinakovix stranic) uroven' zna4imosti rano ili
pozdno budet dostignut.
Itak,
statisti4eskaa zna4imost' ne mojet bit' edinstvennim kriteriem,
opredelau6im, nado li ostanavlivat' A/B-testirovanie, poskol'ku ni4ego
ne govorit o veroatnosti, s kotoroy stranica B lu46e stranici A. 4to v
takom slu4ae rekomenduetsa delat'?
Testiruyte dol'6e
O6ibo4no
ostanavlivat' testirovanie po pro6estvii pari dney. Daje esli u vas 10
000 tranzakciy v den', etogo malo: absolutnoe 4islo tranzakciy vajno, no
tak je vajno i 4istoe vrema. Mett Ger6off iz Conductrics ob&asnaet eto
tak:
Odna
iz trudnostey s A/B-testirovaniem sostoit v tom, 4to mi ne
kontroliruem kogortnost' pol'zovateley. Problemi voznikaut v tex
slu4aax, kogda pol'zovateli po-raznomu vedut seba v raznoe vrema dna,
raznie dni nedeli i raznie sezoni. V svazi s etim
neobxodimo sobirat' dannie za relevantnie otrezki vremeni. V etom slu4ae
mi polu4im bolee reprezentativnie dannie.
Obratite
vnimanie: ot odnoy tol'ko segmentacii trafika v dannom slu4ae malo
pol'zi, poskol'ku soxranaetsa neobxodimost' delat' viborki po rabo4im
dnam i po vixodnim i t.d., i nam stoit zafiksirovat' srednee zna4enie na
kajdiy iz dney ili daje vremeni v
te4enie dna,a takje u4est' vlianie vne6nix faktorov, kotorie vliaut na
trafik i konversii.
Po nabludeniam Pipa, dla A/B-testirovania tipi4na sleduu6aa situacia:
- Pervie paru dney: variant B pobejdaet s bol'6im perevesom. Obi4no zdes' skazivaetsa faktor novizni.
- Posle pervoy nedeli: variant B poka lidiruet s otrivom.
- Posle vtoroy nedeli: variant B vs¸ e6¸ viigrivaet, no otnositel'naa raznica uje men'6e.
- Posle 4etv¸rtoy nedeli: variant B padaet do srednego zna4enia.
Polu4aetsa,
4to esli vi prekratili testirovanie, ne dojdav6is' 4etv¸rtoy nedeli, to
dumaete, 4to na6li pravil'niy variant stranici, no na samom dele eto ne
tak, i ojidaemogo rosta viru4ki ne proisxodit.
Kak ponat', kogda prekra6at' testirovanie?
K
sojaleniu, odnozna4nogo otveta na etot vopros net, no dla seba Pip
virabotal empiri4eskoe pravilo ostanovki testa, srabativau6ee pri
dostijenii sleduu6ix usloviy:
- Prodoljitel'nost' ispitania: ne menee tr¸x nedel' (e6¸ lu46e — 4etir¸x).
- Esli izmen¸nniy variant stranici operejaet kontrol'niy variant bolee
4em na 20% pri kak minimum 250 konversiax na variant; esli
otnositel'naa raznica sostavlaet menee 20% pri kak minimum 400 perexodax
na variant.
- Statisti4eskaa zna4imost' sostavlaet kak minimum 95%.
Eto
pravilo mojet menat'sa po situacii, no v bol'6instve slu4aev Pip
priderjivaetsa imenno ego. Zdes' snova mojno procitirovat' Tona
Vesselinga:
Vam
deystvitel'no stoit testirovat' kak mojno dol'6e — po men'6ey mere,
odin cikl pokupki. 4em bol'6e dannix, tem to4nee va6a analitika. 4em
bol'6e trafika, tem to4nee vi opredelite pobeditela sredi variantov
stranic. Ved' nebol'6ie izmenenia
mogut okazat' bol'6oe vlianie, no takoe bivaet redko. Kak pravilo,
izmenenia daut nesu6estvenniy prirost konversii,
poetomu i nujno testirovat' varianti na bol'6ix ob&¸max trafika, 4tobi
opredelit' pobeditela s bol'6im otrivom.
S
drugoy storoni, esli testi dlatsa o4en' dolgo, posetiteli na4inaut
4istit' fayli cookies. Za dve nedeli takix posetiteley nabiraetsa do
10%, i oni mogut na4at' popadat' ne na tot variant stranici. Poskol'ku s
te4eniem vremeni 4istota va6ego eksperimenta
uxud6aetsa, testiruyte ne dol'6e 4etir¸x nedel'.
4to
delat', esli posle tret'ey ili 4etv¸rtoy nedeli razmer viborki men'6e
400 perexodov na varianti? V etom slu4ae Pip rekomenduet prodlit'
testirovanie, dla na4ala — na nedelu.
Pri
etom avtor stat'i predlagaet testirovat' polnimi nedelami. T.e. esli
test bil zapu6en v ponedel'nik, ego nado zaver6it' v voskresen'e. V
protivnom slu4ae to4nost' analitiki mojet okazat'sa pod ugrozoy. Pip
privodit primer odnogo iz saytov, gde po
4etvergam viru4ka vdvoe vi6e, 4em po subbotam i voskresen'am, a
konversia — dvoe vi6e konversii po
voskresen'am. Esli bi testirovanie v etom slu4ae velos' ne polnimi
nedelami, srednee zna4enie konversii i viru4ki bilo bi iskajeno, i
vivodi iz testirovania bili bi sdelani nekorrektno.
4to
delat', esli test dlilsa 4etire nedeli s 400+ konversiami na kajdiy
variant, no statisti4eskaa zna4imost' men'6e 95%? Esli pokazatel'
zna4imosti raven 92%, test stoit prodlit' na nedelu i posmotret', 4to
izmenitsa. Esli je on blije k 50% (i daje men'6e
togo), eto, po mneniu avtora, govorit ob otsutstvii su6estvennoy
raznici. V etom slu4ae Pip skoree pereyd¸t k
sleduu6emu testu ili sleduu6ey iteracii togo je testa.
Ne zabivayte o segmentax: pravilo ostanovki rasprostranaetsa na kajdiy iz nix
Segmentacia —
klu4 k ponimaniu rezul'tata A/B-testov. Dostato4no rasprostran¸n
scenariy, kogda variant B mojet proigrivat' variantu A v ob6ix
rezul'tatax, no pobejdat' v opredelennix segmentax (naprimer, v trafike s
social'nix setey, s mobil'nix
ustroystv i t.d.).
Pered
analizom segmentirovannix dannix stoit bit' uverennim v dostato4nosti
viborki kajdogo segmenta. Eto 250-400 konversiy na variant dla kajdogo
segmenta, kotoriy vi sobiraetes' izu4at'.
Zdes'
Pip daje rekomenduet sozdavat' targetirovannie testi, t.e.
ustanavlivat' celevuu auditoriu/segment v nastroykax testa. Eto pomojet
vam bit' uverennim v tom, 4to testi ne prekratatsa prejdevremenno i
naberut dostato4nuu viborku.
Vot 4to govorit o sobstvennix pravilax prekra6enia testirovania Andre Moris iz kompanii WebArts:
- A priderjivaus' mnenia, 4to dla polu4enia ubeditel'nix dannix nujna
reprezentativnaa viborka. 4to a pod etim podrazumevau? Prejde vsego, vam
neobxodimo vklu4it' vse rabo4ie i vixodnie dni i daje u4est' raznuu
pogodu, potomu 4to ona vliaet na povedenie pokupateley. No samoe
glavnoe: va6 trafik doljen bit' raznoobraznim i
proisxodit' iz raznix isto4nikov — novostnix rassilok, specproektov, TV i
t.d.
- Nedavno mi proveli A/B-testirovanie dla krupnogo riteylera odejdi
pramo poseredine letney rasprodaji. Bilo interesno nabludat' za tem,
kak rezko rezul'tati upali na pike kampanii po rasprodaje, a zatem 4erez
nedelu vosstanovilis', kak tol'ko kampania po6la na spad. Mi nikogda bi
ne uznali ob etom, esli bi test dlilsa menee
4etir¸x nedel'.
- Na6e «pravilo bol'6ogo pal'ca» zaklu4aetsa v sleduu6em: 3000-4000
konversii na variant s prodoljitel'nost'u testa 3—4 nedeli. Takogo
trafika dostato4no, 4tobi polu4it' xoro6uu viborku daje v segmentax.
Rezul'tati
analitiki A/B-testa neveroatno vajni. Pod4as oni daje vajnee ponimania,
kakoy variant stranici effektivnee. Poetomu prejde 4em pereyti k
analizu i vivodam, ubedites' v tom, 4to u vas dostato4naa viborka dla
kajdogo segmenta.
Zaklu4enie
Ne
stoit ostanavlivat' test tol'ko potomu, 4to statisti4eskaa zna4imost'
ravna ili daje bol'6e 95%. U4itivayte absolutnoe koli4estvo perexodov na
varianti i prodoljitel'nost' testa.
|