www.romver.ru
/ / A/B-?



( )

Tipi4naa situacia: biznes prokru4ivaet desatki i desatki A/B-testov posado4nix stranic v te4enie goda, i mnogie iz nix pobejdaut. Nekotorie testi daut ojidaemiy rost viru4ki v 25% ili daje vi6e. No kogda vi vikativaete izmenenia, viru4ka ne rastt na 25%, i daje god spusta konversia ostatsa toy je. Kak je tak?

Po mneniu Pipa Layi, specialista po konversii, rost konversii v dannom slu4ae avlaetsa mnimim: ego poprostu ne bilo izna4al'no. Da, va6 instrument testirovania soob6il o 95% urovne statisti4eskoy zna4imosti, no eto ni4ego ne zna4it. Statisti4eskaa zna4imost' i obosnovannost'  ne odno i to je.

Statisti4eskaa zna4imost'  ne povod ostanovit' testirovanie

V real'nosti, kogda po rezul'tatam testov zaavlennaa to4nost' predskazania dostigaet 95% ili daje 99%, eto ne zna4it, 4to u vas est' viigri6niy variant stranici.

V ka4estve primera Pip privodit odin iz testov, gde za korotkiy promejutok vremeni na viborke v 110 posetiteley variant stranici pokazivaet uxud6enie konversii na 89,5% i nulevuu veroatnost' stat' viigri6nim variantom v teste. Odnako test bil prodln e6 na desat' dney, i na viborke uje v 620 posetiteley stranica pokazala rost konversii na 25,18% s veroatnost'u pobedit' v teste v 95%.

Xuje vsego v podobnoy situacii daje ne mnimiy rost konversii, a lojnaa uverennost' v pravote, rukovodstvuas' kotoroy, vi riskuete rasprostranit' polu4ennoe znanie na ves' sayt.

Stoit otmetit', odnako, 4to v primere vi6e rezul'tat, polu4enniy s otsro4koy v 10 dney, toje ne avlaetsa dostato4no dostovernim, poskol'ku absolutnaa raznica v tranzakciax tam sostavlaet vsego 19 konversiy. Eta raznica mojet bit' perekrita vsego za den'.

Kak govorit Ton Vesseling, osnovatel' Testing Agency, prekra6enie testirovanie po dostijenii zadannogo urovna uverennosti podobno smertnomu grexu. Kak pokazivaet ego opit, v 77% A/A-testov (to est' v sravnenii odinakovix stranic) uroven' zna4imosti rano ili pozdno budet dostignut.

Itak, statisti4eskaa zna4imost' ne mojet bit' edinstvennim kriteriem, opredelau6im, nado li ostanavlivat' A/B-testirovanie, poskol'ku ni4ego ne govorit o veroatnosti, s kotoroy stranica B lu46e stranici A. 4to v takom slu4ae rekomenduetsa delat'?

Testiruyte dol'6e

O6ibo4no ostanavlivat' testirovanie po pro6estvii pari dney. Daje esli u vas 10 000 tranzakciy v den', etogo malo: absolutnoe 4islo tranzakciy vajno, no tak je vajno i 4istoe vrema. Mett Ger6off iz Conductrics ob&asnaet eto tak:

Odna iz trudnostey s A/B-testirovaniem sostoit v tom, 4to mi ne kontroliruem kogortnost' pol'zovateley. Problemi voznikaut v tex slu4aax, kogda pol'zovateli po-raznomu vedut seba v raznoe vrema dna, raznie dni nedeli i raznie sezoni. V svazi s etim neobxodimo sobirat' dannie za relevantnie otrezki vremeni. V etom slu4ae mi polu4im bolee reprezentativnie dannie.

Obratite vnimanie: ot odnoy tol'ko segmentacii trafika v dannom slu4ae malo pol'zi, poskol'ku soxranaetsa neobxodimost' delat' viborki po rabo4im dnam i po vixodnim i t.d., i nam stoit zafiksirovat' srednee zna4enie na kajdiy iz dney ili daje vremeni v te4enie dna,a takje u4est' vlianie vne6nix faktorov, kotorie vliaut na trafik i konversii.

Po nabludeniam Pipa, dla A/B-testirovania tipi4na sleduu6aa situacia:

  • Pervie paru dney: variant B pobejdaet s bol'6im perevesom. Obi4no zdes' skazivaetsa faktor novizni.
  • Posle pervoy nedeli: variant B poka lidiruet s otrivom.
  • Posle vtoroy nedeli: variant B vs e6 viigrivaet, no otnositel'naa raznica uje men'6e.
  • Posle 4etvrtoy nedeli: variant B padaet do srednego zna4enia.

Polu4aetsa, 4to esli vi prekratili testirovanie, ne dojdav6is' 4etvrtoy nedeli, to dumaete, 4to na6li pravil'niy variant stranici, no na samom dele eto ne tak, i ojidaemogo rosta viru4ki ne proisxodit.

Kak ponat', kogda prekra6at' testirovanie?

K sojaleniu, odnozna4nogo otveta na etot vopros net, no dla seba Pip virabotal empiri4eskoe pravilo ostanovki testa, srabativau6ee pri dostijenii sleduu6ix usloviy:

  • Prodoljitel'nost' ispitania: ne menee trx nedel' (e6 lu46e  4etirx).
  • Esli izmennniy variant stranici operejaet kontrol'niy variant bolee 4em na 20% pri kak minimum 250 konversiax na variant; esli otnositel'naa raznica sostavlaet menee 20% pri kak minimum 400 perexodax na variant.
  • Statisti4eskaa zna4imost' sostavlaet kak minimum 95%.

Eto pravilo mojet menat'sa po situacii, no v bol'6instve slu4aev Pip priderjivaetsa imenno ego. Zdes' snova mojno procitirovat' Tona Vesselinga:

Vam deystvitel'no stoit testirovat' kak mojno dol'6e  po men'6ey mere, odin cikl pokupki. 4em bol'6e dannix, tem to4nee va6a analitika. 4em bol'6e trafika, tem to4nee vi opredelite pobeditela sredi variantov stranic. Ved' nebol'6ie izmenenia mogut okazat' bol'6oe vlianie, no takoe bivaet redko. Kak pravilo, izmenenia daut nesu6estvenniy prirost konversii, poetomu i nujno testirovat' varianti na bol'6ix ob&max trafika, 4tobi opredelit' pobeditela s bol'6im otrivom.

S drugoy storoni, esli testi dlatsa o4en' dolgo, posetiteli na4inaut 4istit' fayli cookies. Za dve nedeli takix posetiteley nabiraetsa do 10%, i oni mogut na4at' popadat' ne na tot variant stranici. Poskol'ku s te4eniem vremeni 4istota va6ego eksperimenta uxud6aetsa, testiruyte ne dol'6e 4etirx nedel'.

4to delat', esli posle tret'ey ili 4etvrtoy nedeli razmer viborki men'6e 400 perexodov na varianti? V etom slu4ae Pip rekomenduet prodlit' testirovanie, dla na4ala  na nedelu.

Pri etom avtor stat'i predlagaet testirovat' polnimi nedelami. T.e. esli test bil zapu6en v ponedel'nik, ego nado zaver6it' v voskresen'e. V protivnom slu4ae to4nost' analitiki mojet okazat'sa pod ugrozoy. Pip privodit primer odnogo iz saytov, gde po 4etvergam viru4ka vdvoe vi6e, 4em po subbotam i voskresen'am, a konversia  dvoe vi6e konversii po voskresen'am. Esli bi testirovanie v etom slu4ae velos' ne polnimi nedelami, srednee zna4enie konversii i viru4ki bilo bi iskajeno, i vivodi iz testirovania bili bi sdelani nekorrektno.

4to delat', esli test dlilsa 4etire nedeli s 400+ konversiami na kajdiy variant, no statisti4eskaa zna4imost' men'6e 95%? Esli pokazatel' zna4imosti raven 92%, test stoit prodlit' na nedelu i posmotret', 4to izmenitsa. Esli je on blije k 50% (i daje men'6e togo), eto, po mneniu avtora, govorit ob otsutstvii su6estvennoy raznici. V etom slu4ae Pip skoree pereydt k sleduu6emu testu ili sleduu6ey iteracii togo je testa.

Ne zabivayte o segmentax: pravilo ostanovki rasprostranaetsa na kajdiy iz nix

Segmentacia  klu4 k ponimaniu rezul'tata A/B-testov. Dostato4no rasprostrann scenariy, kogda variant B mojet proigrivat' variantu A v ob6ix rezul'tatax, no pobejdat' v opredelennix segmentax (naprimer, v trafike s social'nix setey, s mobil'nix ustroystv i t.d.).

Pered analizom segmentirovannix dannix stoit bit' uverennim v dostato4nosti viborki kajdogo segmenta. Eto 250-400 konversiy na variant dla kajdogo segmenta, kotoriy vi sobiraetes' izu4at'.

Zdes' Pip daje rekomenduet sozdavat' targetirovannie testi, t.e. ustanavlivat' celevuu auditoriu/segment v nastroykax testa. Eto pomojet vam bit' uverennim v tom, 4to testi ne prekratatsa prejdevremenno i naberut dostato4nuu viborku.

Vot 4to govorit o sobstvennix pravilax prekra6enia testirovania Andre Moris iz kompanii WebArts:

  • A priderjivaus' mnenia, 4to dla polu4enia ubeditel'nix dannix nujna reprezentativnaa viborka. 4to a pod etim podrazumevau? Prejde vsego, vam neobxodimo vklu4it' vse rabo4ie i vixodnie dni i daje u4est' raznuu pogodu, potomu 4to ona vliaet na povedenie pokupateley. No samoe glavnoe: va6 trafik doljen bit' raznoobraznim i proisxodit' iz raznix isto4nikov  novostnix rassilok, specproektov, TV i t.d.
  • Nedavno mi proveli A/B-testirovanie dla krupnogo riteylera odejdi pramo poseredine letney rasprodaji. Bilo interesno nabludat' za tem, kak rezko rezul'tati upali na pike kampanii po rasprodaje, a zatem 4erez nedelu vosstanovilis', kak tol'ko kampania po6la na spad. Mi nikogda bi ne uznali ob etom, esli bi test dlilsa menee 4etirx nedel'.
  • Na6e pravilo bol'6ogo pal'ca zaklu4aetsa v sleduu6em: 3000-4000 konversii na variant s prodoljitel'nost'u testa 34 nedeli. Takogo trafika dostato4no, 4tobi polu4it' xoro6uu viborku daje v segmentax.

Rezul'tati analitiki A/B-testa neveroatno vajni. Pod4as oni daje vajnee ponimania, kakoy variant stranici effektivnee. Poetomu prejde 4em pereyti k analizu i vivodam, ubedites' v tom, 4to u vas dostato4naa viborka dla kajdogo segmenta.

Zaklu4enie

Ne stoit ostanavlivat' test tol'ko potomu, 4to statisti4eskaa zna4imost' ravna ili daje bol'6e 95%. U4itivayte absolutnoe koli4estvo perexodov na varianti i prodoljitel'nost' testa.


3
  ,
:
. +7(98I) 7608865

e-mail
icq 415547094  romver  mail.ru  romverinbox.ru
1997 - 2024 romver.ru

Display Pagerank