Облак за оптимизирачка интелигенција: Како да го користите моторот за статистика за A/B тест попаметен и побрз

Optimizely Stats Engine и A/B стратегии за тестирање

Ако барате да извршите програма за експериментирање за да му помогнете на вашиот бизнис да тестира и учи, големи се шансите дека ги користите Optimizely Intelligence Cloud - или барем го погледнавте. Optimizely е една од најмоќните алатки во играта, но како и секоја таква алатка, можеби ќе ја користите погрешно ако не разбирате како работи. 

Што го прави Optimizely толку моќен? Во основата на неговиот сет на функции лежи најинформираниот и интуитивен статистички мотор во алатка од трета страна, што ви овозможува да се фокусирате повеќе на добивање важни тестови во живо-без да треба да се грижите дека погрешно ги толкувате вашите резултати. 

Слично како и традиционалната слепа студија по медицина, А / Б тестирање случајно ќе покаже различно третмани на вашата страница со различни корисници за потоа да ја споредите ефикасноста на секој третман. 

Потоа, статистиката ни помага да извлечеме заклучоци за тоа колку тој третман може да биде ефикасен на долг рок. 

Повеќето алатки за тестирање А/Б се потпираат на еден од двата типа на статистички заклучоци: фреквенционистички или бајески статистики. Секое училиште има различни добрите и лошите страни - фреквентистичката статистика бара да се поправи големината на примерокот пред да се спроведе експеримент, а статистиката на Бејес главно се грижи за донесување добри одлуки во насока, а не за одредување на една бројка за влијание, за да наведе два примери. Суперсилата на Optimizely е дека тоа е единствената алатка на пазарот денес за да земе најдоброто од двата света пристап.

Крајниот резултат? Оптимизирано им овозможува на корисниците да извршуваат експерименти побрзо, посигурно и поинтуитивно.

Сепак, за да го искористите целосно, важно е да разберете што се случува зад сцената. Еве 5 сознанија и стратегии што ќе ве натераат да ги користите можностите на Optimizely како професионалец.

Стратегија #1: Разберете дека не сите метрики се создадени еднакви

Во повеќето алатки за тестирање, најчесто занемарувано прашање е дека колку повеќе метрики додавате и следите како дел од вашиот тест, толку е поголема веројатноста да видите некои погрешни заклучоци поради случајна шанса (во статистичките податоци, ова се нарекува „проблем со повеќекратно тестирање “). Со цел резултатите да бидат сигурни, Optimizely користи серија контроли и корекции за да ги одржува шансите тоа да се случи што е можно пониско. 

Тие контроли и корекции имаат две импликации кога одите да поставите тестови во Optimizely. Прво, метриката што ја означувате како ваша Примарна метрика ќе достигне статистичко значење најбрзо, сите други работи константни. Второ, колку повеќе метрики ќе додадете на експеримент, толку подолго ќе ви требаат подоцнежните метрики за да достигнете статистичко значење.

Кога планирате експеримент, проверете дали знаете која метрика ќе биде вашиот вистински север во вашиот процес на донесување одлуки, направете ја вашата примарна метрика. Потоа, оставете го остатокот од списокот со метрики посно со отстранување на с that's што е премногу излишно или тангентално.

Стратегија #2: Изградете сопствени сопствени атрибути

Optimizely е одличен за да ви даде неколку интересни и корисни начини за сегментирање на резултатите од вашиот експеримент. На пример, можете да испитате дали одредени третмани функционираат подобро на работната површина наспроти мобилниот или да ги набудувате разликите во сообраќајните извори. Сепак, како што созрева вашата програма за експериментирање, брзо ќе посакате нови сегменти-тие може да бидат специфични за вашиот случај, како сегменти за еднократни наспроти купувања со претплата, или општи како „нови наспроти враќање посетители“ (што, искрено, с still уште не можеме да сфатиме зошто тоа не е дадено надвор од кутијата).

Добрата вест е дека преку полето за проект Javascript на Optimizely, инженерите запознаени со Optimizely можат да изградат било кој број интересни сопствени атрибути на кои посетителите можат да им се доделат и поделат. Во Cro Metrics, изградивме голем број модули за акции (како „нови наспроти посетители што се враќаат“) што ги инсталираме за сите наши клиенти преку нивниот проект Javascript. Користењето на оваа способност е клучен диференцијатор помеѓу зрелите тимови кои имаат соодветни технички ресурси за да им помогнат во извршувањето и тимовите кои се борат да го реализираат целиот потенцијал на експериментирање.

Стратегија #3: Истражете го забрзувачот на статистика на Optimizely

Една од често користените алатки за тестирање е способноста да се користат „разбојни бандити“, тип на алгоритам за машинско учење кој динамично се менува онаму каде што сообраќајот се распределува во текот на експериментот, за да испрати што повеќе посетители на „победничките“ варијација што е можно. Прашањето со разоружените бандити е дека нивните резултати не се сигурни показатели за долгорочни перформанси, така што случајот за употреба за овие видови експерименти е ограничен на временски чувствителни случаи, како што се продажните промоции.

Сепак, оптимизирано, има различен тип на бандитски алгоритам достапен за корисниците на повисоки планови - Забрзувач на статистика (сега познат како опција „Забрзување на учењата“ во рамките на Бандити). Во оваа поставка, наместо да се обидува динамички да го распредели сообраќајот на варијацијата со највисоки перформанси, Optimizely динамично го распределува сообраќајот на варијациите што најверојатно ќе достигнат статистичко значење најбрзо. На овој начин, можете да научите побрзо и да ја задржите повторливоста на традиционалните резултати од тестовите за А/Б.

Стратегија #4: Додадете емоции на вашите метрички имиња

На прв поглед, оваа идеја веројатно звучи несоодветно, дури и лудо. Сепак, клучниот аспект за да бидете сигурни дека ги читате вистинските резултати од експериментот започнува со тоа да бидете сигурни дека вашата публика може да го разбере прашањето. 

Понекогаш и покрај нашите максимални напори, метричките имиња може да станат збунувачки (почекајте - дали тој метрички факт се активира кога нарачката е прифатена, или кога корисникот ќе стигне до страницата за благодарност?), Или експеримент има толку многу метрики што ги прелистуваат резултатите страницата доведува до тотално когнитивно преоптоварување.

Додавањето емоции на вашите метрички имиња (цели, зелени ознаки, дури и големата торба за пари може да работи) може да резултира со страници што се многу повеќе скенирани. 

Верувајте ни - читањето на резултатите ќе ви биде многу полесно.

Стратегија #5: Преиспитајте го вашето ниво на статистичка важност

Резултатите се сметаат за конечни во контекст на експеримент Оптимизели кога ќе стигнат статистичко значењеНа Статистичкото значење е тежок математички термин, но во суштина тоа е веројатноста дека вашите набудувања се резултат на вистинска разлика помеѓу две популации, а не само случајна шанса. 

Пријавените нивоа за статистичко значење на Оптимизели се „секогаш валидни“ благодарение на математичкиот концепт наречен последователно тестирање - ова всушност ги прави многу посигурни од оние на другите алатки за тестирање, кои се склони кон секакви прашања „peиркаат“ ако ги прочитате прерано.

Вреди да се разгледа кое ниво на статистичко значење сметате дека е важно за вашата програма за тестирање. Додека 95% е конвенција во научната заедница, ние тестираме промени на веб -страници, а не вакцини. Друг вообичаен избор во експерименталниот свет: 90%. Но, дали сте подготвени да прифатите малку повеќе неизвесност за да ги извршите експериментите побрзо и да тестирате повеќе идеи? Дали би можеле да користите 85% или дури 80% статистичко значење? Ако сте намерни за вашиот биланс ризик-награда, може да платите експоненцијални дивиденди со текот на времето, затоа внимателно размислете.

Прочитајте повеќе за Optimizely Intelligence Cloud

Овие пет брзи принципи и сознанија ќе бидат неверојатно корисни да се имаат предвид додека се користи Optimizely. Како и за секоја алатка, таа се сведува на тоа да бидете сигурни дека сте ги разбрале добро сите прилагодувања зад сцената, за да бидете сигурни дека ја користите алатката ефикасно и ефективно. Со овие сфаќања, можете да ги добиете сигурните резултати што ги барате, кога ви се потребни. 

Што мислите?

Оваа страница користи Akismet за намалување на спам. Научете како се обработува вашиот коментар.