SXSW

Wie email marketing bedrijft of social advertising inzet, past waarschijnlijk A/B testing toe om een campagne te optimaliseren. Heel gebruikelijk en vooral met de beste bedoelingen. Je wilt alleen testen welke layout, call to actions etc. het beste resultaat opleveren en verder niets. Toch zijn Facebook en Amazon met dit soort online testen of experimenteerfases in Amerika behoorlijk in opspraak gekomen.
Daar ging vandaag de sessie over met een panel bestaande uit Joseph Konstan, Professor Computer Science aan de Universiteit van Minnesota, Duncan Watts, principal researcher bij Microsoft, Jeff Hancock, Professor aan Stanford University en Eliabeth Churchill, directeur User Experience bij Google.

 

Normaliter wordt bij A/B testing een test gedaan en daarna wordt op basis van de resultaten gekozen voor optie A of optie B en wordt de gekozen optie voor 100% op de doelgroep ingezet. Op zich is het opmerkelijk dat Facebook Fans zich zo opwonden over het feit dat Facebook een test deed en daarna de uitvoering voor 50% voor optie A en voor 50% voor optie B koos. Daar deed Facebook in principe niemand mee te kort, althans dat was niet de intentie. Toch kregen ze een stroom van kritiek over zich. Wat leren we daar van:

  1. mensen accepteren het niet als je aan hun persoonlijke timeline zit. Dat riekt naar manipulatie
  2. de newsfeed van Facebook is belangrijk voor mensen
  3. bij dit proces horen emoties, die zijn exclusief en horen niet random door een computer beoordeeld te worden
  4. big data is persoonlijk
  5. Facebook gebruikers willen geen proefkonijn zijn (althans zeker niet als ze dat niet weten)

Toch vreemd, we accepteren niet wanneer computers random gebruikers kiezen maar vinden het vaak de normaalste zaak van de wereld wanneer mensen arbitraire beslissingen nemen. En we accepteren het zeker niet als we dit experiment of manipulatie noemen. Verder hebben mensen er moeite mee als de geteste policy geld gaat opleveren voor de partij die test.

 

Hoe gaan we hiermee om?

Testprogramma’s zijn zeker waardevol. Maar het zou zinvol zijn om ze niet te beperken tot A/B testing maar het totaalplaatje omvatten. Denk daarbij aan controle groepen, en vooral het beter begrijpen van de users. Wat denken de gebruikers dat het systeem of website doet.

Ontwerp het experiment of de test zoals je de gebruikerservaring ontwerpt. Onderzoek door middel van open vragen, surveys en markt analyses en evalueer met prototypes en A/B testing. Dat geeft niet alleen meer inzicht, het is ook beter uit te leggen aan de gebruikers.