Datadrivet

Första halvåret 2021 släppte Joni och Jasmin 27 (!) avsnitt av Datadrivet. Nästan ett helt år har gått sedan vi släppte senaste poddavsnittet. Sedan hösten 2020 driver Joni och Jasmin tillsammans med Linda Eriksson scilla.studio.

Vi har under senaste året fokuserat på scilla.studios egna tillväxt, dels med uppdrag och dels med rekrytering - och vi rekryterar fortfarande! Kolla här: https://jobs.scilla.studio/jobs

Scilla studio är ett konsultbolag som hjälper tech-bolag att växa, jobba datadrivet och skapa produkter som deras användare älskar. Vi har Product Managers, utvecklare, Growth Analysts och UX Designers som tillsammans kan jobba med exempelvis experiment, validera idéer, coacha team och skapa process för high tempo testing och optimera onboarding i appen.

Sedan vi poddade sist har vi bland annat har vi jobbat med dessa uppdrag:

Dessutom har vi testat egna produktidéer, Vi berättar om vilka som inte har funkat och några som har funkat!

Vi har också flyttat till nytt kontor: Terminalen – fantastisk utsikt finns, kom och ät lunch med oss!

Dela med dina kollegor och branschkompisar att podden Datadrivet äntligen är igång igen!

Datadrivet är en podd av scilla.studio.

Vill ni ha hjälp med att sätta upp ett experiment team? Hör av dig till oss på scilla.studio eller på Linkedin.

Vill du vara med och berätta om hur ditt företag jobbar med att jobba datadrivet? Hör av dig till oss på Linkedin.

Vi som leder podden heter Joni Lindgren och Jasmin Yaya.

Intervju med Kathleen Asjes, Head of Research & Insights på Dreams.

Dreams är ett Fintech-bolag som hjälper sina användare att komma igång med att spara pengar och nå sina drömmar med hjälp av att sätta mål som du kopplar olika regler, så kallade spar-hacks. Ett exempel är spar-hacket "Tjuven" som tar en lite pengar varje vecka utan att du vet om hur mycket och när, och efter ett tag har användaren plötsligt lyckats spara pengar.

Joni och Kathleen jobbade ihop på Schibsted för att hitta insikter, de delade mindset om att jobba mot ett gemensamt mål och prioritera hårt.

Kathleens team Research & Insights jobbar med att ta fram insikter till produktteamen baserat på kvantitativ och kvalitativ research.

När Kathleen började på Dreams började hon med att fråga personer i organisationen om vad var och en behövde för typ av insikter och vad deras utmaningar var. Några av de vanliga frågorna var "Vad gör våra användare?", "Vad gör de i appen?" "Varför sparar de kortsiktigt?", "Vilket är det mest populära sparhacket?".

Förra sommaren jobbade de intensivt med att ta fram hela kundresan. De baserade det på intervjuer med användare, datan från produkten och insikter från sitt forskarteam som undersöker hur hjärnan fungerar när det gäller att spara pengar. De använde sig av verktyget PingPong för att göra användartesterna. https://www.hellopingpong.com/

Genom att dela insikter en gång i veckan slår de hål på myter om användarna och produkten.

Vill ni ha hjälp med att sätta upp ett experiment team är det bara att ni hör av er till oss på Linkedin.

Vill du vara med och berätta om hur ditt företag jobbar med att jobba datadrivet? Hör av dig till oss på Linkedin.

Vi som leder podden heter Joni Lindgren och Jasmin Yaya. Producerat av Niklas Bryngelsson.

Theresia Silander, VD och grundare på Eatit – ett Kry för dietistvård. Resan till att Eatit ser ut som den gör idag har växt fram på ett intressant sätt. Från närodlade råvaror, till kostråd från hälsodata, till vad produkten är idag. Eatit är en app där patienter med ex obesitas, prediabetes, diabetes eller fettlever får behandling av en dietist över video. Dietisten och appen samverkar för att stötta patienten i beteendeförändringar för mer hälsosamma vanor och viktnedgång (för vissa patienter).

Ambitionerna har varit höga från start. Dels vilka resultat de vill nå, dels hur de vill nå de målen. Visionen är att göra det enklare att fatta hälsosamma beslut. Missionen är att möjliggöra för 100 miljoner människor senast 2030 att leva ett längre och lyckligare liv genom livsstilsförändringar.

Eatit har gjort många misstag och lärt sig från dem:

Vad Eatit lärde sig/skulle ha gjort idag:

Vill ni ha hjälp med att sätta upp ett experiment team är det bara att ni hör av er till oss på Linkedin.

Vill du vara med och berätta om hur ditt företag jobbar med att jobba datadrivet? Hör av dig till oss på Linkedin.

Vi som pratar heter Joni Lindgren och Jasmin Yaya. Producerat av Niklas Bryngelsson.

I Facebook-gruppen Product Owners & Agile Coaches var det en person som ville ha tips på hur han kan starta ett growth-team i organisationen. Joni kommenterade att "kalla det inte för ett growth team", det har Joni lärt sig den hårda vägen.

Vad teamet ska göra är att experimentera så mycket som möjligt för att ta reda på hur produkten kan växa så mycket som möjligt. Helst ska teamet ligga under produkt – inte under marknad eller någon annan stans i organisationen. Dels för att arbetssätten liknar hur ett produktteam jobbar än hur marknadsavdelning jobbar. Det behövs mycket mer analys och teknisk kompetens. Dels för att det blir lättare att vara användarcentrerad om man mäts av produkten och inte av marknad.

Förslagsvis kan man kommunicera såhär i sin organisation: "Vi behöver lösa vårt problem med att växa problemet, därför behöver vi ett tvärfunktionellt team som tar hand om det. Låt oss börja med Activation/Onboarding som tar reda på hur vi ska lösa problemet med hjälp av experiment."

Se till att fokusera på att prata om vilket nyckeltal som ni prioriterar mot, snarare än var i organisationen teamet ska befinna sig.

Kanske ser till och med Joni och Jasmin inte likadant på vad det ska kallas och hur teamet ska jobba?

Vad vi kallar team och vad vi gör betyder mer än vi tror. Olika begrepp klingar olika i olika organisationer. I vissa organisationer låter test och experiment som att det mest bara leks runt lite.

Länk till Facebook-gruppen Product Owners & Agile Coaches: https://www.facebook.com/groups/productmanagementsweden

Vill ni ha hjälp med att sätta upp ett experiment team är det bara att ni hör av er till oss på Linkedin.

Vill du vara med och berätta om hur ditt företag jobbar med att jobba datadrivet? Hör av dig till oss på Linkedin.

Vi som pratar heter Joni Lindgren och Jasmin Yaya. Producerat av Niklas Bryngelsson.

Jasmin föreläste nyligen för några startups om att komma experimentera. Ett av företagen hörde av sig för att få hjälp med att komma igång med experiment.

Steg 1 – Vad har ni er backlog redan nu, vad har bi tänkt bygga? Det är det första vi skulle vilja göra experiment på för att förstå vad av det vi ska bygga ut i full skala, och vilka saker vi inte ska satsa på. Det händer ganska ofta att experiment hamnar i en egen backlog vid sidan av det som ska byggas.

Steg 2 – Så titta i er befintliga backlog och försök att göra om det till små experiment. Vad är det absolut minsta vi ska bygga? Vilken sort experiment passar bäst för att snabbt kunna ta reda på att det ni vill bygga är rätt sak att bygga?

Steg 3 – Prioritera vilka experiment som ska byggas. Det har vi ett avsnitt om: Process: Ta fram idéer & prioritera dem

Steg 4 – Samla personer med olika roller för att starta testen. Vi behöver:

De gånger det har funkat allra bäst för Jasmin har det funnits två olika Product Managers, en mer strategisk och en mer operativ som jobbar parallellt med varandra. Alltså en som jobbar med visionen och strategi och en som gör ut strategin, för det är svårt att vara både och samtidigt.

Vill du vara med och berätta om hur ditt företag jobbar med att jobba datadrivet? Hör av dig till oss på Linkedin.

Vi som pratar heter Joni Lindgren och Jasmin Yaya. Producerat av Niklas Bryngelsson.

När fick du en WOW-upplevelse från data senast? Joni berättar om en ett uppdrag där hon tog reda på att 83% av alla besökare till en landningssida redan var kunder. All trafik som drev till den sidan var köpt trafik och egentligen menad för de som inte redan var kunder. Det fanns flera olika team och stora delar av organisationen som jobbade med den här typen av sälj. Hon satt alltså på en insikt som skulle påverka många människors jobb och en stor del av budgeten. Det fanns så många konsekvenser av denna enda datapunkten. Hur kommunicerar man till organisationen att nästan alla resurser egentligen bara slängs bort?

Det första hon gjorde var att gå till analysteamet för att stämma av den här datan för att se till att den är samlad på rätt sätt, den är räknad på ett sätt som stämmer, och tolkat den korrekt. Därefter kollade hon med sitt team om vilka hypoteser de kunde ta fram med hjälp av den nya insikten.

Det hela började med att hon tittade på webbdatan och ville veta hur stor andel av trafiken till den sidan som redan var kunder. Så hon använde sig av Hotjar för att skapa en popup poll och frågade användarna helt enkelt. Efter några dagar hade hon fått in flera tusen svar.

En konsekvens av den här insikten var att hon tog reda på varför så många befintliga kunder klickar på annonser. Det visade sig att de ville interagera mer med varumärket och få mer kommunikation. Därför gjordes organisationen om och det skapades flera olika produktteam med olika fokus, där ett team fokuserade på att bygga produkter för att sälja till nya kunder, och ett team som fokuserade på att bygga produkter till befintliga kunder.

Det vore jättekul att få höra på era wow-upplevselser från data!

Vill du vara med och berätta om hur ditt företag jobbar med att jobba datadrivet? Hör av dig till oss på Linkedin. 

Vi som pratar heter Joni Lindgren och Jasmin Yaya. Producerat av Niklas Bryngelsson.

Tidigare i veckan höll vi en workshop om att experimentera och vill dela med oss av vad vi pratade om. Vi börjar med de tre olika huvudgrupper av experiment: 

Det finns några olika tillfällen då A/B-test är användbara. Dels vid ren optimering, dels för att ta reda på om ett helt paket av förändring i en release inte har en negativ eller överraskande effekt. Det tredje tillfället som A/B-tester är användbara är när vi vill validera nya idéer. A/B-tests är perfekta för det! Det är det primära skälet till att jobba med A/B-test. Vi vill uppmuntra produktorganisationer att ta reda på vad av det som ligger i backloggen eller roadmapen som borde byggas – det gör ni med hjälp av experiment! 

2009 släppte Microsoft en rapport där de hade tagit reda på vad som gjorde att ett team nådde sina mål effektivt. Det var inte att de hade bättre utvecklare, eller att de hade bättre idéer. Det enda som skiljde de framgångsrika teamen med de andra teamen var att de snabbare kunde slänga idéer som inte hade någon effekt. Det visade sig att ca 1/3 av allt som samtliga produktteamen byggde gav en positiv effekt på målet, 1/3 hade ingen effekt alls, och 1/3 hade påverkade målet negativt. Så enda skillnaden var tiden till att kasta bort dåliga idéer. 

Organisationer och team som experimenterar i hög hastighet brukar prata om win rate, alltså hur stor andel av alla idéer gav ett önskat resultat. Microsoft, Pinterest och Slack har delat med sig att deras win rate ligger på ca 30%. Facebook som har ca 22 000 experiment igång samtidigt säger att deras win rate är 15% och Google som släpper ca 300 000 experiment per år säger att deras win rate ligger på 10%. Ju mer innovativa och galna idéer du testar desto lägre kommer win rate vara, men möjligheten till att just innovera ökar. 

Ronny Kohavi delade nyligen en bild från 2007 när Microsoft hade en strategikonferens där han pitchade "Accelerating Innovation with A/B Testing" för dem. 

https://www.linkedin.com/posts/ronnyk_abtesting-microsoft-experimentguide-activity-6790503518840201216-Z22y Vissa vill gärna gå på intuition, men det kan missleda oss. Vi tror oftast väldigt mycket på våra egna idéer, just för att de är våra egna idéer. 

Om vi inte ska gå på intuition brukar en del säga att vi ska gå på vad datan säger oss. Med enbart data kan också vara missledande för oftast handlar det om att titta på gammal data. Därför behöver vi ett verktyg som hjälper oss att ta affärsbeslut och det verktyget är experiment! 

För att komma igång med A/B-tester behöver du göra dessa saker: 

Alla har idéer på hur man kan förbättra målet. Samla in alla idéer, gör om dem till hypoteser, definiera ett minsta möjliga test. Tänk "Vad kan vi få ut på 1/2 dag eller 1 dag?". Det här förarbetet gör att det blir lätt att analysera när testet är klart. Du vet vad du ska mäta, vilken effekt du letar efter och det blir lätt att svara sant eller falskt på hypotesen. Samla teamet så att ni kan prioritera era hypoteser. Det har vi ett avsnitt om: Process: Ta fram idéer & prioritera dem. Gör så många Build-Measure-Learn-loopar som möjligt varje vecka. Bygg så litet som möjligt. Våga prioritera bort att bygga välbyggda saker till förmån att kunna testa många saker fort. Det som visar sig funka tas vidare och byggs robust, det andra slängs.

 Vill du vara med och berätta om hur ditt företag jobbar med att jobba datadrivet? Hör av dig till oss på Linkedin. 

Vi som pratar heter Joni Lindgren och Jasmin Yaya. Producerat av Niklas Bryngelsson.

Jasmin har nyligen blivit kontaktad av ett företag som vill ha ny sorts marknadsföring. När hon tittar på deras data ser hon att 80% av alla som registrerar sig för tjänsten aldrig mer kommer tillbaka. Det är något vi nämnt i avsnitten Next Feature Fallacy och Product Death Cycle.

Lösningen är alltså inte att driva ännu mer trafik till tjänsten. Lösningen är heller inte att utveckla produkten med att bygga nya features för de användare som är kvar i tjänsten. Lösningen är att skapa en bättre första upplevelse, en så kallad onboarding så att en ny registrerad användare kommer tillbaka 1 dag efter, 7 dagar efter och 30 dagar efter.

En kul nyhet är att Jasmin har börjat jobba på scilla.studio och är numer kollega med Joni, inte bara poddkollega! YAY!

Våra tips till alla företagsledare, produktägare eller liknande:

Tips 1: Se till att ta fram datan i form av en kurva där x-axeln är antal dagar sedan signup och y-axeln är antal användare som är kvar i tjänsten.

Tips 2: Försök att göra en plan för vad som händer de första 7 dagarna för en ny användare redan innan du lanserar.

Tips 3: Anta inte att den första lösningen är den bästa, utan testa och lär dig från datan!

Jasmin och Joni har tittat på onboardingen för några olika tänster: Trello, Mentimeter, Blocket, Memmo, Shopify, Havenly.

Vill du vara med och berätta om hur ditt företag jobbar datadrivet? Hör av dig till oss på Linkedin.

Vi som pratar heter Joni Lindgren och Jasmin Yaya. Producerat av Niklas Bryngelsson.

Alexandra MacRae är Head of Marketing och Customer Experience på Avinode Group. Avinode är ett bolag som är relativt okänt i Sverige och för gemene man, men kort beskrivet är det ett B2B SaaS-bolag i Business Aviation. De är marknadsledande och kundbasen är utspridd i hela världen.

I avsnittet med Fredrik Sterner Cederlöf från Polestar berättade han om hur Polestar mäter NPS i hela kundresan. Han berättade också att han hade snott allt från just Alexandra MacRae. Så självklart ville vi prata mer med henne!

Alexandra berättar om att de mäter kundnöjdheten med hjälp av ett samlat metric de kallar för Customer Health Score.

Rent konkret är ett Customer Health score en kombination av Net Promoter Score, Customer Effort Score och Customer Satisfaction Score samt activity/engagement metrics. De visualiserar resultatet i en matris som är grön, gul och grön. Det gör att de enkelt kan se vilka kunder som är hälsosamma och vilka som inte är det. Utifrån det så har de en playbook som definierar vilka actions som ska tas och hur – beroende på vart en kund befinner sig i matrisen.

Organisationen använder Customer Health Score som ett verktyg för att kunna förstå och agera på kundnöjdheten. Mätningen ger Customer Service-organisationen insikter om vilka kunder som är nöjda och därmed inte behöver särskilt mycket attention, de är gröna – så man istället kan fokusera på de som är i gult eller rött och jobba för att förflytta de upp i matrisen.

Det blir också extra spännande när man lägger till en Y och X axel som visar MRR (Monthly Recurring Revenue) eller ARR (Annual Recurring Revenue) samt hur mycket meningsfulla interaktionen företaget har haft med stakeholders hos kunden.

Så problemet de kan lösa hos kunden är att proaktivt höra av sig och boka in ytterligare träning i produkten, eller lära sig mer om specifika problem som de upplever på givna touch points i deras kundresa.

De använder sig av Wootric för att ställa frågorna. https://www.wootric.com/. De kopplar ihop det med CRM-data i Power BI.

Vi frågar ofta våra gäster om de vill slå hål på någon myt de stöter på i jobbet. Alexandra säger att en myt kring att jobba datadrivet är att bara mäta. Mäta är steg 1, att göra någonting åt datan på ett repetitivt och skalbart sätt som ger effekt är det som gör att man nåt effekt!

Vill du vara med och berätta om hur ditt företag jobbar datadrivet? Hör av dig till oss på Linkedin.

Vi som pratar heter Joni Lindgren och Jasmin Yaya. Producerat av Niklas Bryngelsson.

Seif Fendukly är Product Manager för teamet Conversion & Activation på ljudboksstreamingtjänsten Storytel. Han är data- och systemvetare i grunden och har tidigare jobbat som konverteringsoptimeringskonsult med bland annat Natural Cycles och Lifesum. Han delar många olika experiment han gjort på flera bolag. 

Seifs team jobbar med onboarding i Storytels app, att nya användare känner att WOW, det här är en kul app som jag vill använda. 

Precis som i alla streamingtjänster är innehållet den allra viktigaste faktorn i produkten. 

Ett annat projekt som Seifs team jobbar med är att ta reda på hur konverteringsgraden för bokdetaljsidor kan ökas. I och med att den som kommer till sidan själv har gjort en sökning på bokens titel vet de att den här personen är intresserad av just den boken, men ändå konverterar de inte. En sak som de har sett är viktigt är hur de kommunicerar Stotytels erbjudande. 

Olika marknader har olika beteenden, i vissa marknader är det inte lika vanligt att läsa eller lyssna på böcker. 

I ett A/B-test de nyligen gjorde där de testade att ändra designen på sidan, gjorde de ett klassiskt misstag i konverteringsoptimering eftersom de ändrade många olika saker. Det enda de kunde se var att den nya designen gav sämre konvertering, då var det bara att stryka den designen men de kunde inte lära sig så mycket mer av det experimentet. Det är ganska svårt att övertyga andra om att det inte är en “ful design” som är problemet och att en “snyggare” design skulle kunna förbättra konverteringen. 

Seif berättar om hur de prioriterar sin backlog och en framgång har varit att jobba nära teamet och peppa alla i planeringen och göra prioriteringen tillsammans utifrån affärsmålen där produkten ska stötta i det. 

Seif delar även ett case från Lifesum som är en app för att planera och registrera sin mat för att nå en kroppsvikt man vill ha. En utmaning de hade där var att förklara vad värdet var med premium-abonnemanget. De förstod att användarna inte förstod skillnaden mellan gratisversionen och betalversionen. De löste det genom att utgå från en checklista med sex frågor som användarna frågar sig när de hamnar på en landningssida och behöver svar på för att vilja gå vidare. 6 frågor som användare frågar sig själva när de landar på en sida:

• Relevans – Vad är syftet med sidan och vad kan jag förvänta mig?

• Värde – Vad finns det för värde för mig? På vilket sätt löser tjänsten mina problem bättre än andra?

• Förtroende – Vad tycker andra om tjänsten och hur har andra blivit hjälpta?

• Action – Vad vill sidan att jag ska göra? Finns det en tydlig Call To Action?

• Användbarhet – Är det tillräckligt enkelt och smidigt att använda den här tjänsten?

• Försäkran – Om jag köper den här binder jag upp mig för alltid?

Utifrån dessa sex principer började de titta på hur de kunde svara på alla dessa frågor på landningssidan och lyckades öka konverteringsgraden otroligt mycket. De lyckades även öka Retention och Lifetime Value.

Vill du vara med och berätta om hur ditt företag jobbar datadrivet? Hör av dig till oss på Linkedin.

Vi som pratar heter Joni Lindgren och Jasmin Yaya. Producerat av Niklas Bryngelsson.