Google Analytics ændring har givet forkerte data
I torsdag d. 11. august annoncerede Google Analytics en ændring, der er ganske interessant: Hvis en bruger tidligere lukkede sin browser ned, så betød det at besøget blev afsluttet. Dvs. hvis jeg besøgte dit site, lukkede min browser ned, og åbnede browseren igen og kiggede videre på dit site, så blev det registreret som to besøg.
Det er nu lavet om, så der kun registreres et nyt besøg, hvis trafikkilden ændres i besøget efter browseren er lukket ned. Det kan ske hvis brugeren forlader dit site, for at gå på Google og lave ny søgning, og besøger dit site via denne nye søgning. Bemærk også, at det er en af grundende til at man ikke skal benytte kampagnesporing til sporing af interne kampagner – det registreres som et nyt besøg, og du mister den oprindelige trafikkilde (og nu gør du det ALDRIG mere).
Ændringen er spændende, da den dels ændrer ved nogle af grundstenene for sporing, og dels gør det lettere at kreditere den helt korrekte trafikkilde i det kommende Analytics Multi Channel funnels.
Google vurderer selv at denne ændring kun påvirker besøgstallet med 1%.
Har du haft mystiske data weekenden over?
Men ingen rose uden torne. Ændringen har desværre medført forkerte Analytics data for en ganske stor mange. Har du fejlen i dine data, så kan du have svedt over lavt tidsforbrug, færre sidevisninger pr. besøg, færre nye besøgende og værst af alt – lavere konverteringsrate.
Deres officielle forklaring er:
1. If a user comes to a customer’s site with a space in some part of their traffic source data, then revisit the same landing page during that session by refreshing the page or later pressing the back button, a new session will be created for every hit to that page. (Clicking a link elsewhere on the site that leads back to the page should not matter.)2. Google Analytics implementations using multiple trackers (an unsupported configuration) are also affected when a space is included in the traffic source data. These sites will see fewer visits from new visitors, and more visits from returning visitors (with some variation due to different implementations).
Så spørgsmålet er om dine data er godt ødelagt for torsdag d. 11. august til og med natten til torsdag d. 18. august?
Sådan finder du fejlen
Du skal altid kunne stole på dine data, så nu skal du tjekke om du er ramt af deres fejl. Du kan opdage fejlen ved at kigge i nogle helt specifikke rapporter. Fejlen er hovedsageligt i den organiske trafik. Så start med at se om der er ændringer i trafik fra denne kilde. Ser det således ud, er det ganske tydeligt der er problemer:
Da fejlen har betydet at der er registreret besøg, som gentagelse af et tidligere besøg, så er andelen af nye besøg faldet drastisk. Ser din graf for nye besøg derfor således ud, så er det også et tydeligt tegn på fejl (du kan få denne graf frem på betjeningspanelet blot ved at skifte variablen i grafen) – her et fald fra 40% til 30%:
Da de mange ekstra besøg ikke har givet flere sidevisninger, så er antal sidevisninger pr. besøg også faldet hvis du har en fejl – her et fald fra 5,5 til 4,0:
Og værst af alt – konverteringsraten… Her kun for søgetrafik, for at gøre problemet tydeligst muligt:
Dine data er forkerte – hvad så?
Google ændrer desværre ikke data med bagudrettet virkning. Så derfor skynder du dig at lave en annotation på d. 11 hvor du skriver at data 7 dage frem er inficerede og du laver en i dag, hvor du skriver at problemet er løst denne dag. Evt. lav for alle påvirkede dage, så det er tydeligt at perioden har problemer.
Er du ramt? Har haft ondt i maven over dårlig konverteringsrate, som i virkeligheden måske ikke var så ringe? Og hvad synes du i det hele taget om ændringen i Googles målemetode (hvis det nu ikke havde F**** data op)?
Pingback: www.anyhed.dk
Hej Jacob.
Tak for en god gennemgang af hva’ fa’en der lige skete, – google selv holdt jo ret hurtigt op med at besvare folks sure opstød på deres blog.
For man kan vist roligt kalde det for en meget lidt heldig release de frigav der, kan man sige.
Så ja – jeg var ramt – meget endda. Mit besøgestal steg svimlende – hvoraf halvdelen ca. vare tilbagevendene besøg. Have et besøg, hvor brugeren så på det samme produkt 10 gange, og bouncede alle 10 gange. – Og ja – min bouncerate var som du sikkert kan regne ud, næsten højere end skyhøj.
Men de sidste par dage ligner tallene sig selv igen, så mon ikke de har fået styr på det nu?!?!:)
/Ulrik
Det er værd at bemærke, at de her defekte data desværre også falder meget tæt sammen med Googles udrulning af Panda i DK og andetsteds. Så de kan have gjort, at folk har haft en forkert opfattelse af Panda-effekten på deres site.
Derudover synes jeg som gammel talnørd altid, at der skal være meget gode grunde til at fremprovokere et databrud – og jeg kan ærligt talt ikke gennemskue, om den nye måde at måle besøgende på er så revolutionerende, at den retfærdiggør databruddet. (Men hvis den er en del af forberedelsen til bedre multi-channel data, så kan det måske gøre det godt igen).
Har set fald i besøgstiden på mellem 30% – 70%, så er spændt på at se om den kommer tilbage til normalen. Har haft MEGET konsekvente besøgstider i de sidste 12-18 måneder og intet var ændret. Derfor virkede det også meget mystisk da jeg kiggede lørdag morgen.
Bliver spændende at se henover de næste dage.
/Mikael
Det forklare bedre, hvorfor der har været nogle virkelig underlige tal de sidste par dage på nogle af vores sider. Men 7-9-13 så må de gerne komme back to normale hurtigt
Hej Jacob,
Der er altså “kun” tale om en ændring såfremt besøget har en anden kampagne refferer og nu ikke hvis brugeren lukker browseren, eller rettere:
•When any traffic source value for the user changes. Traffic source information includes: utm_source, utm_medium, utm_term, utm_content, utm_id, utm_campaign, and gclid.
Så vidt jeg forstår det, så startes et nyt besøg kun nu såfremt at en af ovenstående parametre ændres ELLER der har været 30 minutters inaktivitet.
@Ulrik: Selv tak, synes det var vigtigt at få frem så alle ikke sad og undrede sig.
@Frank: Utrolig god pointe – rammer præcis samtidig med udmeldingerne om Panda. Så stigningen i organisk behøver ikke skyldes panda, men Googles fejl.
@Mikael: Yes, og det er helt korrekt at du reagerer ved at undres. Man skal generelt være kritisk overfor data, hvis de ikke virker korrekte.
@Morten: De skulle også meget gerne være tilbage nu.
@Ulrik: Forskellen fra tidligere er kun i de tilfælde hvor browseren blev lukket ned og der inden for de næste 30 minutter registreres et besøg med samme trafikkilde. I så fald er det IKKE et nyt, modsat tidligere. Beklager hvis det ikke var uddybet nok i indlægget, men mit fokus var mest på den afledte fejl
Som opfølgning på data, så kan jeg se at data er gået retur mod tidligere tilstande, men faktisk ikke i helt samme grad som før. Fx på %-returning visitors, så er den ikke helt så høj som før. Når der har været en fejl inde over, så er det svært at sige om det skyldes at der endnu er knas i data eller om ændringen de har lavet har medført denne ændring i data.
@Jacob — mange tak for forklaringen. Det bli’r fedt med bedre attribution-analyser, men jeg er som Frank også lidt bekymret for sådan et databrud.
@Frank — supergod pointe med Panda-sammenfald. Mener, at Bolia meldte, at de var hårdt ramt, tilsyneladende uden nogen fornuftig årsag (unikt indhold, nogenlunde troværdigt layout, gode eksterne links, fornuftig intert linkflow, osv.).
Godt, man ikke er på konverteringsratebestemt kontrakt…
@Kasper: Det er dybt kritisk. Det må ikke ske at de ikke har gennemtestet en sådan ændring på forhånd. Det er så tydeligt i data at havde de haft blot 50 testsites kørende med ændringen, så var det skåret ud i neon.
Og ja Det har du faktisk ret i, der skal man nok aftale at den ramte uge ikke indgår i udregningen…
Lige pt. er jeg mest bekymret for at data ikke er helt tilbage til retur. Ændringen de har lavet er fundamental, i og med at det drejer sig om besøgs-attribution, men det er trods alt noget der kun burde påvirke meget lidt. Deres bud på 1% virker realistisk, men data er stadig mere end 1% ændret.
Først tillykke med de nye udfordringer Jacob. Exciting stuff
@Frank @Jacob Dernæst har moz-bloggen omtalt problematikken mht. panda og analytics ændring: http://www.seomoz.org/blog/panda-24-and-analytics-session-update-rolled-out-simultaneously
En grundig analyse, herunder af cookiesettings og trackingparametre, her:
http://www.analytics-ninja.com/blog/2011/08/how-google-analytics-calculates-visits.html