Migreringen där Google fick se en annan sajt än besökarna

Exempel från ett uppdrag inom teknisk SEO som jag genomfört under mina år på byrå. Kunden är anonymiserad och vissa detaljer är utelämnade.

Område
Teknisk SEO
Typ av sajt
Stor innehållssajt
Läge
Migrering
Skärm med kod framför en tegelvägg, med laptop och tangentbord på skrivbordet
Utmaning

Search Console visade noindex men inga tester hittade något.

Insats

Felsökning med Googlebots user agent.

Resultat

Sidorna tog fart i sökresultaten igen.

Utgångsläget

En stor och etablerad innehållssajt med ett omfattande artikelarkiv skulle migreras. Sajten levde på sin trafik från Google, så varje artikel som syntes i sökresultaten var en del av affären. Därför följde vi migreringen noga i Google Search Console.

Där kom den första varningen. Search Console visade att Google läste sidorna som noindex, alltså med en instruktion om att de inte ska finnas i sökresultaten. Samtidigt visade alla våra tester att sidorna saknade noindex.

En rimlig teori som inte stämde

Eftersom felet dök upp i samband med migreringen var tesen att det hängde ihop med flytten, till exempel att Google fortfarande hade gamla uppgifter om sajten i sitt index. Sådant brukar rätta till sig när Google hunnit besöka sidorna igen, så vi avvaktade en tid.

Det gav sig inte.

Felsökningen

Allt såg rätt ut. I webbläsaren fanns ingen noindex i koden. Crawlverktyg som Screaming Frog visade inget avvikande, och det gjorde inte heller de tillägg i Chrome som brukar avslöja den här typen av fel.

Till slut ändrade jag webbläsarens inställningar så att den identifierade sig som Googlebot, Googles sökrobot, och besökte sajten igen. Då syntes felet direkt. Sajten serverade olika HTML beroende på vilken user agent som besökte den. Vanliga besökare fick en korrekt sida, medan Googlebot fick en version med noindex.

Samma adress, två olika svar samma adress Vanlig besökare Sida utan noindex Googlebot robots noindex Sida med noindex
Samma adress svarade olika beroende på vem som frågade.

Varför det var så allvarligt

Noindex är en signal som Google följer. Får den ligga kvar försvinner sidorna ur sökresultaten, och för en sajt som lever på organisk trafik hade det slagit ut en stor del av intäkterna.

Det som gjorde felet så lurigt var att det bara syntes för Google. Search Console sa en sak och alla kontroller sa en annan, och det låg nära till hands att lita på kontrollerna.

Lösningen

När orsaken var hittad kunde felet rättas, så att Googlebot fick samma sida som besökarna. Efter det tog sidorna fart i sökresultaten igen.

Det här tar jag med mig till varje migrering

Titta på sajten med Googles ögon. Vid en migrering kontrollerar jag vad Googlebot får se, med samma user agent som Google använder, och jämför det med versionen en vanlig besökare får. Det tar några minuter och fångar fel som de vanliga verktygen missar.

Jag tar också Search Console på allvar när den visar något som inte går att återskapa, även när det finns en rimlig förklaring. Det är ofta där de svåraste felen gömmer sig.

Ska din sajt migreras?

Jag hjälper dig att kontrollera vad Google ser, före och efter flytten.

Kontakta mig