Et vigtigt element i SEO optimeringen er at få oprettet en god robots.txt fil, som beder søgerobotterne om ikke at crawle specifikke elementer og sider. Der kan være stor forskel på, hvad du ønsker ikke at få crawlet, afhængig af din opsætning, men vi har her sammensat en universel fil, som du efterfølgende kan arbejde videre på.

Hvorfor spærre for søgerobotterne?

Den største årsag til at spærre for søgerobotternes crawling af specifikke sider er for at undgå duplicate content, altså at søgerobotterne læser det samme indhold på to forskellige sider, hvilket har en negativ effekt på din SEO score.

Det er vidt forskelligt fra side til side, hvad der kan give udslag i duplicate content, men her er et par eksempler:

  • Printvenlige sider
    • Vi behøver vist ikke forklare mere.. det er kloner, bare grimmere!
  • Søgeresultater
    • Har du en søgefunktion på sin side, vil resultatet af en søgning vise det samme indhold, som andre af dine sider, fx produktkategorier eller blog-kategorier

Hvad med crawl-ressourcer?

Når en søgerobot crawler din side, vil din side blive tilkendt en rang og derudfra en mængde ressourcer. Det er klart at en stor nyhedsside med mange nye, relevante indlæg hver dag har brug for at blive crawlet oftere og mere dybdegående end en lille statisk webshop, som kun skifter indhold en gang hvert 2. år.

Hvis du går ud fra, at din shop altid får tilkendt for få ressourcer, så er der en vis logik i at styre, hvilke elementer, der bliver crawlet, så du fx får dine produkter frem i søgeresultaterne i stedet for checkoutside, loginside osv.

Dette kan du til en vis grænse være med til at styre med din robots.txt fil.

Nu hvor du ved noget mere om robots.txt-filer, så kan du jo lige så godt på lavet en selv. Hent vores robots.txt skabelo-fil her og tilpas den til dine behov:

Dette må du ikke blokere, hvis du arbejder med Magento:

Når du læser dette artikel, så regner vi med, at du arbejder med Magento, og det er i så tilfælde vigtigt lige at nævne, at der er et par elementer i Magento, som du ikke må blokere. Dette gælder for javascript, medier og design:

Disallow: /js/
Disallow: /media/
Disallow: /skin/


Hvis du vil vide mere, kan du læse dette indlæg fra Google:

https://support.google.com/webmasters/answer/6062608?hl=da