Creare robots.txt per WordPress

robots-txt-per-wordpress

Abbiamo gia’ affrontato nell’articolo precedente l’importanza del file Robots.txt. In questo articolo costruiamo insieme il file e vediamo come con poche linee di codice, sia possibile ottimizzare e sviluppare un file Robots.txt per WordPress.

Al lavoro!

Apriamo un file vuoto con il nostro editor di testo e iniziamo a scrivere:

User-agent: *

Adesso andiamo a bloccare l’indicizzazione delle directory e dei file propri di WordPress:

Disallow: /wp-
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/

Ora, cosa fondamentale, dobbiamo permettere l’indicizzazione dei post e di tutto quello annesso e connesso (immagini, pdf,allegati in genere):

Allow: /wp-content/uploads/

Fatto questo siamo a buon punto, ma bisogna eliminare dall’indicizzazione dei motori di ricerca i famosi Contenuti Duplicati e le loro directory; quindi inseriamo queste linne di codice:

Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/

Questo e’ il file Robots.txt di base, ma visto che noi non ci accontentiamo mai, aggiungiamo altre funzioni.

Naturalmente avremo installato nel nostro WordPress il plugin All in one SEO e quindi non bisogna dimenticare di scrivere nel file Robots.txt:

Disallow: /tag/
Disallow: /category/

Ultima istruzione da inserire nel nostro Robots, e’ l’idicizzazione della Sitemap:

Sitemap: http://www.nomedominio.com/sitemap.xml

Quindi ecco il Robots.txt per WordPress pronto a l’uso per tutti:

User-agent: *

Disallow: /wp-
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/

Allow: /wp-content/uploads/

Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/

Disallow: /tag/
Disallow: /category/

Sitemap: http://www.nomedominio.com/sitemap.xml

Scritto da Magoo

Magoo

Web Developer & Mobile Developer, Game Lover insomma un Nerd.
Co-founder Iwebdesigner.it, Nerdzhouse SRL.
Prendo a schiaffi la tastiera fino a quando non succede qualcosa di buono.

COMMENTA

Loading Disqus Comments ...
Loading Facebook Comments ...

ommenti

Lascia una risposta
  1. Hello fantastic blog! Does running a blog such as this require a large amount
    of work? I’ve no expertise in computer programming however I was hoping to start my own blog soon. Anyhow, if you have any recommendations or tips for new blog owners please share. I understand this is off topic but I just needed to ask. Many thanks!

  2. Hello! I could have sworn I’ve been to this website before but after looking at a few of the articles I realized it’s new to me.
    Anyways, I’m certainly delighted I stumbled upon it and I’ll be bookmarking it and checking back frequently!

  3. What’s Taking place i am new to this, I stumbled upon this I have found It absolutely useful and it has aided me out loads. I hope to contribute & aid different users like its aided me. Great job.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *