/robots.txt - un lucru simplu cu impact mare asupra website-ului

Ce este /robots.txt?

Este fișierul care conține instrucțiuni pentru roboții web care indexează website-urile în motoarele de căutare.

Ce se poate întâmpla dacă instrucțiunile sunt greșite?

✖ Website-ul nu este indexat pe Google. 

✖ Anumite secțiuni de pe website sunt idexate dar tu nu dorești acest lucru.

Tipuri de instrucțiuni pentru /robots.txt

Blocarea completă a indexării

User-agent: *
Disallow: /

Indexarea completă a unui website

User-agent: *
Disallow:

Sunt cazuri în care această instrucțiune este încurcată cu cea de blocare completă a indexării.

Excluderea indexării a anumitor zone de pe server

User-agent: *
Disallow: /folder1/
Disallow: /folder2/

Instrucțiunile comunică roboților să indexeze tot conținutul de pe server cu excepția dosarelor /folder1/ și /folder2/

Excluderea indexării unei pagini

User-agent: *
Disallow: /folder/pagina.html

Excluderea unui singur robot

User-agent: Google
Disallow: /

Permiterea indexării numai de către un singur robot

User-agent: Google
Disallow: 

User-agent: *
Disallow: /