A robots.txt a domain gyökerében él és minden robot ezt olvassa el először. Megmondható benne, hogy egy adott robot mely útvonalakat ne járja be és itt szokás megadni a sitemap helyét is.
A leggyakoribb félreértés
A tiltás nem azonos az indexelés tiltásával. Ha egy oldalra máshonnan hivatkozás mutat, az bekerülhet a találatok közé akkor is, ha a robot nem járhatta be, csak épp tartalom nélkül. Ha egy oldalnak tényleg nem szabad megjelennie, arra a noindex jelölés való, azt viszont csak akkor látja a kereső, ha a bejárás engedélyezett.
Amit érdemes kizárni
- Belső kereső találati oldalai és a végtelen szűrő-kombinációk
- Kosár, pénztár, fiók és más, csak bejelentkezve értelmes útvonalak
- Adminisztrációs felületek
A stílusfájlokat és a szkripteket viszont soha ne zárd ki: a kereső azok nélkül nem tudja megjeleníteni az oldalt és hibásan ítéli meg a mobilnézetet.