Soubor robots.txt

Napsal(a) Napsáno středa, 19 červen 2013 Zveřejněno v Pojmy Přečteno 1531 krát
Ohodnotit tuto položku
(0 hlasů)

Soubor robots.txt slouží k tomu, aby autoři svých stránek mohli nadefinovat kam můžou vyhledávací roboti a kam ne. Pokud zakážeme vyhledávači přístup do některých souborů, nebudou tyto soubory zaindexovány a pro vyhledávače jako by neexistovaly.



Důvody použití robots.txt

Nejčastějším důvodem pro zamezení přístupu do některých složek (souborů) je jejich nerelevantnost s obsahem www stránek. Například nepotřebujeme, aby se zaindexovaly stránky z administrace, které nemají s obsahem nic společného. Navíc zde mohou být citlivé a choulostivé informace.

Odfiltrování některých složek pro přístup fulltextových vyhledávačů může také odlehčit komunikační lince.

Zdroje

 



Naposledy změněno čtvrtek, 20 červen 2013 09:38

Zaujal Vás tento článek? Sdílejte ho a šiřte dál...



Přidat komentář

Bezpečnostní kód Obnovit