Vytisknout tuto stránku
Soubor robots.txt slouží k tomu, aby autoři svých stránek mohli nadefinovat kam můžou vyhledávací roboti a kam ne. Pokud zakážeme vyhledávači přístup do některých souborů, nebudou tyto soubory zaindexovány a pro vyhledávače jako by neexistovaly.
Důvody použití robots.txt
Nejčastějším důvodem pro zamezení přístupu do některých složek (souborů) je jejich nerelevantnost s obsahem www stránek. Například nepotřebujeme, aby se zaindexovaly stránky z administrace, které nemají s obsahem nic společného. Navíc zde mohou být citlivé a choulostivé informace.
Odfiltrování některých složek pro přístup fulltextových vyhledávačů může také odlehčit komunikační lince.
Zdroje
Zaujal Vás tento článek? Sdílejte ho a šiřte dál...
Nejnovější od Honza Vopátek
Warning: Creating default object from empty value in
/pub/jiranwa/webzpravodaj.cz/web/www/plugins/system/t3/includes/joomla25/modulehelper.php on line
177