Czym jest plik robots.txt? - Kurs HTML i CSS
Czym jest plik robots.txt?
Plik robots.txt to specjalny dokument tekstowy, dzięki któremu możemy sterować widocznością dokumentów, zdjęć i innych plików z naszej strony internetowej w wynikach wyszukiwania np. Google.
- Nagłówek i treść / Plik robots.txt
...jeśli chcielibyśmy zablokować dostęp robotom-indekserom np. do wszystkich dokumentów z określonego katalogu serwisu albo wręcz hurtowo do wszystkich plików witryny, tak aby nie pojawiały się w wynikach wyszukiwania np. Google. Znacznik ten okazuje się wręcz zupełnie nieprzydatny, jeśli zależy nam na zablokowaniu indeksowania zdjęć z naszego serwisu (większość wyszukiwarek posiada osobne formularze do wyszukiwania plików graficznych). Istnieje jednak możliwość określenia globalnego dostępu do...