Definicja pojęcia - Robots txt

Robots txt (plik robots.txt) – plik przekazujący robotom wyszukiwarek informacje, które zasoby danej witryny mogą indeksować. Robots txt umieszczany jest w folderze głównym na serwerze strony internetowej. Przy użyciu pliku robots.txt można zarządzać ruchem robotów indeksujących w witrynie. W robots.txt zawarte są polecenia dla robotów internetowych odwiedzających strony, które umożliwiają im bądź ograniczają dostęp do określonych zasobów witryny.