Robots txt (plik robots.txt) – plik przekazujący robotom wyszukiwarek informacje, które zasoby danej witryny mogą indeksować. Robots txt umieszczany jest w folderze głównym na serwerze strony internetowej. Przy użyciu pliku robots.txt można zarządzać ruchem robotów indeksujących w witrynie. W robots.txt zawarte są polecenia dla robotów internetowych odwiedzających strony, które umożliwiają im bądź ograniczają dostęp do określonych zasobów witryny.
Sprawdź co to znaczy:
- Search i User Intent – czym są intencje wyszukiwania w SEO?
- Personalizacja oferty w sklepie internetowym – przykłady, jak to zrobić efektywnie?
- Jak zaprojektować skuteczną kartę produktową?
- Content GAP – co to jest? Jak przeprowadzić analizę luk w treści na stronie internetowej?
- Sklep na Allegro czy własny sklep internetowy?
