Definicja pojęcia - Robot wyszukiwarki internetowej

Robot wyszukiwarki internetowej (crawler, bot, pająk, robot wyszukiwarki, Googlebot) – program komputerowy używany przez wyszukiwarki internetowe w celu automatycznego zbierania informacji o strukturze i zawartości stron internetowych. Roboty wyszukiwarki internetowej służą przeważnie do dodawania treści do wyszukiwarek internetowych, sprawdzania kodu strony, pozyskiwania informacji o stronach do odpowiedniego ich zaindeksowania, monitorowania nowości wprowadzanych na stronach oraz tworzenia kopii stron.

Sprawdź co to znaczy: