Jednym z najważniejszych kwestii pozycjonowania jest indeksowanie. Dzięki temu Twoja strona jest widoczna w wyszukiwarce, a dokładnie poszczególne jej podstrony są wyświetlane na konkretne frazy kluczowe. Zdarzają się jednak sytuacje, w których pomimo tego, że regularnie umieszczasz na domenie jakieś treści lub tworzysz artykuły, to wyszukiwarka ich nie widzi lub nie aktualizuje. Co może być powodem? Jakie są przyczyny problemów związanych z indeksowaniem, które mogą skutkować brakiem wejść na Twoją stronę?
Czym jest indeksowanie?
Indeksacja to nic innego, jak proces umieszczania domen, ich podstron, treści i wszelkich informacji zawartych na stronach w wyszukiwarce. Zanim Google zaindeksuje Twoje podstrony, musi je jednak odkryć. Jeśli którykolwiek z procesów indeksacji pójdzie nie tak, to mogą wystąpić problemy z widocznością domeny dla użytkowników. W większości przypadków, Google samo indeksuje każdą ze zaktualizowanych lub nowych podstron. Jest to fundamentalna część tego, czym wyszukiwarka w ogóle jest. Następuje to w różnym czasie. Niestety, ale czas ten jest aktualnie niezdefiniowany i może potrwać od kilku godzin, do kilku dni. Istnieje jednak wiele powodów, dla których Google może odrzucić Twoją domenę w procesie jakim jest indeksowanie.
Jak sprawdzić, czy moja strona się indeksuje?
- Site:domena.pl
Najbardziej popularnym sposobem sprawdzenia indeksowania domeny, jest wpisanie w Google formuły „site:domena.pl”. Przy czym najlepiej jest korzystać z formuły bez http, https, czy www, czyli „site:kompan.pl” (www jest traktowane w zasadzie jako subdomena). Formułę tę wpisujemy bezpośrednio w polu wyszukań. Powoduje one wyświetlenie się większości (ale prawdopodobnie nie wszystkich) zaindeksowanych podstron z Twojej domeny.
Google może nie wyświetlać wszystkich zaindeksowanych podstron, a szczególnie jest to popularne zjawisko przy dużych domenach (np. sklepach), ponieważ część podstron może znajdować się na innym serwerze Google (w innym indeksie) – to tak bardzo ogólnie.
Po formule „site:” możesz również wpisać konkretną podstronę i sprawdzić stan jej indeksu, np. site:kompan.pl/pozycjonowanie-stron-www/.
- Google Search Console – stan indeksu
Drugim popularnym sposobem jest weryfikacja danych w Google Search Console. Aby jednak dojść do tych informacji, musisz wdrożyć na stronę odpowiedni kod zbierający dane. Gdy już znajdziesz się w panelu GSC, możesz sprawdzić „stan indeksu”. Znajdujące się tam wykresy pozwolą Ci zobaczyć (mniej więcej), ile podstron na Twojej witrynie jest zaindeksowanych w wyszukiwarce. Możesz również sprawdzić tam, ile linków zostało zablokowanych lub usuniętych. Wszystkie te i inne dane widnieją na wykresie oraz w liczbach również w zakresie historycznym. Dzięki temu możesz monitorować stan indeksu Twojej domeny w czasie.
- Google Search Console – ręczne sprawdzenie adresu URL
Równocześnie, możesz wyszukać adres w Google Search Console ręcznie w narzędziu do sprawdzania adresów URL. W tym celu musisz wpisać cały adres, którego może dotyczyć problem w wyszukiwarce na samej górze. Jeśli otrzymasz komunikat, że podstrona nie jest zaindeksowana, możesz szukać dalszej przyczyny.
- Google Search Console – mapa strony
Kolejnym sposobem weryfikacji indeksacji jest wrzucenie do Google Search Console informacji o pliku mapy strony (która jest spisem wszystkich podstron na domenie), a następnie analiza ilości przesłanych w tej mapie linków do wyszukiwarki. W skrócie, po czasie można sprawdzić, ile linków zostało przesłanych, a ile z nich realnie się zaindeksowało. Również dzięki porównaniu danych ze „stanu indeksu”.
Jeśli domena dotychczas wyświetlała się po wpisaniu konkretnych fraz kluczowych w Google, a tym razem jej nie widać (po wykluczeniu klasycznego spadku pozycji) nawet w TOP100, to również może być oznaka wyindeksowania się poszczególnych podstron. Niekiedy wiążę się to np. z wirusem znajdującym się na stronie, jednak obraz tego zazwyczaj jest widoczny we wspomnianym Google Search Console.
Co może być przyczyną problemów z indeksacją?
Problemy z indeksacją są spowodowane zazwyczaj popularnymi przyczynami. Sprawdź, dlaczego Twoja strona się nie indeksuje. Poznaj najczęstsze powody:
- Upewnij się, że Twoja domena nie ma przypisanych atrybutów „noindex” i/lub „nofollow”. Googlebot odwiedza witrynę, aby między innymi określić, które podstrony nadają się do indeksowania lub które po prostu zaindeksować. Innymi słowy, jego funkcja to informowanie wyszukiwarki o podstronach lub całych stronach, które później Google może również odwiedzić (np. w procesie wpisywania przez użytkownika frazy). Musisz upewnić się zatem, czy przypadkiem nie posiadasz na stronie któregoś z wymienionych wyżej atrybutów, ponieważ uniemożliwiałyby one wyszukiwarkom indeksację.
<meta name=“robots” content=“noindex”>
<meta name=“googlebot” content=“noindex”>
- Sprawdź reguły, jakie znajdują się w pliku robots.txt. Plik ten znajduje się na serwerze w głównym katalogu strony, powinien być więc widoczny w ścieżce: www.domena.pl/robots.txt. Upewnij się, że nie ma tam komunikatów blokujących indeksowanie lub wejście robota Google. Przede wszystkim zweryfikuj, jakim podstroną przypisany jest tag Disallow, np.:
Disallow: / – blokuje całą stronę.
Disallow: /katalog/ – blokuje konkretny katalog strony.
Zdarza się bowiem, że przez przypadek zablokowana jest podstrona, która powinna być dostępna dla Googlebota. Miej na uwadze, że część podstron lub katalogów zablokowana jest celowo, aby nie tworzyć np. kopii wewnętrznych, aby nie kierować gdzież użytkowników, itp.
- Podobnie, jak w pliku robots.txt, zweryfikuj komendy wpisane w plik .htaccess. Jest on zazwyczaj ukryty na serwerze w folderze WWW lub w katalogu public_html. Źle skonfigurowany .htaccess może być powodem np. pętli przekierowań , które sprawią, że podstrony w tym uczestniczące, nie będą indeksowane.
- Mapa strony – plik sitemap.xml znajdujący się również na serwerze i umieszczony zazwyczaj pod adresem: domena.pl/sitemap.xml. Plik ten jest spisem treści wszystkich aktywnych podstron na domenie, jest to niejako menu dla Googlebota. Zweryfikuj jego poprawność i przede wszystkim aktualność. Ale to nie wszystko! Poprawnie skonfigurowany i aktualny plik sitemap.xml powinien znaleźć się w Google Search Console, a w zasadzie ścieżka do niego musi zostać tam umieszczona (czyli wspomniana domena.pl/sitemap.xml). Służy do tego odpowiednia sekcja w GSC, gdzie wskazujesz, w którym miejscu na serwerze się ten plik znajduje. Weryfikacja GSC następuje niemal od razu i pozwoli Ci stwierdzić, czy plik strony jest utworzony w sposób poprawny (czyli czy zawiera poprawne formuły). Jednak w tej sekcji nie sprawdzisz, czy wszystkie podstrony znajdują się w indeksie. Do tego służy inne miejsce.
Docelowo każda podstrona, nieposiadająca „noindex” i wyświetlająca się poprawnie na domenie (po wykluczeniu wszystkich innych ewentualnych problemów), umieszczona w pliku sitemap.xml oraz przesłana w GSC, powinna się prędzej, czy później zaindeksować.
- Bezpośrednią i dość częstą przyczyną braku indeksacji, są problemy na serwerze, z ogólną łącznością lub z DNSami. Skutek jest taki, że Googlebot nie będzie mógł dotrzeć do Twojej strony lub wyłącznie do pojedynczej podstrony chcąc ją zaindeksować. Błędy serwera 5xx (np. 500, 503) najczęściej uniemożliwiają wejście użytkowników na stronę, to samo dzieje się z robotem Google, kiedy strona nie posiada statusu 200.
- Historia domeny również może stanowić problem w indeksacji. Tworząc nową stronę i poszukując nazwy domeny, upewnij się, że jej historia jest „czysta”. Jeśli domena była wcześniej używana i została przez Google uznana za np. spamerską (bo była farmą linków, katalogiem lub nawet szerzyła pornografię), to również mogą wystąpić późniejsze problemy w indeksacji, nawet pomimo pomyślnego przesłania mapy witryny w Google Search Console.
- Inną, dość ogólną przyczyną problemów z indeksacją może być fakt, że treść na Twojej domenie została uznana za kopię innej treści. To dość rzadki przypadek, ale w momencie, gdy znaczna większość np. opisów kategorii, produktów jest skopiowana jeden do jednego z innej strony internetowej, to wartość informacyjna Twojej domeny jest równa „0”.
- Niekiedy używanie niepoprawnych linków kanonicznych również może spowodować problemy z indeksowaniem. Linki kanoniczne wskazują Googlebotowi, która podstrona jest tą wiodącą i preferowaną. Przydają się one zazwyczaj, jeśli mamy dwie wersje tej samej podstrony, albo posiadamy dwie domeny, z których bezpośrednio kopiujemy. Tworzenie niepoprawnych linków kanonicznych, prowadzących np. do podstron, które nie istnieją, albo nie są wersją oryginalną, może skutkować problemami z indeksacją.
Jaką wartość przedstawia Twoja strona internetowa?
Reasumując, aby strona została poprawnie zaindeksowana, przechodzi coś w rodzaju kontroli jakości. Kontrola ta odbywa się na różnych etapach oraz obejmuje wiele elementów zgodnych najczęściej z tzw. czynnikami rankingowymi. Google nie ujawnia wprost, w jaki sposób ocenia witrynę, jednak odgórnie przyjmuje się, że dzieje się to na podstawie wspomnianych czynników jakości. W ich skład wchodzą nie tylko wspomniane wyżej elementy (jak poprawne działanie serwera, mapa strony, odpowiednie formuły zawarte w pliku robots.txt), ale również np. ocena struktury linków wewnętrznych, czy linkowanie pochodzące z zewnątrz (tzw. działania offsite).
Pamiętaj, że zaindeksowanie nie równa się znalezieniu się wysoko w rankingu (w TOP 10). Indeksacja oznacza, że strona w ogóle brana jest pod uwagę w osiągnięciu oczekiwanej pozycji na frazy kluczowe. Dzięki samemu zaindeksowaniu witryny nie osiągniesz świetnego ruchu oraz wyświetleń. Od tego jest odpowiednio skrojona optymalizacja pod pozycjonowanie stron internetowych. SEO (pozycjonowanie) obejmuje między innymi dostosowanie strony do wspomnianych czynników rankingowych, dzięki czemu Google lepiej oceni Twoją witrynę zgodnie ze swoim rankingiem użyteczności (względem użytkownika).
Nie pozostawaj w tyle i nie dawaj Googlebotowi powodów do tego, aby nisko ocenił Twoją witrynę. Pozbądź się problemów technicznych, które nawet w przyszłości mogą Cię zaskoczyć i spowodować problemy z indeksowaniem.