Brak zaindeksowania forum w Google

[devv]

Cześć! Mam problem z zaindeksowaniem mojej strony, dokładniej forum opartego na IPS.

 

W poniedziałek dodałem stronę do Google Search Console, zadbałem o SEO od strony technicznej, a mimo tego strona nie została zaindeksowana, nawet po ponownej próbie zaindeksowania przez Google.

 

Trochę mnie to martwi, bo stworzyłem już kilka stron i zazwyczaj zawsze indeksowały się one prawidłowo. Zwykle, po kilku godzinach od dodania domeny do GSC, strona pojawiała się w wynikach wyszukiwania. Teraz, po wpisaniu „site:domena.com” w Google, nic się nie wyświetla. Sprawdziłem, czy na stronie nie ma znacznika „noindex”, ale nie znalazłem go w panelu admina. Poza tym, domyślnie IPS nie blokuje dostępu dla robotów.

 

Czy ktoś ma pomysł, czym to może być spowodowane?

Czy może domena .com potrzebuje więcej czasu na zaindeksowanie? A może ktoś, kto zna się na tym temacie, mógłby rzucić okiem, co może być nie tak?

 

Z góry dziękuję za wszelkie sugestie!

[Gryzli]

A używasz cloudflare ?

Bo może tam zablokowane jest Google 

Edytowane 7 Listopada przez Gryzli

[Tom X]

@devv W GSC masz narzędzie "Sprawdzenie adresu URL". Wklep tam sobie stronę główną, jeśli nie ma jej w indeksie - wymuś prośbą o jej zaindeksowanie.  Powinieneś otrzymać raport o stanie strony, coś w tym stylu:

 

[devv]

5 minut temu, Tom X napisał(a):

W GSC masz narzędzie "Sprawdzenie adresu URL". Wklep tam sobie stronę główną, jeśli nie ma jej w indeksie - wymuś prośbą o jej zaindeksowanie.

 

No to wygląda u mnie to tak:

 

 

15 minut temu, Gryzli napisał(a):

A używasz cloudflare ?

Bo może tam zablokowane jest Google 

 

Podpowiesz, w którym miejscu to może być? Tak, korzystam z CloudFlare.

[Gryzli]

Zobacz tutaj 

 

Control AI crawlers

Block AI training bots

Deploys a Cloudflare-managed rule to block bots that we categorize as AI training crawlers from visiting your site.

Block on all pages

 

 

See the list of bots and learn more

Manage your robots.txt

Set how Cloudflare manages your robots.txt file, which tells bots and crawlers how they should interact with your site.

Instruct AI bot traffic with robots.txt

 

 

Learn more

 

 

Poszukaj po lewo AI Crawl Control

I tam masz boty blokowane i dozwolone 

GooglebotGoogle

Edytowane 7 Listopada przez Gryzli

[devv]

@Gryzli tutaj mam wszystko odblokowane.

 

Sprawdziłem też limity na swoim koncie hostingowym, wszystkie są prawidłowe i system nie odnotował żadnych przeciążeń, natomiast GSC twierdzi inaczej. Hmmm.

[Gryzli]

 

 

Jeszcze zobacz twoja domena .ok/robots.txt 

 

Jak będzie tam 

 

User-agent: Google-Extended
Disallow: /

To znaczy że blokuje 

[devv]

Mam taką regułę w robots.txt odnośnie wyszukiwarki Google.

 

# Ustawienia dla Googlebot
User-agent: Googlebot
Disallow: 

 

[Gryzli]

To masz Blokadę wszystkich adresów zawierających jakiekolwiek parametry

Musisz usunąć ten wpis 

Jak to usuniesz powinno być już wszystko w porządku.

 

Jak cos cieszę się że mogłem pomóc 

[devv]

Teraz, Gryzli napisał(a):

To masz Blokadę wszystkich adresów zawierających jakiekolwiek parametry

Musisz usunąć ten wpis 

 

W sumie tą regułę dodałem nieco ponad godzinę temu, wcześniej nie miałem jej w ogóle. Tak mi podpowiedział chatgpt XD.

Więc to raczej na pewno nie jest przyczyną indeksowania.

[sempre]

Sprawdź czy w meta tagach nie masz przypadkiem noindex, nofollow. IPS też ma kilka opcji, które włączone wymuszają dynamicznie noindex, zobacz czy masz włączone przyjazne urle, i wyłączony privacy mode. Zobacz też czy w htaccess nie masz noindex, nofollow. Potem zweryfikuj w gcs poprzez dns (nie html) domenę ponownie. Odczekaj tak do tygodnia, google zależnie od crawl budgetu dla Twojej domeny może ją załapać szybciej lub wolniej, zakładam że wolniej jak świeża domena.

[Tom X]

Plik robots.txt był poprawny, o czym świadczy fragment zacytowanego raportu GSC.
W Ustawieniach GSC powinieneś mieć coś takiego:

 

Domyślny config CF nie blokuje googlebota.

[devv]

9 minut temu, sempre napisał(a):

Sprawdź czy w meta tagach nie masz przypadkiem noindex, nofollow. IPS też ma kilka opcji, które włączone wymuszają dynamicznie noindex, zobacz czy masz włączone przyjazne urle, i wyłączony privacy mode. Zobacz też czy w htaccess nie masz noindex, nofollow. Potem zweryfikuj w gcs poprzez dns (nie html) domenę ponownie. Odczekaj tak do tygodnia, google zależnie od crawl budgetu dla Twojej domeny może ją załapać szybciej lub wolniej, zakładam że wolniej jak świeża domena.

 

Patrzyłem po plikach IPS'u i nie zauważyłem żadnych noindex/nofollow. Posiadam przyjazne URL, oraz prawidłową konfiguracje. W pliku .htaccess nie mam żadnych reguł związanych z botami, także na pewno nie ma też tam noindex/nofollow. Weryfikacje w GCS mam zrobioną przez DNS -> CloudFlare. Więc chyba wszystko dobrze.

 

9 minut temu, Tom X napisał(a):

Plik robots.txt był poprawny, o czym świadczy fragment zacytowanego raportu GSC.
W Ustawieniach GSC powinieneś mieć coś takiego:

 

Domyślny config CF nie blokuje googlebota.

 

Plik robots.txt jest prawidłowy i nie wskazuje żadnych błędów.

 

EDIT:

A chyba takie ustawienia w CF nie powodują braku zaindeksowania?

Edytowane 7 Listopada przez devv

[Tom X]

To, co mi przychodzi do głowy, to postawić prosty plik abcd.html (z podstawowym setem HTML5) w katalogu głównym, który ominie podsystem PHP/SQL i silnik forum, następnie spróbować ten adres ręcznie zaindeksować. 

Edytowane 7 Listopada przez Tom X

[devv]

3 minuty temu, Tom X napisał(a):

To, co mi przychodzi do głowy, to postawić prosty plik abcd.html (z podstawowym setem HTML5) w katalogu głównym, który ominie podsystem PHP/SQL i silnik forum, następnie spróbować ten adres ręcznie zaindeksować. 

 W gwoli doprecyzowania, potem spróbować ponownie zaindeksować domenę główną czy dodać nową stronę "domena.pl/abcd" do GSC i poprosić o zaindeksowanie?

[sempre]

Dodaj w ustawieniach firewalla samego CF bypass dla googlebota: Field: User Agent Operator: contains Value: Googlebot then allow. No i najzwyczajniej w świecie zobacz access logi i error logi jaki jest return code dla googlebota.
 

[Tom X]

@devv Podsunąć GSC pod nos: https://domena_pl/abcd.html i poprosić o zaindeksowanie tego konkretnego adresu (uprzednio sprawdzając, czy wyświetla się poprawnie w przeglądarce).

[Gryzli]

51 minut temu, Tom X napisał(a):

Domyślny config CF nie blokuje googlebota.

A to dziwne bo mi było zablokowane domyślnie. Może teraz jest inaczej? 

[devv]

28 minut temu, Tom X napisał(a):

@devv Podsunąć GSC pod nos: https://domena_pl/abcd.html i poprosić o zaindeksowanie tego konkretnego adresu (uprzednio sprawdzając, czy wyświetla się poprawnie w przeglądarce).

 

Wyskakuje ten sam błąd co na głównej domenie.

[Gryzli]

@devv spróbuj może wyłączyć CF i zobacz czy przyjmuje jeżeli tak to będzie wina w konfiguracji CF jeżeli nie to dalej będzie ci nie przyjmować i trzeba pogrzebać głębiej. 

[darekm]

domena z odzysku czy nowka nigdy nie używana ? czy w logach serwera widzisz  czy google  chodzi po niej 

[Juvenito]

Sprawdź czy nie jest zablokowana przez Google. Ja tak miałem gdy kupiłem domenę a ktoś robił na niej spam. Google zablokowało a ja przez rok próbowałem ją odblokować i za każdym razem była odmowa. 

[DawPi]

9 godzin temu, devv napisał(a):

zadbałem o SEO od strony technicznej

Czyli co dokładnie Ty zrobiłeś?

[Tom X]

Kartotekę "złego sprawowania" domeny można sprawdzić w zakładce "Bezpieczeństwo i ręczne działania". 

[devv]

10 godzin temu, Tom X napisał(a):

Kartotekę "złego sprawowania" domeny można sprawdzić w zakładce "Bezpieczeństwo i ręczne działania". 

W tej zakładce wszystko jest prawidłowe.

 

18 godzin temu, Gryzli napisał(a):

@devv spróbuj może wyłączyć CF i zobacz czy przyjmuje jeżeli tak to będzie wina w konfiguracji CF jeżeli nie to dalej będzie ci nie przyjmować i trzeba pogrzebać głębiej. 

Wczoraj tak zrobiłem, wyłączyłem, zmieniłem DNS'y na domyślne, zaktualizowały się i złożyłem prośbę o ponowne zaindeksowanie, niestety z tym samym skutkiem. Czyli to nie wina ustawień CloudFlare.

 

15 godzin temu, darekm napisał(a):

domena z odzysku czy nowka nigdy nie używana ? czy w logach serwera widzisz  czy google  chodzi po niej 

Kupiłem domenę 1 listopada tego roku, niestety przed tym nie sprawdzałem jej historii. Według webarchive, w latach 2014-2016 był na niej jakiś ruski portal o grach. Poklikałem trochę po nich i prócz tego że był ruski, nie wskazywał na jakiś scam. Po prostu ruski portal o grach, nowościach etc.

 

Dziwna sprawa, dwa dni walczyłem z tym, przeszukałem wszystkie zakładki w IPS, w CloudFlare, ale nie znalazłem nic odnoszącego się do braku możliwości zaindeksowania.

Wczoraj wysłałem do Google ticket, że domena nie może zostać zaindeksowana. Prócz wybrania dwóch czy tam trzech gotowych opcji, nie mogłem nic więcej napisać.
Teraz czekać cierpliwie, aż dostane jakiegoś maila od Google w tej sprawie.