Indeksiranje web stranice: zašto vam neke stranice nisu vidljive na Googleu?

Ako vas zanima kako se web stranice pojavljuju na Google rezultatima, valja razumijeti proces indeksiranja web stranica

Da bi mogao pronaći i rangirati web stranice, Google mora proći kroz tri koraka:

1. Otkrivanje: Googlebot otkriva nove i ažurirane stranice te ih dodaje u red za crawlanje
2. Crawlanje– Googlebot pretražuje sadržaj otkrivenih stranice i informacije sprema u red za indeksiranje
3. Indeksiranje – Analizira sadržaj na stranicama i odlučuje hoće li ih indeksirati ili ne

Tek onda slijedi rangiranje kad Google odlučuje  za koje ključne riječi i namjeru pretrage treba neku web stranicu rangirati

Proces samog indeksiranja web stranice nije uvijek jednostavan, što otkriju mnogi nakon što launchaju web stranicu, ali i mnogi nakon što imaju web stranicu godinama.

Što kad launchate novi web?

Ponekad launchate web i zadovoljni ste. Ukucate web adresu, sve se lijepo vidi. Međutim, ne možete se pronaći preko Googlea.  Da bi je Google vidio, morate stranicu prijaviti putem Google Search Console.  Googlebot će potom crawlati i indeksirati stranice na vašoj domeni te će je prema pronađenom sadržaju krenuti rangirati. I nećete odmah zasjati na vrhu Google rezultata jer krećete od nule. No trebali biste moći ukucati direktan link u polje za pretragu i dobiti rezultat. To je znak da je Google vidio i indeksirao vašu stranicu.

Što ako to jeste već napravili, a i dalje vaših stranica nema na rezultatima pretraga?

Ponekad stranice s razlogom nisu indeksirane. Možda ne želite da na Googleu budu vidljivi određeni dijelovi na vašoj domeni te ćete kroz robots.txt file blokirati pristup tim stranicama. To rade web developeri, a ponekad greškom blokiraju puno više toga nego što biste htjeli.

No ponekad postoji drugi problemi koji rezultiraju izostankom s Google rezultata.

Vlasnici Google propertyja i njihovi administtatori će u slučaju grešaka dobiti mail od Googlea  sa sljedećom ili sličnom porukom, a tad je vrijeme za akciju.

Ponekad nećete dobiti poruku ili ćete ju propustiti, pa je potrebno manuealno (pješke) redovito provjeravati Google Search Consolu kako biste na vrijeme uočili greške poput  “𝘿𝙞𝙨𝙘𝙤𝙫𝙚𝙧𝙚𝙙 – 𝙘𝙪𝙧𝙧𝙚𝙣𝙩𝙡𝙮 𝙣𝙤𝙩 𝙞𝙣𝙙𝙚𝙭𝙚𝙙”.  Ako je neka vaša stranica u statusu označena na ovaj način, to znači da postoje problemi s indeksiranjem. Imate li malen website i puno takvih grešaka, moguće je da Google ne smatra vaše stranice bitnima i vrijednima te je vrijede za procjenu kvalitete vašeg sadržaja.

Greške s indeksiranje: Zašto Google ne indeksira sve vaše web stranice?

Možete jednostavno pronaći koje su stranice indeksirane, a koje ne klikom na Pages u lijevom izborniku Search Console:

Ovdje sam označila one stranice koje su Discovered – currently not indexed jer to indicira da postoje problemi s indeksiranjem od prvog koraka.

Greška  ‘Discovered – currently not indexed‘ je status vaše stranice u Google Search Consoli (skraćeno GSC) koji govori da Google zna da ta stranica postoji, ali je nije još crawlao i indeksirao

Greška “Crawled – currently not indexed” ukazuje da je Google već crawlao URL-ove, no nije ih još indeksirao. Za većinu stranica ovo je stanje normalno i riješit će se čim Google obradi URL-ove i doda ih u svoj index. Dosta često na popisu ovih stranica budu  XML sitemape, robots.txt i paginacije, nešto oko čega se ne trebate brinuti.

ŠTO NAPRAVITI u slučaju da otkrijete neindeksirane stranice i grešku Discovered – currently not indexed:

Prvo pogledaje popis svih stranica koje nisu indeksirane i  napravite zahtjev za indeksiranjem web stranice:

Ako vas zanima neki specifičan link za kojeg ste otkrili da ga nema na Googleu, kliknite na link  “URL inspection” u izborniku i ukucajte stranicu koja nije vidljiva na Googleu.  Ako se pokaže greška da stranica nije indeksirana, kliknite gumb “Request indexing”.

Ako je sve u redu, dobit ćete poruku da je „URL dodan u red za crawlanje“.

Ako se problem ne riješi kroz nekoliko dana, vrijeme je za analizu i konkretniju akciju.

Ovo je 6 mogućih razloga zašto imate problema s indeksiranjem web stranice (i kako ih riješiti):

1. Vrijeme

Jednostavno, indeksiranje vaših web stranica ne događa se automatski i instant jer botovima treba neko vrijeme da pročešljaju vaše stranice.

Google često ne crawla odmah sve stranice te možete dobiti grešku zbog toga. To ne znači da se stranice nikad neće crawlati i indeksirati. Kod launcha novih web stranica budite strpljivi. Googleu i drugim tražilicama treba neko vrijeme da indeksiraju sve stranice.

2.  Mali crawl budget /previše stranica

Imate li ogroman web s preko 10.000 stranica, nije nemoguće da imate jednostavno previše sadržaja koje Google ne stiže indeksirati. Ili misli da nije vrijedno vremena.

Pročistite one stranice koje nisu bitne da budu vidljive na Googleu, npr. stranice s automatski generiranim sadržajem, filtriranim proizvodima, rezultatima pretraga na webu (site search), admin dijelovi stranice, „Dodaj u košaricu“ stranice i slične. Ne želite da Googlebot troši vrijeme na te stranice, neka se fokusira na one koje će dovesti korisnike s tražilice. Blokirajte sve low-quality stranice putem robots.txt filea.

3. Tehničke greške

Ponekad na jednoj domeni postoje stranice s puno tehničkih grešaka. Ukoliko Google kontinuirano nailazi na error stranice i redirekcije, moguće je da će ih prestati indeksirati. Zna da te stranice postoje (otkrio ih je!), ali  ih je odbio indeksirati i rangirati među rezultatima.

Pregledajte sve stranice i tražite one koje nisu aktivne, koje su duplicirane, koje rezultiraju greškama itd te ih pročistite. Posebno se pozabavite stranicama s greškama (4xx kodovi) i redirekcijama (kodovi 301 i 302).

4. Loša interna link struktura

Interno linkanje stranica može olakšati posao Googlebotu da lakše pronađe i indeksira vaše stranice.

Imate li puno nofollow linkova na vašoj stranici to neće onemogućiti Google da ih indeksira, ali je signal koji im govori da te stranice nisu bitne.

Poboljšajte međusobne veze među stranicama kako biste pomogli Googleu da bolje shvati vezu između stranica. Linkajte svaku stranicu s barem 2-3 druge, a vama najbitnije stranice linkajte direktno s naslovnice jer ona je najvažnija stranica na domeni koju Googleu prvo indeksira.

5. Loša kvaliteta sadržaja

Možda je sadržaj vaših stranica naprosto loš. Kod novih i manjih webova ovo je najčešći razlog zašto dobivate grešku da Google nije indeksirao neke stranice iako zna za njih.

Ukoliko ste novu web radili isključivo sa sadržajem koji je AI-generiran, moglo bi vam se dogoditi upravo ovo – da Google ne indeksira vaše stranice. Razlog je jednostavan: Google je taj sadržaj već vidio negdje drugdje i ne smatra da vi nudite išta novo i vrijedno indeksiranja.

Možda je puno sadržaja duplikat već nečeg što postoji na vašim stranicama. Nije uvijek AI sadržaj krivac, nekad se dogodi da na domeni postoje stranice s gotovo identičnim sadržajem pa Google odluči da nema smisla korisnicima na tražilici ponuditi sve te stranice.

Možda sadržaja ima premalo (ispod 200 riječi). U tom slučaju radi se o tzv. tankom sadržaju pa svakako dodajte još originalnog i kvalitetnog sadržaja.

6. Loši serveri

Problemi s crawlanjem mogu nastati i zbog preopterećnosti servera (zbog čega sporije reagira). Ako Googlebot naiđe na preopterećen server, možda neće moći crawlati sve stranice. To ne znači da se neće kasnije nekad vratiti i opet pokušati, samo da možda taj put neće indeksirati neke web stranice.

Možete provjeriti u svojoj Google Search Consolu Crawl statistike i provjeriti koliki mu je prosječan response time, a odmah ćete dobiti i poruku jeste li u proteklih 90 dana imali problema s hostingom.

Kada otkrijete greške s indeksiranjem web stranica, znam da je to frustrirajuće. No većina stvari je rješiva.

Trebate pregled web stranice? Kroz SEO audit detektirat ćemo probleme i napraviti SEO optimizaciju koja će rezultirati boljom vidljivošću među Googleovim rezultatima pretrage.