Sitemap și robots.txt validator

robots.txt

• Existență și status HTTP
• Dimensiune (limita Google: 512KB)
• Sintaxă corectă (User-agent, Allow, Disallow)
• Blocări periculoase (Disallow: / care blochează tot site-ul)
• Blocări resurse critice (CSS/JS necesare pentru randare)
• Referințe Sitemap prezente
• Linii nerecunoscute/invalide

sitemap

• Existență (verificați mai multe locații: sitemap.xml, sitemap_index.xml, URL din robots.txt)
• Validitate XML
• Sitemap Index vs sitemap simplu (testați ambele)
• Număr URL-uri (limita: 50.000)
• Dimensiune (limita: 50MB)
• Prezența și format corect
• Verificare status HTTP pentru primele 5 URL-uri (detectează 404, redirectări sau erori server)

De ce se verifică împreună robots.txt și sitemap

Cele două fișiere lucrează în pereche. Primul spune ce are voie un robot să parcurgă, al doilea spune ce merită parcurs. Când se contrazic, apar exact acele situații în care paginile bune lipsesc din index, iar cele fără rost se indexează.

Validatorul le citește pe amândouă și verifică și legătura dintre ele: dacă sitemapul este declarat în robots.txt și dacă adresele din sitemap chiar răspund.

Greșelile pe care le găsim cel mai des

• Regula Disallow: / rămasă de la dezvoltare. Blochează tot site-ul. Se întâmplă la fiecare lansare grăbită și poate trece luni întregi neobservată.
• Blocarea fișierelor CSS și JavaScript. Google trebuie să randeze pagina ca s-o înțeleagă. Fără stiluri și scripturi, o vede stricată.
• Sitemap cu adrese vechi. După trecerea la HTTPS sau după schimbarea domeniului rămân în sitemap adresele anterioare, care redirectează sau dau eroare.
• Pagini cu noindex trecute în sitemap. Un semnal se bate cap în cap cu celălalt, iar sitemapul își pierde credibilitatea.
• Sitemapul nedeclarat în robots.txt, deși există. Se pierde cea mai simplă cale prin care este găsit.
• Fișier robots.txt care lipsește sau răspunde cu eroare. Verificați și varianta cu www, și pe cea fără.

Ce faceți după verificare

1. Reparați întâi blocările: o regulă greșită în robots.txt costă mai mult decât toate celelalte probleme la un loc.
2. Curățați sitemapul de adresele care redirectează, de cele cu eroare și de paginile marcate noindex.
3. Retrimiteți sitemapul din Google Search Console și urmăriți raportul de indexare în zilele următoare.

Robotul nu citește fișierul la fiecare vizită, deci o corectură nu se vede imediat. Reveniți după câteva zile și verificați din nou, apoi treceți restul semnalelor tehnice prin SEO Analyzer.

Greșeli frecvente pe care le scoate la iveală

Verificarea automată prinde tipare care, altfel, rămân ascunse până când traficul scade vizibil.

• Sitemap Index care trimite spre sub-sitemapuri inexistente. Adresa apare listată, dar fișierul din spate a fost șters sau mutat, iar link-ul rămâne mort.
• Linii duplicate de User-agent în robots.txt. Reguli contradictorii pentru același robot fac interpretarea imprevizibilă, în funcție de motorul de căutare.
• Sitemap declarat cu protocol greșit, de exemplu http în loc de https. Adresa nu se potrivește cu domeniul canonic, iar unele instrumente o ignoră.
• Encodare incorectă a caracterelor speciale din URL-uri. Semnele „&", spațiile sau diacriticele netratate corect strică validitatea XML a sitemapului.
• Fișier robots.txt servit cu tip de conținut greșit. Dacă serverul îl trimite ca HTML în loc de text simplu, unele crawlere nu îl mai citesc corect.
• Sitemapuri multiple cu URL-uri suprapuse. Aceeași pagină apare de mai multe ori, ceea ce îngreunează prioritizarea din partea motorului de căutare.

Când nu ajunge o verificare automată

Un validator citește fișierele așa cum sunt scrise, dar nu poate confirma dacă structura logică a site-ului se potrivește cu ce ați intenționat de fapt.

Rămân de verificat manual câteva aspecte: dacă adresele din sitemap corespund cu strategia reală de conținut, dacă paginile importante ajung acolo automat la fiecare publicare și dacă regulile din robots.txt reflectă structura curentă a site-ului, nu una veche.

Merită de asemenea urmărit comportamentul robotului de căutare în timp, nu doar o citire punctuală a fișierelor. Rapoartele din Google Search Console arată dacă adresele blocate sau incluse produc efectul dorit sau dacă apar excluderi neașteptate.

Când aceste semnale se adună la un volum de pagini afectate sau la o scădere de trafic fără explicație clară din fișiere, un audit SEO complet pune problemele tehnice în context cu restul factorilor de indexare și clasare.

Am construit această unealtă pornind de la verificările pe care le facem în auditurile SEO, ca aceleași controale să le poată rula oricine, gratuit.