Robots.txt
4 naročniki
4 naročniki
Pozdravljeni,
že nekaj časa gruntam ali je prav, da imam v datoteki roobots.txt napisan naslednji ukaz:
User-agent: *
Disallow:/ime_datoteke
Sitemap: http://www.domena.si/sitemap.xml
Tukaj me predvsem zanima če je prav, da je dodan sitemap v robots.txt, saj želim, da mi ta sitemap google prebira.
Hvala za odgovore
7 odgovorov
Čisto ok imaš. Sicer pa imaš v GWT "testing tool", ki ti pove, koliko datotek je zaradi tvojega robots.txt blokiranih, poglej še tam, če ti pravi, da je vse ok.
Živjo!
Sem nov v SEO in mi roboti povzročajo kar nekaj težav :)
Zanima me, zakaj mi v webmasters piše "Sitemap contains urls which are blocked by robots.txt" ?
Vse blokirane datoteke so pdf. V robots jih nimam pod disallow, tudi če probam allow mi ne dela. Datoteke so na enakih linkih, kot v sitemapu.
Pdf-ji so v mapi images, images niso disallowed. Medtem ko Google slike najde, pdfjov ne.
Res ne razumem zakaj mi jih blokira :/
Hvala!
LP
V GWT poglej pod Iskanje po vsebini - Blokirani spletni naslovi datum, kdaj je Google nazadnje snel robots.txt. Mogoče si imel kdaj v preteklosti blokirano in še ni osvežil datoteke.
Pod Iskanje po vsebini - Zemljevidi spletnih mest vidiš v stolpcu Obdelano, za kdaj veljajo ti podatki. Ali imaš tukaj tudi kakšno vrednost v stolpcu Težave?
Probaj označiti sitemap.xml in izbrati "Znova pošlji", da bo Google znova snel datoteko.
Preden sem naložil robots.txt ga prej spletna stran sploh ni imela. Google ga je nazadnje pregledal pred 16 urami.
Sem sitemap znova poslal in je bil danes obdelan. Piše, da ni težav, medtem ko se mi na Blokiranih spletnih naslovih še kar pojavi teh šest povezav. Sklepam, da mi more refreshat.
Drugače stran nima crawl errorjev.
Google je danes posodobil funkcijo za zahtevo, tako da lahko preveriš, kaj on dejansko dobi od tvojega strežnika.
Iskanje po vsebini - Prenesi kot Googlebot - tu vpišeš naslov strani in klikneš Pridobi.
Če je stran še vedno blokirana, se ti bo desno izpisalo Datoteka robots.txt je zavrnila stran.