Zlepšené vyhodnocování robots.txt

Seznam.cz vylepšil svého SeznamBota. Ten nyní z větší části podporuje navrhovaný rozšířený standard pro robots.txt.

Nově lze určit, jakou maximální rychlostí smí robot procházet web. Přibyl také tag Allow a zápis adresy pomocí regulárních výrazů bashe.

Zdroje:

Štítky:

Napsat komentář