Zlepšené vyhodnocování robots.txt

Seznam.cz vylepšil svého SeznamBota. Ten nyní z větší části podporuje navrhovaný rozšířený standard pro robots.txt.

Nově lze určit, jakou maximální rychlostí smí robot procházet web. Přibyl také tag Allow a zápis adresy pomocí regulárních výrazů bashe.

Zdroje:

• Vylepšené zpracování robots.txt (Blog fulltextového týmu)
• Robots.txt (Seznam nápověda)