Všechny články, které Seznam.cz vyhodnotí jako zpravodajské by se nyní měly do indexu dostávat až o 30% rychleji.
Rychlost jsme zlepšili díky novému procesu stahování webových stránek, jehož nejdůležitější částí je nová komponenta Dolores. Novinky z internetu se tak dostanou dříve do hledání a k uživatelům.
V průběhu roku 2016 jsme přidávali počty zdrojů, kde Freshbot hledá nový obsah, a kvůli tomu původní způsob stahování přestával technologicky i výkonností vyhovovat. Proto jsme jej nahradili novou komponentou Dolores, jejíž název je akronymem z „Downloader Services“.
Po nasazení jsme změřili, že počet webových stránek, které Freshbot posílá k indexaci takřka okamžitě potom, co je objeví, se díky Dolores zvýšil na dvacetinásobek. Aktuálně Dolores stahuje v průměru tisícdokumentů za minutu.
V průběhu dne nastávají výkyvy v počtu nově vzniklých webových stránek, například noční publikace článků na zpravodajských serverech. Díky lepší stabilitě a propustnosti Dolores, a tím i celého Freshbota, tyto výkyvy už indexaci nově vzniklých webových stránek nezpomalují.
Zatím jsme na začátku toho, co od Dolores očekáváme.
Pingback: SeznamBot ještě rychleji prochází odkazy - Informace o změnách ve vyhledávačích