Măsurători

Ce s-a măsurat, pe ce și ce a ieșit

Afirmațiile despre un rezultat curat nu valorează nimic fără un corpus și un script. Amândouă sunt publicate.

Prima rulare: 109 pagini, patru motoare

Corpusul este format din cele o sută de site-uri cele mai vizitate din lume și din cele o sută cele mai vizitate din Rusia. Domeniile fără conținut editorial – mesagerie, bănci, streaming, portaluri guvernamentale – au fost excluse din start. Paginile au fost preluate cu un browser real, urmând de pe fiecare pagină principală un link către conținut, acolo unde exista unul.

Patru motoare au rulat peste același DOM preluat: Defuddle (nucleul clipperului oficial Obsidian), Mozilla Readability, codul livrat al unui al treilea clipper Markdown, despachetat din versiunea lui din magazin, și Clean Clipper.

Unde Clean Clipper stă mai prost: a găsit 20 de autori față de 28 la cel mai bun motor și a extras 4 tabele față de 11 – deși 41 din cele 56 de tabele-sursă stau pe o singură pagină și sunt tabele de așezare, nu conținut, pe care niciun motor nu ar trebui să le extragă. Proporția lui de „text util” este mai mică pentru că refuză paginile de tip flux, pe care celelalte motoare le întorc fără să clipească.

A doua rulare: 403 pagini în douăsprezece limbi europene

Primele cincizeci de site-uri din fiecare dintre cele douăsprezece țări, preluate cu browserul setat pe limba țării, pentru că altfel jumătate dintre ele servesc o pagină în engleză și se măsoară cu totul altceva.

Ce înseamnă cifrele

• Etichete HTML rămase – cât marcaj brut a supraviețuit în Markdown. Orice peste zero este un defect.
• Linii de meniu duplicate – linii mai lungi de douăsprezece caractere care apar de mai multe ori. Aceasta este navigația repetată în fiecare secțiune.
• Proporția liniilor scurte – ponderea liniilor sub douăzeci și cinci de caractere. O valoare mare înseamnă liste de linkuri preluate, nu text curgător.
• Proporția linkurilor – ponderea caracterelor aflate în etichete de link. O valoare mare înseamnă că a venit și un meniu.

Limitele sincere ale acestei măsurători

• Eșantionul ucrainean are 13 pagini, nu 40 – cea mai mare parte a corpusului nu a răspuns din punctul de preluare. Rândul acela este doar orientativ.
• Listele turcești și cehești de top 50 înclină spre magazine și orare, care nu poartă nicio dată de publicare. Este o însușire a corpusului, nu a extragerii.
• Motoarele concurente au rulat numai pe primul corpus. Rularea europeană măsoară doar Clean Clipper.
• Paginile pe care toate motoarele au întors sub 500 de caractere au fost excluse: acolo este un captcha sau o blocare, nu o problemă de extragere.

Întrebări