Mätning

Vad som mättes, på vad, och vad som kom ut

Påståenden om ren utdata är värda noll utan ett korpus och ett skript. Båda är publicerade.

Körning ett: 109 sidor, fyra motorer

Korpuset är de hundra mest besökta webbplatserna i världen och de hundra mest besökta i Ryssland. Domäner utan innehåll – meddelandetjänster, bank, strömning, myndighetsportaler – sorterades bort i förväg. Sidorna hämtades med en riktig webbläsare, via en innehållslänk från startsidan där en sådan fanns.

Fyra motorer kördes över samma hämtade DOM: Defuddle (kärnan i Obsidians officiella clipper), Mozilla Readability, den faktiska koden ur en tredje Markdown-clipper uppackad från dess butiksbygge, och Clean Clipper.

Mått	Motor A	Motor B	Motor C	Clean Clipper
Sidor	109	107	107	109
Misslyckanden	0	2	2	0
Kvarlämnad HTML	532	718	2	0
Dubblerade menyrader	491	282	478	102
Andel korta rader	0.278	0.262	0.263	0.220

Där Clean Clipper ligger efter: det hittade 20 författare mot 28 för den bästa motorn, och extraherade 4 tabeller mot 11 – även om 41 av de 56 tabellerna i källorna sitter på en enda sida och är layout, inte innehåll, som ingen motor borde extrahera. Dess andel ”användbar text” är lägre för att den vägrar flödessidor som andra motorer gladeligen lämnar ifrån sig.

Körning två: 403 sidor på tolv europeiska språk

De femtio största webbplatserna i vart och ett av tolv länder, hämtade med webbläsaren inställd på landets språk – annars serverar hälften av dem en engelsk sida och mätningen gäller något annat.

Språk	Sidor	Länkandel
Tyska	40	0.058
Franska	39	0.050
Spanska	40	0.060
Italienska	40	0.036
Polska	30	0.064
Portugisiska	36	0.060
Nederländska	37	0.049
Turkiska	31	0.042
Ukrainska	13	0.054
Tjeckiska	28	0.039
Svenska	28	0.036
Rumänska	41	0.039

Vad siffrorna betyder

Kvarlämnade HTML-taggar – hur mycket rå uppmärkning som överlevde in i Markdown-texten. Allt över noll är en defekt.
Dubblerade menyrader – rader längre än tolv tecken som förekommer mer än en gång. Det är navigering som upprepas i varje avsnitt.
Andel korta rader – andelen rader under tjugofem tecken. Högt värde betyder avklippta länklistor snarare än löpande text.
Länkandel – andelen tecken som sitter inuti länketiketter. Högt värde betyder att en meny följde med.

Ärliga gränser för den här mätningen

Det ukrainska urvalet är 13 sidor, inte 40 – större delen av korpuset svarade inte från hämtningsplatsen. Läs den raden som en indikation, inget mer.
De turkiska och tjeckiska topp femtio-listorna lutar mot butiker och tidtabeller, som inte bär något publiceringsdatum alls. Det är en egenskap hos korpuset, inte hos extraheringen.
Konkurrerande motorer kördes bara på det första korpuset. Den europeiska körningen mäter Clean Clipper ensamt.
Sidor där varje motor gav under 500 tecken sorterades bort: det är en captcha eller en blockering, inte extraheringskvalitet.

Frågor

Kan jag göra om mätningen själv?

Ja. Korpuslistorna, hämtningsskriptet och poängskriptet ligger i repot. Hämtningen beror på levande webbplatser, så exakta siffror kommer att driva i takt med att sajterna ändras.

Varför namnges inte de konkurrerande motorerna här?

Att namnge konkurrenter i butikstexter strider mot Chrome Web Stores policy, och samma återhållsamhet gäller på den här sajten. Repot namnger dem, för där går påståendet att kontrollera.

Är mer extraherad text bättre?

Inte i sig. En motor som lämnar ifrån sig en flödessida full av länkar får höga siffror på volym och låga på användbarhet. Därför mäter tabellerna ovan brus i stället för storlek.