Pomiar · ·
Co zmierzono, na czym i co z tego wyszło
Przetestowane na 512 stronach: 109 w bezpośrednim porównaniu z trzema innymi silnikami i 403 tylko z naszym rdzeniem. Zero awarii i ani jednego resztkowego znacznika HTML w żadnym wyciągniętym artykule. Korpus i skrypty zostaną opublikowane przy następnym przebiegu; do tego czasu ta strona jest pełnym zapisem tego, co uruchomiono i co z tego wyszło.
Przebieg pierwszy: 109 stron, cztery silniki w bezpośrednim porównaniu
Korpus to sto najczęściej odwiedzanych serwisów świata i sto najczęściej odwiedzanych w Rosji. Domeny bez treści – komunikatory, bankowość, streaming, portale urzędowe – wykluczono z góry. Strony zbierano prawdziwą przeglądarką, przechodząc ze strony głównej do odnośnika z treścią tam, gdzie taki był.
Cztery silniki przeszły po tych samych 109 zebranych stronach: Defuddle 0.19.3 z Turndown 7.2.4 (rdzeń oficjalnego Obsidian Web Clippera), Mozilla Readability 0.6.0 z tym samym Turndown (rdzeń MarkDownload), MarkSnip 5.2.0 – jego prawdziwy kod, rozpakowany z wydania w Chrome Web Store – oraz Clean Web Clipper 0.1.0.
| Miara | Defuddle 0.19.3 | Mozilla Readability 0.6.0 | MarkSnip 5.2.0 | Clean Web Clipper 0.1.0 |
|---|---|---|---|---|
| Strony | 109 | 107 | 107 | 109 |
| Awarie | 0 | 2 | 2 | 0 |
| Resztki HTML | 532 | 718 | 2 | 0 |
| Powtórzone linie menu | 491 | 282 | 478 | 102 |
| Udział krótkich linii | 0.278 | 0.262 | 0.263 | 0.221 |
| Znalezieni autorzy | 23 | 27 | 28 | 28 |
| Znalezione daty publikacji | 28 | 13 | 13 | 24 |
| Wyciągnięte tabele (z 56) | 3 | 8 | 11 | 5 |
| Udział użytecznego tekstu | 0.878 | 0.931 | 0.934 | 0.890 |
W czym Clean Web Clipper wypada gorzej
- Tabele: 5 wobec 11 u MarkSnip. 41 z 56 tabel źródłowych siedzi na jednej stronie i służy układowi, a nie treści, więc żaden silnik nie powinien ich wyciągać; prawdziwa luka to kilka stron, na których nasz wybór korzenia bierze zbyt wąski blok.
- Udział użytecznego tekstu: 0.890 wobec 0.934. Część różnicy jest celowa – rozszerzenie odmawia stron z listami wpisów, które inne silniki zwracają – a część wynika z tego samego zbyt wąskiego korzenia.
- Daty publikacji: 24 wobec 28 u Defuddle.
- Autorzy: na równi z najlepszym, 28 wobec 28 u MarkSnip, po przebudowie wykrywania autorów. Przy pierwszym liczeniu tego korpusu było ich 20.
Przebieg drugi: 403 strony w dwunastu językach Europy, tylko nasz rdzeń
Po pięćdziesiąt najpopularniejszych serwisów w każdym z dwunastu krajów, zbieranych przeglądarką ustawioną na język danego kraju – inaczej połowa z nich poda stronę po angielsku i mierzy się coś zupełnie innego.
152 z 403 stron odpowiedziały „brak artykułu”: witryny sklepów, strony główne portali i listy wpisów, gdzie nie ma artykułu do wyciągnięcia. Ta odpowiedź jest celowa i dlatego te strony liczą się jako przetestowane, a nie zapisane.
| Język | Strony | Awarie | Resztki HTML | Udział odnośników |
|---|---|---|---|---|
| niemiecki | 40 | 0 | 0 | 0.058 |
| francuski | 39 | 0 | 0 | 0.050 |
| hiszpański | 40 | 0 | 0 | 0.060 |
| włoski | 40 | 0 | 0 | 0.036 |
| polski | 30 | 0 | 0 | 0.064 |
| portugalski | 36 | 0 | 0 | 0.060 |
| niderlandzki | 37 | 0 | 0 | 0.049 |
| turecki | 31 | 0 | 0 | 0.042 |
| ukraiński | 13 | 0 | 0 | 0.054 |
| czeski | 28 | 0 | 0 | 0.039 |
| szwedzki | 28 | 0 | 0 | 0.036 |
| rumuński | 41 | 0 | 0 | 0.039 |
Czas na jeden klip: 4 min 38 s
Licznik na lessroutinemorelife.com liczy każdy klip jako 4 min 38 s. Ten czas właściciel zmierzył ręcznie na ponad 1000 różnorodnych stron z treścią: skopiować tekst, wkleić go, oczyścić, dodać tytuł i źródło, a potem sprawdzić, czy nie zostały resztki znaczników HTML. Policzono zarówno średnią, jak i medianę.
Licznik to więc liczba klipów pomnożona przez ten czas, a nie suma odczytów stopera dla każdego klipu. Nie mierzy, ile zajęłoby Tobie zapisanie konkretnego klipu.
Co znaczą te liczby
- Awarie – silnik rzucił błąd na stronie i nic nie zwrócił. Przebieg bez awarii wciąż może być pełen menu; to mierzą pozostałe wiersze.
- Resztki znaczników HTML – ile surowej składni przetrwało do Markdowna. Cokolwiek powyżej zera jest wadą.
- Powtórzone linie menu – linie dłuższe niż dwanaście znaków, które pojawiają się więcej niż raz. To nawigacja zdublowana w każdej sekcji.
- Udział krótkich linii – odsetek linii poniżej dwudziestu pięciu znaków. Wysoki oznacza wycięte listy odnośników zamiast prozy.
- Udział odnośników – odsetek znaków siedzących w etykietach odnośników. Wysoki oznacza, że menu przyszło razem z tekstem.
- „Brak artykułu” – na stronie nie było treści artykułu, więc rozszerzenie tak powiedziało, zamiast zwrócić odnośniki. To ani awaria, ani klip.
Uczciwe granice tego pomiaru
- Próbka ukraińska to 13 stron, a nie 40 – większość korpusu nie odpowiedziała z miejsca zbierania. Ten wiersz traktować wyłącznie orientacyjnie.
- Tureckie i czeskie pięćdziesiątki przechylają się w stronę sklepów i rozkładów jazdy, które w ogóle nie noszą daty publikacji. To właściwość korpusu, a nie ekstrakcji.
- Konkurencyjne silniki przepuszczono tylko przez pierwszy korpus. Przebieg europejski mierzy sam Clean Web Clipper.
- Strony, na których każdy silnik zwrócił poniżej 500 znaków, wykluczono: to captcha albo blokada, a nie jakość ekstrakcji.
- Oba przebiegi to migawki żywych witryn zrobione pod koniec sierpnia 2026. Te same skrypty uruchomione później dadzą nieco inne liczby, bo witryny się zmieniają.