Вимірювання

Що вимірювали, на чому і що вийшло

Заяви про чистий результат нічого не варті без корпусу і скрипта. Опубліковано і те, і те.

Прогін перший: 109 сторінок, чотири рушії

Корпус – сто найвідвідуваніших сайтів світу і сто найвідвідуваніших у Росії. Домени без вмісту – месенджери, банки, стримінг, державні портали – виключено заздалегідь. Сторінки знімали справжнім браузером, переходячи з головної на посилання зі змістом там, де воно було.

Чотири рушії пройшли по тому самому знятому DOM: Defuddle (основа офіційного розширення Obsidian), Mozilla Readability, справжній робочий код третього Markdown-розширення, розпакований зі складання в магазині, і Clean Clipper.

Де Clean Clipper позаду: він знайшов 20 авторів проти 28 у найкращого рушія і видобув 4 таблиці проти 11 – щоправда, 41 із 56 таблиць у джерелі стоїть на одній сторінці і є версткою, а не змістом, тож видобувати їх не варто жодному рушієві. Його частка «корисного тексту» нижча, бо він відмовляється від сторінок-стрічок, які інші рушії охоче віддають.

Прогін другий: 403 сторінки дванадцятьма європейськими мовами

По п’ятдесят найвідвідуваніших сайтів у кожній із дванадцяти країн, зняті з браузером, налаштованим на мову цієї країни, – інакше половина з них віддає англійську версію і вимірюється зовсім інше.

Що означають ці числа

• Вцілілі теги HTML – скільки сирої розмітки дожило до Markdown. Будь-що більше за нуль – дефект.
• Дубльовані рядки меню – рядки, довші за дванадцять символів, які трапляються більш ніж один раз. Це навігація, повторена в кожній секції.
• Частка коротких рядків – частка рядків, коротших за двадцять п’ять символів. Висока означає зрізані списки посилань замість прози.
• Частка посилань – частка символів, що сидять у підписах до посилань. Висока означає, що разом зі статтею приїхало меню.

Чесні межі цього вимірювання

• Українська вибірка – 13 сторінок, а не 40: решта корпусу не відповіла з точки зйомки. Цей рядок можна читати лише як орієнтир, а не як повноцінний замір.
• Турецький і чеський списки топ-50 зміщені в бік магазинів та розкладів, а там дати публікації немає взагалі. Це властивість корпусу, а не видобування.
• Конкурентні рушії ганяли лише на першому корпусі. Європейський прогін вимірює саме Clean Clipper і нікого більше.
• Сторінки, де кожен рушій повернув менш ніж 500 символів, виключено: це капча або блокування, а не якість видобування.

Питання