Замер
Что замеряли, на чём и что вышло
Слова про чистый вывод ничего не стоят без корпуса и скрипта. Опубликованы оба.
Прогон первый: 109 страниц, четыре движка
Корпус – сотня самых посещаемых сайтов мира и сотня самых посещаемых в России. Домены без содержания – мессенджеры, банки, стриминг, госпорталы – исключены заранее. Страницы снимались настоящим браузером: с каждой главной, где такая ссылка была, открывался материал.
По одному и тому же снятому DOM прошли четыре движка: Defuddle (ядро официального клиппера Obsidian), Mozilla Readability, настоящий рабочий код третьего Markdown-клиппера, распакованный из его сборки для магазина, и Clean Clipper.
| Показатель | Движок A | Движок B | Движок C | Clean Clipper |
|---|---|---|---|---|
| Страниц | 109 | 107 | 107 | 109 |
| Сбоев | 0 | 2 | 2 | 0 |
| Остатков HTML | 532 | 718 | 2 | 0 |
| Повторов строк меню | 491 | 282 | 478 | 102 |
| Доля коротких строк | 0.278 | 0.262 | 0.263 | 0.220 |
Где Clean Clipper отстаёт: он нашёл 20 авторов против 28 у лучшего движка и извлёк 4 таблицы против 11 – правда, 41 из 56 исходных таблиц сидит на одной странице и служит вёрсткой, а не содержанием, и извлекать их не должен никто. Доля «полезного текста» у него ниже потому, что он отказывается от лент, которые другие движки охотно отдают.
Прогон второй: 403 страницы на двенадцати европейских языках
Топ-50 сайтов в каждой из двенадцати стран, снятые браузером, переведённым на язык этой страны, – иначе половина отдаёт английскую версию и меряется что-то другое.
| Язык | Страниц | Сбоев | Остатков HTML | Доля ссылок |
|---|---|---|---|---|
| Немецкий | 40 | 0 | 0 | 0.058 |
| Французский | 39 | 0 | 0 | 0.050 |
| Испанский | 40 | 0 | 0 | 0.060 |
| Итальянский | 40 | 0 | 0 | 0.036 |
| Польский | 30 | 0 | 0 | 0.064 |
| Португальский | 36 | 0 | 0 | 0.060 |
| Нидерландский | 37 | 0 | 0 | 0.049 |
| Турецкий | 31 | 0 | 0 | 0.042 |
| Украинский | 13 | 0 | 0 | 0.054 |
| Чешский | 28 | 0 | 0 | 0.039 |
| Шведский | 28 | 0 | 0 | 0.036 |
| Румынский | 41 | 0 | 0 | 0.039 |
Что означают цифры
- Остатки HTML – сколько сырой разметки дожило до Markdown. Всё, что больше нуля, – дефект.
- Повторы строк меню – строки длиннее двенадцати символов, встречающиеся больше одного раза. Это навигация, продублированная в каждой секции.
- Доля коротких строк – доля строк короче двадцати пяти символов. Высокая означает списки ссылок вместо прозы.
- Доля ссылок – доля символов, сидящих внутри подписей к ссылкам. Высокая означает, что вместе с текстом приехало меню.
Честные границы этого замера
- Украинская выборка – 13 страниц, а не 40: остальной корпус не ответил с точки съёмки. Строку стоит читать как ориентир, не более.
- Турецкий и чешский топ-50 смещены в магазины и расписания, а там даты публикации нет вовсе – её нет и в их JSON-LD. Это свойство корпуса, а не извлечения.
- Конкурирующие движки прогонялись только по первому корпусу. Европейский прогон меряет один Clean Clipper.
- Страницы, где все движки вернули меньше 500 символов, исключены: это капча или блокировка, а не качество извлечения.