Ölçüm

Ne, ne üzerinde ölçüldü ve ne çıktı

Temiz çıktı iddiası, korpus ve betik olmadan hiçbir şey ifade etmez. İkisi de yayımlandı.

Birinci prova: 109 sayfa, dört motor

Korpus, dünyanın en çok ziyaret edilen yüz sitesi ile Rusya’nın en çok ziyaret edilen yüz sitesi. İçerik taşımayan alan adları – mesajlaşma, bankacılık, video akışı, devlet portalları – önceden çıkarıldı. Sayfalar gerçek bir tarayıcıyla alındı; her ana sayfada varsa bir içerik bağlantısı izlendi.

Aynı alınmış DOM üzerinde dört motor koştu: Defuddle (resmî Obsidian clipper’ının çekirdeği), Mozilla Readability, mağaza derlemesinden açılmış üçüncü bir Markdown clipper’ının gerçek yayın kodu ve Clean Clipper.

Clean Clipper’ın geride kaldığı yer: 20 yazar buldu, en iyi motor 28 buldu; 4 tablo çıkardı, karşısında 11 var – gerçi kaynaktaki 56 tablonun 41’i tek bir sayfada duruyor ve içerik değil yerleşim tablosu; hiçbir motorun onları çıkarmaması gerekir. “Yararlı metin” payının düşük olması, başka motorların seve seve döndürdüğü akış sayfalarını reddetmesindendir.

İkinci prova: on iki Avrupa dilinde 403 sayfa

On iki ülkenin her birinde ilk elli site, tarayıcı o ülkenin diline ayarlanarak alındı; yoksa yarısı İngilizce sayfa veriyor ve ölçüm başka bir şeyin ölçümü oluyor.

Sayılar ne anlama geliyor

• Artık HTML etiketleri – Markdown’a kaç ham işaretleme sızdı. Sıfırın üstündeki her şey kusurdur.
• Yinelenen menü satırları – on iki karakterden uzun olup birden çok kez geçen satırlar. Bu, her bölümde tekrarlanan gezinmedir.
• Kısa satır oranı – yirmi beş karakterin altındaki satırların payı. Yüksek olması, düzyazı yerine kırpılmış bağlantı listeleri demektir.
• Bağlantı payı – bağlantı etiketlerinin içinde kalan karakterlerin payı. Yüksek olması, menünün de geldiği anlamına gelir.

Bu ölçümün dürüst sınırları

• Ukraynaca örneklem 40 değil 13 sayfa – korpusun geri kalanı çekim noktasından yanıt vermedi. O satırı yalnızca fikir verici sayın.
• Türkçe ve Çekçe ilk elli listeleri mağazalara ve tarife sayfalarına kayıyor; bu sayfalar yayın tarihi taşımıyor, JSON-LD’lerinde de tarih yok. Bu, çıkarımın değil korpusun bir özelliği – ve Türkçe sayfalarda tarih alanının sık sık boş kalmasının sebebi.
• Rakip motorlar yalnızca birinci korpusta koşturuldu. Avrupa provası tek başına Clean Clipper’ı ölçüyor.
• Bütün motorların 500 karakterin altında döndürdüğü sayfalar dışarıda bırakıldı: orada olan şey captcha ya da engel, çıkarım kalitesi değil.

Sorular