測定 ·
何を、何で測り、どんな結果が出たか
512 ページでテストしました。109 ページはほかの 3 つのエンジンと直接比較し、403 ページは私たちのコアだけで処理しました。クラッシュは 0、抽出したどの記事にも HTML タグは残りませんでした。コーパスとスクリプトは次回の測定と一緒に公開します。それまでは、このページが実行した内容と結果の完全な記録です。
1 回目:109 ページ、4 つのエンジンで直接比較
コーパスは、世界で最も訪問者の多い 100 サイトと、ロシアで最も訪問者の多い 100 サイトです。本文のないドメイン(メッセンジャー、銀行、動画配信、行政ポータル)は事前に除外しました。ページは実際のブラウザで取得し、トップページに本文へのリンクがあればそれをたどりました。
同じ 109 ページに対して 4 つのエンジンを実行しました。Defuddle 0.19.3 と Turndown 7.2.4(公式の Obsidian Web Clipper の中核)、Mozilla Readability 0.6.0 と同じ Turndown(MarkDownload の中核)、Chrome ウェブストアのビルドから取り出した実際の配布コードである MarkSnip 5.2.0、そして Clean Web Clipper 0.1.0 です。
| 指標 | Defuddle 0.19.3 | Mozilla Readability 0.6.0 | MarkSnip 5.2.0 | Clean Web Clipper 0.1.0 |
|---|---|---|---|---|
| ページ | 109 | 107 | 107 | 109 |
| クラッシュ | 0 | 2 | 2 | 0 |
| 残った HTML | 532 | 718 | 2 | 0 |
| 重複したメニューの行 | 491 | 282 | 478 | 102 |
| 短い行の割合 | 0.278 | 0.262 | 0.263 | 0.221 |
| 見つかった著者 | 23 | 27 | 28 | 28 |
| 見つかった公開日 | 28 | 13 | 13 | 24 |
| 抽出した表(56 個中) | 3 | 8 | 11 | 5 |
| 有用なテキストの割合 | 0.878 | 0.931 | 0.934 | 0.890 |
Clean Web Clipper が劣っている点
- 表:11 に対して 5(MarkSnip との比較)。元の 56 個の表のうち 41 個は 1 つのページにあり、内容ではなくレイアウトのための表なので、どのエンジンも抽出すべきではありません。実際の差は、ルートの選択が狭すぎるブロックを選んでしまう数ページ分です。
- 有用なテキストの割合:0.934 に対して 0.890。 一部は意図的なもので、ほかのエンジンが返すフィードのページを拒否しているためです。残りは同じく狭すぎるルートによるものです。
- 公開日:28 に対して 24(Defuddle との比較)。
- 著者:最上位と同等。著者の抽出を作り直したあと、MarkSnip の 28 に対して 28 です。このコーパスの最初の採点では 20 でした。
2 回目:ヨーロッパの 12 言語で 403 ページ、私たちのコアだけ
12 か国それぞれの上位 50 サイトを、ブラウザをその国の言語に設定して取得しました。そうしないと半数が英語のページを返し、別のものを測ることになるからです。
403 ページのうち 152 ページは「記事なし」と答えました。ショップのトップ、ポータルのトップページ、フィードで、抽出すべき記事がないページです。この答えは意図的なもので、これらのページを「テストしたページ」として数えているのはそのためです。
| 言語 | ページ | クラッシュ | 残った HTML | リンクの割合 |
|---|---|---|---|---|
| ドイツ語 | 40 | 0 | 0 | 0.058 |
| フランス語 | 39 | 0 | 0 | 0.050 |
| スペイン語 | 40 | 0 | 0 | 0.060 |
| イタリア語 | 40 | 0 | 0 | 0.036 |
| ポーランド語 | 30 | 0 | 0 | 0.064 |
| ポルトガル語 | 36 | 0 | 0 | 0.060 |
| オランダ語 | 37 | 0 | 0 | 0.049 |
| トルコ語 | 31 | 0 | 0 | 0.042 |
| ウクライナ語 | 13 | 0 | 0 | 0.054 |
| チェコ語 | 28 | 0 | 0 | 0.039 |
| スウェーデン語 | 28 | 0 | 0 | 0.036 |
| ルーマニア語 | 41 | 0 | 0 | 0.039 |
1 クリップあたりの時間:4 分 38 秒
lessroutinemorelife.com のカウンターは、1 クリップを 4 分 38 秒として数えます。この時間は、運営者が 1,000 を超えるさまざまな内容のページで手作業で計測したものです。テキストをコピーし、貼り付け、整え、タイトルと出典を加え、残った HTML のマークアップがないか確認する。平均値と中央値の両方を計算しました。
したがってカウンターは、クリップの回数にその時間を掛けたもので、各クリップをストップウォッチで計った合計ではありません。特定のクリップにあなたがどれだけ時間をかけたはずかを測るものではありません。
数字の意味
- クラッシュ:エンジンがそのページでエラーを出し、何も返さなかったこと。クラッシュのない実行でもメニューだらけのことはあり、それを測るのがほかの行です。
- 残った HTML タグ:Markdown に生のマークアップがどれだけ残ったか。0 を超えれば欠陥です。
- 重複したメニューの行:12 文字を超え、2 回以上現れる行。各セクションで繰り返されるナビゲーションのことです。
- 短い行の割合:25 文字未満の行の割合。高ければ、文章ではなくリンクの一覧を切り取ったということです。
- リンクの割合:リンクのラベルの中にある文字の割合。高ければ、メニューが一緒に入ってきたということです。
- 「記事なし」:ページに記事の本文がなく、拡張機能がリンクを返す代わりにそう伝えたこと。クラッシュでもクリップでもありません。
この測定の正直な限界
- ウクライナ語のサンプルは 40 ページではなく 13 ページです。コーパスの大半が取得地点から応答しませんでした。この行は参考程度にとどめてください。
- トルコ語とチェコ語の上位 50 サイトはショップや時刻表に偏っており、公開日をまったく持たないページが多くあります。これは抽出ではなくコーパスの性質です。
- ほかのエンジンは 1 つ目のコーパスでしか実行していません。ヨーロッパの測定は Clean Web Clipper だけを測っています。
- すべてのエンジンが 500 文字未満しか返さなかったページは除外しました。それは抽出の質ではなく、CAPTCHA かブロックです。
- どちらの測定も、2026年8月末に取得した実際のサイトのスナップショットです。後日同じスクリプトを実行すると、サイトの変化に応じて数字はいくらか変わります。