Chrome 拡張機能
後から手直ししなくていい Markdown でウェブページを保存
アイコンをクリックすれば、クリップはもうできています。タイトル、著者、公開日、出典は frontmatter にまとめられ、本文からはナビゲーションが取り除かれます。すべてブラウザの中で行われ、アカウントは不要で、クリップしたものがどこかにアップロードされることもありません。
Clean Web Clipper は、ウェブページをきれいな Markdown として保存する無料の Chrome 拡張機能です。保存先はクリップボード、.md ファイル、フォルダ、あるいは Obsidian の vault に直接。アカウントもサインインも不要です。最も訪問者の多いサイトの 512 ページでテストし、クラッシュは 0、抽出したどの記事にも HTML タグは残りませんでした。
世界で最も訪問者の多いサイトの 512 ページでテスト
測定は 2 回です。1 回目は、世界とロシアで最も訪問者の多い 100 サイトから 109 ページを取り、ほかの 3 つの抽出エンジンと出力を直接比較しました。2 回目は、ヨーロッパ 12 か国それぞれの上位 50 サイトからさらに 403 ページを、各国の言語で取得し、私たちのコアだけで処理しました。エンジン、バージョン、日付、劣っている点
問題は変換ではありません。変換についてくるものすべてです。
どのクリッパーも HTML を Markdown に変えます。ところがノートを開くと、Cookie のバー、サイドバーのメニュー、「次に読む」の一覧、取り込むあいだに崩れた表が入っています。Clean Web Clipper はまさにそれを取り除くために作られており、取り除けていることは宣伝ではなく測定で示しています。
ほかのクリッパーが残すもの
[本文へスキップ](#main) [ログイン](/login) [会員登録](/register) [ホーム](/) [ニュース](/news) [スポーツ](/sport) [カルチャー](/culture) [その他](/more) 当サイトでは、利便性向上のため Cookie および類似の技術を使用しています。 [すべて同意] [設定を管理] # あなたが読みに来た記事 本文の実際の最初の段落。 <div class="promo-inline"> ## 次に読む [別の見出し](/a) [もう一つの見出し](/b) [さらに三つ目](/c)
ノートに入るもの
# あなたが読みに来た記事 本文の実際の最初の段落。
出力がきれいな理由
- コードは言語を保ちます。 タグなしのコードブロックではなく
jsタグ付きになるので、貼り付けた瞬間にハイライトが効きます。 - 表は崩れません。 セルにコードやリストがあっても、行が壊れなくなりました。
- 脚注がちゃんと機能します。 参照リンクはリンク切れのアンカーではなく
[^1]になり、定義はノートの末尾にまとまります。 - 日付は推測ではなく読み取ります。 JSON-LD、
article:published_time、citation_date（arXiv／PubMed／IEEE の標準）、time[datetime]、Unix タイムスタンプ。ページに日付がなければ欄は空のままで、今日の日付が入ることはありません。 - メニュー、バナー、「次に読む」は切り落とします。 ロゴの帯、ページ送り、各セクションで繰り返されるナビゲーションはノートに入りません。
- タグは一つも残りません。 テキストの途中に
divやtableのマークアップが取り残されることはありません。
---
title: "Markov chain - Wikipedia"
source: "https://en.wikipedia.org/wiki/Markov_chain"
date: "2002-07-07T05:14:15.000Z"
extraction: "dom"
---
A Markov chain is a stochastic process describing a sequence of possible
events in which the probability of each event depends only on the state
attained in the previous event.[^1]
[^1]: Gagniuc, Paul A. (2017). Markov Chains: From Theory to Implementation
and Experimentation. USA, NJ: John Wiley & Sons. pp. 1-235.Chrome でウェブページを Markdown として保存する方法
拡張機能をインストールしたら、あとは 3 ステップです。事前の設定は何もいりません。初期状態ではクリックするとプレビューが開き、Markdown はすでにできていて、コピーもファイルとしての保存もすぐにできます。慣れてきたら、1 回のクリックでノートをフォルダや vault に直接書き込み、プレビューを省くこともできます。
- アイコンを固定します。 アドレスバーの横にあるパズルピースのメニューを開き、Clean Web Clipper をツールバーに固定します。
- 保存したい記事を開きます。 記事へのリンクが並んだページではなく、記事そのものです。
- アイコンをクリックします。 プレビューウィンドウに Markdown が表示されます。コピーするか、
.mdファイルとして保存します。
保存先
- Markdown をクリップボードにコピー
.mdファイルをダウンロード- ディスク上で選んだフォルダに書き込み
- Obsidian の vault に直接書き込み。プラグインも、ローカル REST API も、URI スキームも不要で、ファイルがそのまま現れます
アイコンをクリックしたときの動作は設定できます。プレビューウィンドウのままにするか、1 回のクリックでノートを vault に入れて何も開かないようにするかを選べます。
出典について正直に
どのノートにも extraction 欄が付きます。dom は、ブラウザが実際に表示したものからテキストを取ったという意味です。jsonld-articlebody は、ページの表示が最後まで終わらず、本文をページ自身の構造化データから読み取ったという意味です。そしてページにそもそも記事がないとき（ストアのトップ、フィード、検索結果）は、リンク 300 件を押し付ける代わりに、拡張機能がそう伝えます。
しないこと
- サイトを巡回したり一括処理したりはしません。1 回に 1 ページ、開いているページだけです
- 要約や書き換えはしません。テキストは変換されるだけで、編集はされません
- 画像はダウンロードしません。画像のリンクは元のサイトを指したままです
15 通りの使われ方
開発者コードブロックが言語タグを保つので、貼り付けたドキュメントはその瞬間からハイライトされます。
Clean Web Clipper は、コードブロックのクラス、親要素、ハイライターが残したマークアップからページ上の言語を読み取り、コードブロックに書き込みます。9 ページの技術系コーパスでは、156 個のコードブロックのうち 73 個でタグが残りました。比較した 2 つのエンジンでは 20 個と 0 個でした。
- コードブロックにタグが付きます。 タグなしではなく ```js なので、Obsidian でも VS Code でも GitHub でも、貼り付けた瞬間にハイライトが効きます。
- 言語は推測ではなく読み取ります。 サイト自身のハイライターが残したクラスから取るので、タグの正しさは元のページと同じです。
- セルにコードがある表も崩れません。 技術系コーパスで 15 個中 12 個が残り、比較した各エンジンは 7 個でした。
Obsidian ユーザーvault 内のフォルダを一度選べば、Obsidian を閉じたままでも 1 回のクリックでノートがそこに書き込まれます。
Clean Web Clipper は、ブラウザの File System Access API を使って .md ファイルを vault に自分で書き込みます。コミュニティプラグインも、ローカルの REST サーバーも、obsidian:// リンクも間に挟まず、ノートが届くために Obsidian が起動している必要もありません。
- プラグインも、ローカルサーバーも、
obsidian://リンクも不要。 許可したフォルダにブラウザがファイルを書き込みます。 - Obsidian を開いておく必要はありません。 次に開いたときには、ノートがもうそこにあります。
title、source、author、date、extractionを持つ YAML の frontmatter。 どれを残すかは選べます。
AI と LLM の文脈ページで繰り返されるナビゲーションは課金される文脈です。テキストがモデルに届く前に取り除きます。
109 ページのコーパス（直接比較の測定）で、Clean Web Clipper が残した重複ナビゲーションの行は 102 行でした。ほかの 3 つの抽出エンジンは 282、478、491 行で、残った HTML タグは一つもありませんでした。モデルに届くのは記事と、出典の URL と公開日を示す frontmatter のヘッダーです。
- 重複したナビゲーションは、比較したエンジンの平均のおよそ 4 分の 1。 繰り返された行は 102 行、ほかは 282、478、491 行です。
- テストした 512 ページで残った HTML タグは 0。 モデルが読み飛ばすべきものがありません。
- frontmatter に出典の URL と公開日を記載するので、主張は推測ではなく出典に帰属できます。
研究者citation_date（arXiv、PubMed、IEEE が出力するタグ）を読み取り、参考文献を脚注にします。
公開日のない保存済みの論文は、あとで出典を組み立て直さなければならない引用です。Clean Web Clipper は本文ではなくページ自身のメタデータから日付を読み取り、ページに日付がなければ、欄を今日の日付で埋めずに空のままにします。
citation_dateとcitation_publication_date（arXiv、PubMed、IEEE が出力するメタタグ）を直接読み取ります。- JSON-LD の
datePublished、article:published_time、time[datetime]、Unix タイムスタンプも、この優先順で読み取ります。 - ページに日付がなければ欄は空のまま。 今日の日付が入ることはありません。
学生講義、章、参考ページを、授業のログインが使えなくなっても残る Markdown ファイルにクリップします。
学期が終わると授業の資料は消えていきます。リンクは切れ、科目のページはアーカイブされ、ゼミの文献は移動します。自分のディスク上の Markdown ファイルは消えず、10 年後もどのエディタでも開け、中には出典の URL が残っています。
- 一節を選択すれば、選択した部分だけをクリップ。 ページ全体を持たずに、定義を 1 つだけ取る方法です。
- どのノートにも出典の URL が入るので、あとで引用するときに探す必要がありません。
- 閲覧ビューで、保存する前にクリップを Markdown 記号なしの普通のテキストとして確認できます。
書き手タイトル、著者、公開日、出典の URL がどのクリップにもついてくるので、引用は出どころを失いません。
スクリーンショットとブックマークで集めた資料は、出典を示す必要が出たその瞬間に使えなくなります。Markdown ファイルなら、タイトル、著者、日付、アドレスがテキストと同じファイルにあり、ファクトチェックでも手が届きます。
- どのノートの frontmatter にも
title、author、date、sourceがあるので、出典の情報がテキストと一緒にあります。 - 著者欄はふるいにかけます。 セクションの見出し、媒体の名前、ボタンのラベルを署名として扱いません。
- 記事の本文だけ。 ニュースレター登録枠、共有ボタンの列、「次に読む」の帯はノートに入りません。
記者読んだときのテキストを、公開日とアドレスとともに、自分のディスク上のファイルに。
ページは編集され、削除されます。クリップは全文、出典の URL、ページ自身が示した公開日を、自分で保管するただのファイルに収めます。閉鎖したり、規約を変えたり、記録を黙って失ったりしうるサービスの中ではありません。
- 公開日はページ自身のメタデータから読み取ります。 JSON-LD、
article:published_time、time[datetime]からで、本文からではありません。 - 出典の URL がどのノートの frontmatter にもあります。
- 訪問のたびに変わるナビゲーションや宣伝のブロックを除いた、記事の全文。
法務公開されたとおりのテキストを、出典のアドレスと日付とともに、自分で管理するファイルに。
規則、利用規約、公的なガイダンスは予告なく変わります。取得元のアドレスとページが示した日付を持つ Markdown の写しは、読んだその日にテキストに何と書かれていたかの記録です。
- 一字一句そのままのテキスト。 記事の本文の中は、要約も、書き換えも、並べ替えもされません。
- 出典の URL とページが示した公開日が、どのノートの frontmatter にもあります。
- 手数料、期限、しきい値の表は拡張機能自身が書き出します。技術系コーパスで 15 個中 12 個が残り、比較した各エンジンは 7 個でした。
アナリストセルにコード、リスト、リンクがあっても行が壊れません。15 個中 12 個の表が残りました。
汎用の HTML から Markdown への変換ツールは、肝心な表で壊れます。セルの中にリスト、リンク、コード例がある表です。Clean Web Clipper は表を自分で書き出し、行を捨てる代わりにセルの中身を平らにします。
- このために書いた GFM の表シリアライザー。 汎用の変換プラグインを後付けしたものではありません。
- 15 個中 12 個の表が残りました（技術系コーパス）。比較した各エンジンは 7 個でした。
- 不揃いな 2 列の表は、壊れたグリッドではなく、太字のキーと値の行になります。
教員サイトの枠を外した教材。印刷したページにメニューも同意のバーも広告もありません。
ブラウザから直接印刷したページは、メニュー、同意のバー、広告まで配布資料に載せてしまいます。クリップならテキストを取り出し、出典の URL はファイルの中に残るので、出典の表示に余計な手間がかかりません。
- クリップを印刷する印刷ボタン。 周りのページは印刷しません。
- 閲覧ビューで、印刷や保存の前に結果を Markdown 記号なしの普通のテキストとして確認できます。
- 練習問題を 1 つ、定義を 1 つ選択して、その部分だけをクリップできます。
翻訳者メニュー、バナー、繰り返されるナビゲーションがセグメントの一覧に入りません。
ウェブページから貼り付けた原文にはナビゲーションがついてきて、メニューの項目の 1 つ 1 つが、飛ばし、数え、いずれ請求書で説明しなければならないセグメントになります。Clean Web Clipper は、ファイルがツールに近づく前にそれを取り除きます。
- メニュー、ページ送り、同意のバー、「次に読む」のフィードは、ファイルができる前に切り落とします。
- 重複したナビゲーションは、比較したエンジンのおよそ 4 分の 1。 繰り返された行は 102 行、ほかは 282、478、491 行です。
- 測定した 512 ページで残った HTML タグは一つもないので、紛れ込んだマークアップがインラインタグになることはありません。
プロダクトマネージャー変更履歴、ドキュメント、リリースノートを、検索、差分、引用ができるファイルにクリップします。
ブックマークとして残した競合調査は、検索できないリンクの一覧に朽ちていきます。Markdown にクリップすれば、grep でき、前の四半期の取得と差分を取れ、日付を添えて意思決定の文書に引用できるコーパスになります。
- 公開日はページから読み取るので、変更履歴の項目は、見つけた日ではなく本当のタイミングを保ちます。
- サイト別ルールが、競合ごとに専用のフォルダへ自動で振り分けます。
- 料金や制限の表が残ります。 技術系コーパスで 15 個中 12 個が残り、比較した各エンジンは 7 個でした。
テクニカルライター見出し、表、コードブロック、脚注は届き、サイトの枠は届きません。
ドキュメントの移行とは、たいてい HTML を変換し、そのあと変換ツールが残したものを取り除くのにもっと長い時間をかけることです。Clean Web Clipper はその除去を中心に作られており、測定したのもそこです。512 ページで残った HTML タグは 0 でした。
- 見出し、リスト、表、コードブロック、脚注は、すべて標準の Markdown に対応づけられます。
- コードブロックは言語タグを保ちます。 技術系コーパスで 156 個中 73 個が残り、比較したエンジンは 20 個と 0 個でした。
- 測定した 512 ページで残った HTML タグは 0。
個人アーカイブ自分のディスク上のただの Markdown ファイル。アカウントも、サービスも、終了しうるものもありません。
ブックマークは変わったり消えたりするページを指し、あとで読むサービスは終了し、買収され、エクスポートを有料にします。クリップはテキストそのもので、提供元も有効期限もない形式で、自分で決めた場所に保存されます。
- 長持ちするオープンな形式。 YAML の frontmatter 付きのただのテキストで、どのエディタでも
grepでも読めます。 - アカウントなし、アップロードなし。 クリップしたものは自分のディスクに残ります。
- 公開日と出典の URL をテキストと一緒に取得するので、何年経ってもノートが何かを特定できます。
ノイズなしで読むメニューもバナーも Markdown 記号もない閲覧ビューを、ブラウザ自身のテーマで。
ページの付属物は見た目の散らかりだけではありません。スクリーンリーダーが読み上げ、読み手が訪れるたびに飛ばさなければならないテキストです。クリップウィンドウは記事だけを、ブラウザのライトまたはダークの設定で、ページのスクリプトを動かさずに表示します。
- 閲覧ビューはクリップを普通のテキストとして表示します。 Markdown 記号なしで、リンクは動き、見出しは本物の見出しです。
- サイトではなく、ブラウザのライトとダークの設定に従います。
- 長い記事のために、ウィンドウは画面のおよそ 4 分の 3 まで広がります。