ブラウザでコード言語を検出する方法

リポジトリ: https://github.com/ray-d-song/guesslang-js

デモ: https://ray-d-song.github.io/guesslang-js/

最近、私は EchoRSS と呼ばれるプロジェクトに取り組んでいます。これは、サブスクリプション内の外部リンク (全文の読み取り、引用など) をインターセプトし、現在のページに直接表示するという非常に必要な機能です。

返された HTML コード ブロックには言語の注釈が失われている (または、元のコード ブロックの pre タグと code タグに言語の注釈が付けられていない) という問題があり、shiki や prism.js などのツールを使用して強調表示することができません。 。

コード言語を検出するための 3 つの解決策を見つけました:

1. 言語学者

これはサーバー上にデプロイされた Ruby プロジェクトであり、Github はそれを使用してリポジトリの言語構成を検出します。非常に高い精度が必要で、サーバー上で計算できる場合、これが最適なソリューションです。

2.hljs

highlight.js は非常に有名な Web コード強調表示ライブラリであり、自動コード検出を提供する唯一のライブラリでもあります。

原理は非常に単純で、言語のキーワードを列挙し、それらを 1 つずつテキストと照合し、最終的にどれが最も一致度が高いかを確認することです。

hljs には 4 つの問題があります。

• 非常に長いコード長が必要であり、ほとんどの言語では比較的良好な精度を達成するには少なくとも 300 文字が必要です。
• 言語を検出する部分は別個のモジュールではなく、パーサーとレンダリングと密接に結合されており、コードも非常に命令的であるため、有用な部分を抽出するのが困難です。
• 検出モジュールを抽出しないと、hljs を使用して強調表示するときにコードの元の形式 (改行とインデント) が失われます。
• 多くの定期的なマッチングが必要であり、パフォーマンスが低く、理由 2 のため、Web ワーカーでは実行できません。

3. 推測言語

guesslang は、tensorflow.js に基づく機械学習プロジェクトです。

Microsoftは2021年にこのプロジェクトをnode.jsに移植し、自動言語検出機能をvscodeに追加しました。

3 年前にベトナム人の hieplpvip もこのプロジェクトをブラウザに移植しましたが、次の 3 つの問題もあります。

• メモリリーク、メモリリーク...
• 著者別の最新記事
  最新の問題

  function_exists() はカスタム関数を決定できません Function test () {return true;} if (function_exists ('test')) {echo "テストは関数です";

  から 2024-04-29 11:01:01

  0

  3

  2061

  Google Chromeのモバイル版を表示する方法 こんにちは、先生、Google Chrome をモバイル版に変更するにはどうすればよいですか?

  から 2024-04-23 00:22:19

  0

  11

  2222

  子ウィンドウは親ウィンドウを操作しますが、出力は応答しません。 最初の 2 つの文は実行可能ですが、最後の文は実装できません。

  から 2024-04-19 15:37:47

  0

  1

  1872

  親ウィンドウには出力がありません document.onclick = function(){ window.opener.document.write('私は子ウィンドウの出力です');

  から 2024-04-18 23:52:34

  0

  1

  1753

  CSS マインド マッピングに関するコースウェアはどこにありますか? コースウェア

  から 2024-04-16 10:10:18

  0

  0

  1781
  関連トピック

  詳細>

  • パスカル言語とC言語の違い
  • bootmgr が見つからないため起動できません
  • Unicodeエンコード変換
  • oracle substr関数の使い方を詳しく解説
  • 人工知能の生活への応用
  • アンカリングとエイミングの違い
  • ibatis
  • 記事タグ属性の概要