仮想マシンを使用した人もいれば、直接電話をかけた人もいましたが、6 人の詐欺師は無傷で逃げました。オンライン監督ソフトウェアは単なる飾りですか?-AI-php.cn

仮想マシンを使用した人もいれば、直接電話をかけた人もいましたが、6 人の詐欺師は無傷で逃げました。オンライン監督ソフトウェアは単なる飾りですか?

制作：ビッグデータダイジェスト

著者: Caleb

浮気といえば、典型的な例といえるでしょう。高度な知識と高度な魔法の持ち主。

2017年の映画『ガンスリンガー』では、学生時代のカンニングという一見「ありがちな」行動に新たな展開が描かれ、「カンニングは学生時代のテーマだ」というネットユーザーもいた。

これまで感染症流行など多くの要因の影響を受けていたため、世界中のオンライン試験も議題に上ることを余儀なくされ、その後、さまざまな不正行為対策が綿密に講じられました。

しかし、長い時間が経った今、これらのアンチチートソフトウェアは本当にその役割を果たしているでしょうか?

最近の調査で、世界中の学校で使用されている不正行為対策ソフトウェアである Proctorio は、高い自信を持っていると主張しているにもかかわらず、環境内の不正行為者を検出するのに効果的ではなかったことが判明しました。

研究論文: https://ris.utwente.nl/ws/portalfiles/portal/275927505/3e2a9e5b2fad237a3d35f36fa2c5f44552f2.pdf

オランダ、トゥエンテ大学の研究者らは、非常に鮮やかな比喩で、このソフトウェアはプラセボを服用するようなものであると述べました。それは、それが機能したからではなく、人々がそれが機能する、またはそれが機能する可能性があると信じたため、何らかのプラスの効果をもたらしました。

プロクトリオはどれほど信頼できないのでしょうか?

その前に、プロクトリオについて理解する必要があります。

AI システムとして認識しなければならないことの 1 つは、Proctorio は試験監督の人的リソースを解放する代わりに、主にソフトウェアを使用して学生を監視し、試験中に不審な行動を検出して報告することです。

これには、学生が目の動きやボディランゲージをより正確に追跡するために、ブラウザ拡張機能またはアプリをコンピュータにインストールする必要があります。システムが顔認識をより適切に実行できるように、学生は学生の写真と ID カードもアップロードする必要があります。

一方、Proctorio は主に生徒のコンピューターのビデオとオーディオクリップを記録し、生徒のキーストロークをキャプチャし、コンピューター画面のデータを記録し、生徒が頭、目、体を動かしたときにマークを付け、動きを追跡します。試験中に訪問した Web サイトを分類することによって。

この研究は、ソフトウェアが効果的であるかどうかを証明する目的で、2021 年 4 月の第 13 回コンピュータ支援教育に関する国際会議で初めて発表されました。

これを行うために、研究者らは大学のコンピューターサイエンスクラスの学生ボランティア30人を見つけ、そのうち6人にプロクトリオ監督の試験でカンニングをさせ、残りの5人にはカンニングをせずに疑わしい行為をするよう指示し、残りは受けさせた。試験は正直に。

カンニングの方法に関しては、研究者らはこの権限を学生たちに与え、学生たちがシステムをカンニングする最善の方法を決定できるようにしました。

結果から判断すると、Proctorio はチーターの検出が苦手で、システムはチーターをチーターとしてマークしませんでした。

誰かが仮想マシンを使用しています。これは Proctorio システムの既知の脆弱性です。ソフトウェアはこれらの学生に「違反」のフラグを立てたが、他の誠実な学生にも同様の違反のフラグを立てた、と研究は書いている。一方、一部の不正行為者は音声通話を使用していましたが、プロクトリオ氏は彼らの音声に異常があるとフラグを立てませんでしたが、騒がしい環境でテストを受ける学生の音声にフラグを立てました。

データと映像の独立した手動レビューでは、6 人の詐欺師のうち 1 人だけが発見されました。主な理由は、カメラの角度とオプションの「ルームスキャン」機能により、学生の胸の下を知る方法がなかったためです。 . 内容は一体何なのか、そして生徒たちはどのように行動するのか。

プロクトリオの広報担当デビッド・ラックス氏は、「オンライン監督の有効性」に関する他の3つの研究について、「学際的でより堅牢なサンプルサイズだった」と説明した。著者らはトゥエンテ大学の研究には欠陥があることを認めている。ただし、これら 3 つの研究はいずれも対照実験ではありませんでした。代わりに、調査または回帰モデルを使用して、不正行為率とオンライン監督に対する学生の態度を推定します。

これらの研究は、研究デザインが異なるだけでなく、根本的に異なる問題にも取り組んでおり、結局のところ、オンライン監視ソフトウェアが不正行為者を捕まえるのに効果的かどうかを証明しようとしたものはありませんでした。

清華大学、AI Eagle Eye システムを開始

Proctorio に加えて、国内のオンライン監督技術も着実にフォローアップしています。

今年3月、清華大学は、アプリをダウンロードすることなく、顔の偏りや視線回避などの異常状態を検出し、警告を発することができるデジタル監視および不正行為防止システム「AI Eagle Eye」を開発しました。来年の利用開始を予定している。

清華大学教育開発センター所長の周秀莞氏は、AIイーグルアイデジタル監督システムは現在、事前にソフトウェアをダウンロードする必要がない唯一のシステムであり、受験者は事前にソフトウェアをダウンロードする必要はないと述べた。コンピュータ制御の引き継ぎ、携帯電話応答対応、オールブラウジング対応など、100名を超える大規模クラスでの試験監督に適した不正防止システムです。

AI イーグルアイデジタル監督システムの中核は、顔認識と視線追跡技術の応用であるため、一般的な家庭用コンピュータのビデオレンズや携帯電話のレンズには、視線の軌跡をスキャンする機能と、マウスAI人工知能の深層学習システムを組み合わせることで、軌跡や情報などの情報を候補者が不正行為したかどうかを正確に判断できます。

この点、AIイーグルアイシステムは不正行為を「顔のズレ」「顔の離席」「目をそらす」「ページングの開き」の4種類の異常現象に分類し、例外の数をカウントし、受験者に思い出させるために試験官に注意してください。試験官は、現場の状況を判断するために受験者に通話機能をオンにするよう依頼することもできます。

清華社は、AIイーグルアイシステムは今年小規模で試験運用され、より多くのサンプルとデータを収集し、継続的に精度を向上させると述べたを策定し、来年の正式採用を目指す。

オンライン監督はどのように行うべきですか?

実際、中国ではオンライン監督はすでに行われています。

今年5月、北京市豊台区の中学校を対象とした「ワンモデル」試験は、オンラインとオフラインの方法を組み合わせて実施されました。

1つ目は試験環境の要件です。オンライン試験に参加する学生は、デスクトップがきれいであることを確認する必要があります。学生の前にはラップトップがあり、学生の 45 度後ろには携帯電話があります。2 つのデバイスのカメラは、学生の解答状況をさまざまな角度からキャプチャして、試験官の視点は完全かつ明確であり、完全な監視が可能です。

北京の趙登宇学校の学長、沈磊氏は、各試験室に1人の試験監督に加えて、学校の教職員、学年主任、学級担任が全員試験会場に入ったと述べた。検査を実施「学生のカメラアングルが統一されているか、各学生が真剣に質問に答えているかなどを確認するため、各回に少なくとも5～6回の検査が行われる」

「ワンモデル」試験の初日後、学校はこのオンライン審査のためのいくつかの最適化計画も提案しました。たとえば、1 つの画面にすべての候補者のリアルタイムのステータスを完全に表示することはできず、ページをめくる必要があります。この点に関して、豊台第二中学校は最適化を提案しました。試験監督に加えて担任も会場に入り、2台の端末を使って同時に試験を監督し、全生徒の解答がわかるようにしました。一目でわかるようになります。