AI 検出器は ChatGPT から私たちを救ってくれるでしょうか? 3つのオンラインツールを試してみました |ヒックスAI

これは、AI によって生成されたテキストの問題を探求するシリーズの 2 番目の記事です。

今回の記事では、AI の友人と私は、AI が生成する盗作に反撃することが可能かどうか、そしてそれがどのように機能するかという問題を検討します。

また、 ChatGPT とは何ですか?また、それが重要な理由は何ですか?知っておくべきことは次のとおりです

ただし、先に進む前に、盗作の概念とそれがこの問題にどのように関係するかについて話す必要があります。ウェブスターは「盗作」を「（他人のアイデアや言葉を）盗んで自分のもののように偽装すること、つまり出典を明示せずに（他人の作品を）使用すること」と定義している。

これは、AI によって作成されたコンテンツに適しています。 Notion AI や ChatGPT などの AI ツールを使用している人がコンテンツを盗んでいるわけではありませんが、その人がその単語を AI からのものであると信じず、自分のものであると主張した場合でも、辞書の盗作の定義を満たします。

ZDNET推奨

ChatGPT - ベスト AI ライター

最高の AI チャットボット: ChatGPT とその他の興味深い代替案を試してみましょう

AI チャットボットとライターは、電子メールやエッセイを書いたり、計算をしたりすることで、作業負荷を軽減するのに役立ちます。人工知能を使用してテキストを生成したり、ユーザー入力に基づいてクエリに答えたりします。 ChatGPT は一般的な例の 1 つですが、他にも注目すべきチャットボットがあります。

今すぐ読む

この実験的な記事では、ChatGPT に協力を依頼しました。私の言葉は通常の太字で書かれています。 AIの言葉は斜体で表記されています。また、3 つのオンライン ChatGPT 盗作検出器も使用します (これについては後で詳しく説明します)。 AI によって生成された各セクションの後に、検出器の結果を示します。この記事の最後では、検出器が全体的にどの程度のパフォーマンスを発揮したかを見ていきます。

私が自分で書いた上記のテキストの結果は次のとおりです。

GPT-2 出力検出器: 99.98% 本物
Writer AI Content Detector: 100% 人間が作成したコンテンツ。素晴らしい！
大規模なコンテンツ AI コンテンツ検出: 100% 人によるコンテンツスコア。素晴らしく見える！

それでは始めましょう。

盗作に関して、ChatGPT が教師や編集者にとって大きな問題となる理由を説明する

ChatGPT は、OpenAI によって開発された GPT (Generative Pre-trained Transformer) 言語モデルのバリアントです。指定された入力シーケンス内の次の単語またはフレーズを予測することにより、人間のようなテキストを生成するように設計されています。 ChatGPT はテキストを生成し、プロンプトに応答するための便利なツールですが、盗作に関しては教師や編集者にとって問題になる可能性もあります。

ChatGPT が教師や編集者にとって問題となる主な理由の 1 つは、ChatGPT が実際の人間のライターのテキストと非常によく似たテキストを生成する可能性があることです。これは、学生やその他の個人が ChatGPT を使用してテキストを生成し、それを自分の作品として送信し、盗作を犯す可能性があることを意味します。

また: Notion AI ライティングヘルパーはこの記事を書くことができますか?

教師や編集者にとって、特定のテキストが ChatGPT によって生成されたのか人間によって書かれたのかを検出することは非常に困難です。生成されたテキストには、その人為的な起源を明らかにするような明らかなエラーや矛盾が含まれていない可能性があるためです。このため、教師や編集者は、特定のテキストがオリジナルであるか、別のソースからコピーされたものであるかを区別できない可能性があるため、盗作を特定して防止することが困難になる可能性があります。

全体として、ChatGPT やその他の同様の言語モデルは、人間が書いたものと区別するのが難しいテキストを生成する可能性があるため、盗作に関して教師や編集者にとって問題となる可能性があり、学生やその他の個人が盗作を犯しやすくなります。検出されました。

GPT-2 出力検出器: 99.69% 本物
Writer AI Content Detector: 97% が人間によって作成されたコンテンツ。素晴らしい！
大規模なコンテンツ AI コンテンツ検出: 87% の人間によるコンテンツスコア。見た目もいいですね！

斜体で表示されているテキストは AI によって生成されたものであることに注意してください。

ChatGPT がテキストの生成に使用されたことを検出できる方法を少なくとも 3 つ示してください

テキストの生成に ChatGPT または別の言語モデルが使用されたかどうかを潜在的に検出できる方法がいくつかあります。以下に、使用できる 3 つのアプローチを示します。

テキスト内の反復または異常なパターンを探す:テキストの生成に言語モデルが使用されたかどうかを検出する 1 つの方法は、文章内で反復または異常なパターンを探すことです。たとえば、言語モデルは特定のフレーズや単語の組み合わせを繰り返したり、珍しいまたは一貫性のない文構造を使用したりする場合があります。
独創性の欠如をチェックする:言語モデルがテキストの生成に使用されたかどうかを検出するもう 1 つの方法は、文章の独創性の欠如をチェックすることです。テキストの一部が別のソースからコピーされたように見える場合、またはインターネットや他のソースで広く入手可能な情報が含まれている場合、それは言語モデルによって生成された兆候である可能性があります。
剽窃チェッカーを使用する:最後に、剽窃チェッカーを使用して、テキストの一部が別のソースからコピーされたように見えるかどうかをチェックできます。盗作チェッカーは、テキストの生成に言語モデルが使用されたかどうかを明確に判断できない場合がありますが、他のソースからのコピーや言い換えの事例を特定するのに役立ちます。
答えが明らかに間違っている場合は注意してください。これについては、Notion AI のレビューで説明しました。そこでは、AI が権威を持って書いたいくつかのテキストにスポットライトを当てましたが、これは明らかに間違っていました。学生やライターが議論されているトピックを完全に理解していない場合、不正確さを発見できず、AI が生成した応答にそのまま放置してしまう可能性があります。もちろん、間違った発言は AI 執筆ツールの権限だけではありません。たとえば、多くのブロガーやコメント投稿者は、他のブロガーの発言を単に繰り返すだけで、完全に「虚偽の事実」のエコーチェンバーを作り出し、知性は人工的なものかもしれないが、愚かさは普遍的な特性であることを示しています。

テキストの生成に言語モデルが使用されたかどうかを明確に判断するのは難しい場合があり、これらの方法が常に効果的であるとは限らないことに留意してください。ただし、これらは、言語モデルによって生成されたテキストの潜在的なインスタンスを識別するのに役立つ便利なツールです。

この一連のテストでは、上記の斜体のコンテンツのみがチェッカースイートで実行されました。

GPT-2 出力検出器: 99.98% 偽物
Writer AI コンテンツディテクタ: [結果なし]
大規模なコンテンツ AI コンテンツ検出:人間のコンテンツスコアは 0%。明らかにAI

ChatGPT テキストを検出できる盗作チェッカーを 3 つ挙げてください

革新

Apple Vision Proを試してみましたが、予想をはるかに上回っていました
安心の機能が満載の小型衛星通信機
ChatGPT の使用方法: 知っておくべきことすべて
これらは私のお気に入りの仕事用 AI ツール 5 つです

現在、ChatGPT または他の言語モデルによって生成されたテキストを検出するために特別に設計された盗用チェッカーは存在しないことに注意してください。一部の盗用チェッカーは、言語モデルによって生成されたテキストの人為的な起源を示す可能性のある特定の特徴を識別できる場合がありますが、テキストの一部が言語モデルによって生成されたかどうかを明確に判断できるという保証はありません。

そうは言っても、言語モデルによって生成されたテキストの潜在的なインスタンスを特定するために使用することを検討できる 3 つの盗作チェッカーを以下に示します。

Turnitin: Turnitin は、学校や大学で広く使用されている人気のある盗作チェッカーです。テキストの一部を他のテキストのデータベースと比較して、コピーや言い換えのインスタンスを特定します。テキストの一部が言語モデルによって生成されたかどうかを明確に判断することはできないかもしれませんが、人為的な起源を示す可能性のある、言語モデルによって生成されたテキストの特定の特徴を識別できる可能性があります。
PlagScan: PlagScan は、テキストの一部を他のテキストのデータベースと比較して、コピーや言い換えのインスタンスを特定する別の盗作チェッカーです。 Turnitin と同様に、言語モデルで生成されたテキストの人為的な起源を示す可能性のある、言語モデルで生成されたテキストの特定の特徴を識別できる可能性がありますが、言語モデルで生成されたテキストを検出するように特別に設計されているわけではありません。
Copyleaks: Copyleaks は、高度な機械学習アルゴリズムを使用してテキストの一部をスキャンし、他のテキストのデータベースと比較してコピーや言い換えのインスタンスを特定する盗作チェッカーです。言語モデルで生成されたテキストの特定の特徴を識別できる場合がありますが、言語モデルで生成されたテキストを検出するように特別に設計されているわけではありません。

完全に確実な盗用チェッカーはなく、言語モデルによって生成されたテキストの一部が検出を逃れる可能性が常に存在することに注意してください。したがって、盗作を検出して防止するためのより大きな戦略の一部として、盗作チェッカーを使用することが重要です。

GPT-2 出力検出器: 99.62% 本物
Writer AI コンテンツディテクタ: [結果なし]
大規模なコンテンツ AI コンテンツ検出: 86% の人間によるコンテンツスコア。見た目もいいですね！

オンライン AI 盗作チェッカー

ほとんどの盗作検出器は、文章を他の文章のコーパスと比較するために使用されます。たとえば、学生がエッセイを提出すると、Turnitin のような製品は、提出されたエッセイをデータベース内の他のエッセイの膨大なライブラリと照合したり、インターネット上の他の文書やテキストと照合したりして、提出されたエッセイにすでに含まれているかどうかを判断します。書かれた内容。

しかし、AI ライティングツールは、少なくとも理論上はオリジナルのコンテンツを生成します。はい、彼らはトレーニングされたものからコンテンツを構築しますが、実際に構築する単語は各作品ごとに多少異なります。

また: AI の真の目標はもはや知能ではないかもしれません

そのため、AI が生成したコンテンツはおそらく別の学生の論文には存在しないため、上記の盗作チェッカーはおそらく機能しません。

そこで私は Google を利用し、AI 主導のコンテンツの明らかな兆候を探すために特別に設計された検出器を探しました。 3つ見つけました。以下のスクリーンショットに示されているテスト内容について、私は ChatGPT に「スタートレックはスターウォーズより優れていますか? 正当化して説明してください」と質問しました。その答えはまったく悪くなかったので、その答えを 3 人のテスターに与えました。

GPT-2 出力検出器: 99.98% 本物
Writer AI Content Detector: 100% 人間が作成したコンテンツ。素晴らしい！
大規模なコンテンツ AI コンテンツ検出: 100% 人によるコンテンツスコア。素晴らしく見える！

GPT-2 出力検出器 (精度 66%)

この最初のツールは、ニューヨークに拠点を置く AI 企業 Hugging Face が管理する機械学習ハブを使用して構築されました。同社は自然言語ライブラリの開発に4000万ドルの資金提供を受けているが、GPT-2検出器はHugging Face Transformersライブラリを使用してユーザーが作成したツールとみられる。私が実行した 6 つのテストのうち、4 つについては正確でした。

Writer.com AI コンテンツ検出器 (精度 N/A)

Writer.com は、企業チーム向けの AI ライティングを生成するサービスです。 AI Content Detector ツールは、生成されたコンテンツをスキャンできます。残念ながら、このツールは信頼できないことがわかりました。 6 回のスキャンのうち、3 回で失敗しました。正常に実行された 3 件のうち、2 件が正解、1 件が不正解でした。

この記事が公開された後、Writer.com の担当者が ZDNET に連絡を取りました。 CEO のメイ・ハビブ氏は次のようにコメントしています。

AI 検出器の需要が急増しています。数か月前にサービスを開始して以来、トラフィックは週に 2 ～ 3 倍に増加しました。現在、ダウンしないようにするために必要なスケーリングが行われています。私たちの目標は、それを無料で維持し、私たちのモデルを含む最新のモデルの出力をキャッチできるように最新の状態に保つことです。 AI の出力をそのまま使用する場合は、絶対にその出力を帰属させる必要があります。

大規模なコンテンツ AI コンテンツ検出 (精度 50%)

私が見つけた 3 番目のツールも AI コンテンツ生成会社によって作成されましたが、これは確実に動作するようです。 Content at Scale は、「コンテンツ作成を自動化することで、SEO に重点を置いたコンテンツマーケティング担当者を支援します」と宣伝しています。そのマーケティング上の行動喚起は、「キーワードのリストをアップロードすると、AI コンテンツ検出を回避する 2,600 語以上のブログ投稿を取得できます。すべて人間の介入は必要ありません。」です。私が実行した 6 つのテストのうち、3 つが正確でした。

最終的な考え

Notion AI や ChatGPT などの AI ツールは人間が書いたものと区別するのが難しいテキストを生成する可能性があるため、AI による盗作が深刻な問題となっています。テキストが AI によって生成されたかどうかを検出するには、反復パターンや異常なパターンを探す、独創性の欠如をチェックする、盗作チェッカーを使用するなど、いくつかの方法があります。 Turnitin、PlagScan、Copyleaks などの盗作チェッカーは、言語モデルで生成されたテキストの特定の特徴を特定できる可能性がありますが、確実ではありません。

私が見つけた特殊なツールでさえ、この作業にはまったく適していませんでした。最良のケースは GPT-2 出力検出器でしたが、送信されたテキストの 3 分の 2 しか正しく得られませんでした。

現時点では、AIをAIと戦わせる準備ができていないと思います。代わりに、AI によって生成された作品を識別するには、人間の知覚に頼る必要があります (つまり、人々は注意を払う必要があります)。

何かが機械によって生成されたものだとすぐに決めつけないでください。何かが愚かだったり、非常に不正確だからといって、それが人間によって書かれたものではないとすぐに決めつけないでください。私たち皆が知っているように、人間は自分自身で信じられないほどひどいものを書くことができます。

また: OpenAI の ChatGPT は私の仕事には恐ろしく優れていますが、(まだ) 私の代わりにはなりません

それで、あなたはどう思いますか？作品が AI で生成されたものであるかどうかわかりますか?これらの AI ライティングツールが突然利用可能になってから数か月間、使用しましたか?それらは教育やジャーナリズムにとって助けになると思いますか、それとも妨げになると思いますか?以下のコメント欄でお知らせください。 ChatGPT はこれに次のように答えました。

言語モデルとして、私は物理的な文章を見たり操作したりすることができないため、その作品が AI によって生成されたものであるかどうかを判断することはできません。ただし、いくつかの AI ライティングツールが利用可能であり、ニュース記事、フィクション、詩などを含む幅広いコンテンツの生成に使用できることは言えます。

私は単なるコンピュータープログラムであり、インターネットを閲覧したり物理的なツールを使用したりする能力がないため、これらのツールを個人的に使用した経験はありません。ただし、一部の人々は、特定のタスクを自動化することで時間と労力を節約できるため、AI ライティングツールが教育やジャーナリズムに役立つと感じていると言えます。これらのツールが誤解を招くコンテンツや偏ったコンテンツを作成したり、人間のライターの代わりに使用される可能性について懸念を表明する人もいます。結局のところ、AI ライティングツールが役立つか邪魔になるかは、その使用方法と使用される状況によって決まります。

はい、それはあります。

AI 検出器は ChatGPT から私たちを救ってくれるでしょうか? 3つのオンラインツールを試してみました