それは何ですか?どのように使用できますか?

これがChatGPT正体であり、それが現代の検索エンジン以来最も重要なツールである理由です。

OpenAI は、複雑な質問に会話形式で答えるChatGPTと呼ばれる長文質問応答 AI を導入しました。

これは、人間が質問したときの意味を学習するように訓練されているため、革命的なテクノロジーです。

多くのユーザーは、人間と同等の応答を提供するその能力に畏敬の念を抱いており、最終的には人間とコンピュータのやりとりを破壊し、情報の取得方法を変える力を持つかもしれないという感覚を引き起こしています。

ChatGPTとは何ですか?

ChatGPT 、 GPT-3.5に基づいて OpenAI によって開発された大規模言語モデルのチャットボットです。会話形式で対話し、驚くほど人間らしい応答を返す驚くべき能力を持っています。

大規模な言語モデルは、一連の単語の中の次の単語を予測するタスクを実行します。

人間によるフィードバックによる強化学習 (RLHF) は、人間によるフィードバックを使用して、 ChatGPT指示に従い、人間が満足する応答を生成する能力を学習するのに役立つ追加のトレーニング層です。

ChatGPTを構築したのは誰ですか?

ChatGPTサンフランシスコに拠点を置く人工知能企業 OpenAI によって作成されました。 OpenAI Inc. は、営利目的の OpenAI LP の非営利親会社です。

OpenAI は、プロンプトと呼ばれるテキスト命令から画像を生成する深層学習モデルである DALL·E で有名です。

CEO は、以前 Y ComBypassGPTinator の社長を務めていた Sam Altman です。

Microsoft はパートナーであり、10 億ドルの投資家でもあります。彼らは Azure AI プラットフォームを共同開発しました。

大規模な言語モデル

ChatGPTは大規模言語モデル (LLM) です。大規模言語モデル (LLM) は、文の次に来る単語を正確に予測するために、大量のデータを使用してトレーニングされます。

データの量が増えると、言語モデルの能力が向上し、より多くのことを実行できることが発見されました。

スタンフォード大学によると、

「GPT-3 には 1,750 億のパラメータがあり、570 ギガバイトのテキストでトレーニングされました。比較のために言うと、その前任者である GPT-2 は 100 倍以上小さく、パラメーター数は 15 億でした。

この規模の増加により、モデルの動作が劇的に変化します。GPT-3 は、英語からフランス語への文の翻訳など、明示的にトレーニングされていないタスクを、トレーニング例がほとんどまたはまったくなくても実行できます。

この動作は GPT-2 にはほとんどありませんでした。さらに、一部のタスクでは、GPT-3 はそれらのタスクを解決するために明示的にトレーニングされたモデルよりも優れたパフォーマンスを発揮しますが、他のタスクでは及ばないのです。」

LLM は、文内の一連の単語の次の単語と次の文を予測します。オートコンプリートのようなものですが、気が遠くなるような規模です。

この機能により、コンテンツの段落やページ全体を作成できるようになります。

しかし、LLM は人間が何を望んでいるのかを必ずしも正確に理解できるわけではないという点で限界があります。

そして、 ChatGPT前述のヒューマンフィードバックによる強化学習 (RLHF) トレーニングによって最先端技術を改良しているのはそこです。

ChatGPTどのようにトレーニングされましたか?

GPT-3.5 ChatGPT対話を学習し、人間らしい応答スタイルを獲得できるよう、 Redditディスカッションなどのソースを含むインターネットからのコードと情報に関する大量のデータに基づいてトレーニングされました。

ChatGPT人間のフィードバック (人間のフィードバックによる強化学習と呼ばれる手法) を使用してトレーニングも行われたため、AI は人間が質問したときに期待することを学習しました。この方法で LLM をトレーニングすることは、次の単語を予測するために単に LLM をトレーニングするだけではないため、革命的です。

2022 年 3 月の研究論文「人間のフィードバックによる指示に従う言語モデルのトレーニング」では、これが画期的なアプローチである理由が次のように説明されています。

「この研究は、特定の人間が望むことを実行できるように言語モデルをトレーニングすることで、大規模な言語モデルのプラスの影響を増やすという私たちの目的によって動機付けられています。

デフォルトでは、言語モデルは次の単語の予測目標を最適化します。これは、これらのモデルに実行させたいことの代理にすぎません。

私たちの結果は、私たちの技術が言語モデルをより有用で、真実で、無害なものにする可能性があることを示しています。

言語モデルを大きくしても、本質的にユーザーの意図に従う能力が向上するわけではありません。

たとえば、大規模な言語モデルは、虚偽、有害、または単純にユーザーにとって役に立たない出力を生成する可能性があります。

言い換えれば、これらのモデルはユーザーと一致していません。」

ChatGPTを構築したエンジニアは、GPT-3 と新しい InstructGPT ( ChatGPTの「兄弟モデル」) という 2 つのシステムの出力を評価するために請負業者 (ラベラーと呼ばれる) を雇いました。

評価に基づいて、研究者は次の結論に達しました。

「ラベル作成者は、GPT-3 からの出力よりも InstructGPT 出力を非常に好みます。

InstructGPT モデルは、GPT-3 よりも真実性が向上しています。

InstructGPT は GPT-3 と比べて毒性がわずかに改善されていますが、バイアスは改善されていません。」

研究論文では、InstructGPT の結果は良好であったと結論付けています。それでもなお、改善の余地があるとも指摘した。

「全体として、私たちの結果は、人間の好みを使用して大規模な言語モデルを微調整することで、幅広いタスクにおける動作が大幅に改善されることを示していますが、安全性と信頼性を向上させるためには多くの作業が残されています。」

ChatGPT単純なチャットボットと異なる点は、質問内の人間の意図を理解し、役立つ、真実で無害な回答を提供するように特別にトレーニングされていることです。

そのトレーニングにより、 ChatGPT特定の質問に異議を唱え、質問の意味のない部分を破棄する場合があります。

ChatGPTに関連する別の研究論文では、人間の好みを予測するために AI をどのようにトレーニングしたかが示されています。

研究者らは、自然言語処理 AI の出力を評価するために使用された指標により、マシンは指標で良いスコアを獲得したが、人間の期待とは一致しないことに気づきました。

研究者たちはこの問題を次のように説明しています。

「多くの機械学習アプリケーションは、設計者の意図の大まかな代用にすぎない単純なメトリクスを最適化します。これは、クリックベイトを促進するYouTuBypassGPTe推奨などの問題を引き起こす可能性があります。」

そこで彼らが設計したソリューションは、人間の好みに最適化された回答を出力できる AI を作成することでした。

そのために、人間によるさまざまな回答間の比較のデータセットを使用して AI をトレーニングし、人間が満足のいく回答と判断したものを機械がより正確に予測できるようにしました。

同紙は、トレーニングがReddit投稿を要約することによって行われ、ニュースの要約についてもテストされたことを共有しています。

2022 年 2 月の研究論文は、「人間のフィードバックから要約する学習」と呼ばれています。

研究者たちは次のように書いています。

「この研究では、人間の好みに合わせて最適化するようにモデルをトレーニングすることで、要約の品質を大幅に向上できることを示しました。

私たちは人間による要約間の比較に関する大規模で高品質のデータセットを収集し、人間が好む要約を予測するモデルをトレーニングし、そのモデルを報酬関数として使用して、強化学習を使用して要約ポリシーを微調整します。」

ChatGPTの制限は何ですか?

毒性反応の制限

ChatGPT 、有毒または有害な応答を提供しないように特別にプログラムされています。したがって、そのような種類の質問への回答は避けられます。

回答の質は指示の質に依存します

ChatGPTの重要な制限は、出力の品質が入力の品質に依存することです。言い換えれば、専門家の指示（プロンプト）がより良い答えを生み出します。

答えは必ずしも正しいとは限りません

もう 1 つの制限は、人間にとって正しいと感じる答えを提供するようにトレーニングされているため、その答えによって人間が出力が正しいと騙される可能性があることです。

多くのユーザーは、 ChatGPT著しく不正確なものを含む不正確な回答を提供する可能性があることを発見しました。

コーディング Q&A ウェブサイト Stack Overflow のモデレータは、人間にとって正しいと思われる回答が意図しない結果をもたらすことを発見した可能性があります。

スタックオーバーフローには、 ChatGPTから生成された正しいように見えるユーザー応答が大量に送信されましたが、非常に多くは間違った応答でした。

何千もの回答がボランティアのモデレーターチームを圧倒し、管理者はChatGPTから生成された回答を投稿するユーザーに対する禁止を制定することになりました。

ChatGPTの回答が殺到したため、次のタイトルの投稿が作成されました: 一時的なポリシー: ChatGPTは禁止されています:

「これは、 ChatGPTで作成された回答やその他のコンテンツの流入を遅らせることを目的とした一時的なポリシーです。

…主な問題は、 ChatGPT生成する答えは高い確率で不正解であるにもかかわらず、通常は良いものであるように「見える」ということです…」

Stack Overflow モデレータが、正しく見える間違ったChatGPT回答をするという経験は、 ChatGPTの作成者である OpenAI が認識しており、新しいテクノロジーの発表の際に警告していることです。

OpenAI がChatGPTの制限を説明

OpenAI の発表では、次のような警告が示されています。

ChatGPT 、一見もっともらしく聞こえても、不正確または無意味な回答を作成することがあります。

この問題を解決するのは次のような困難な作業です。

(1) RL トレーニング中、現時点では真実の情報源がありません。

(2) より慎重になるようにモデルをトレーニングすると、モデルは正しく答えられる質問を拒否します。そして

(3) 理想的な答えは、人間のデモンストレーターが何を知っているかではなく、モデルが何を知っているかに依存するため、教師ありトレーニングはモデルを誤解させます。」

ChatGPT無料で使用できますか?

ChatGPTの使用は現在、「リサーチプレビュー」期間中は無料です。

このチャットボットは現在、ユーザーが試してみて、回答に対するフィードバックを提供できるようになっています。これにより、AI がより上手に質問に答えられるようになり、間違いから学ぶことができるようになります。

公式発表では、OpenAI は間違いに関するフィードバックを熱心に受け取っていると述べています。

「私たちはモデルが不適切な要求を拒否できるように努めてきましたが、場合によっては有害な指示に応答したり、偏った動作を示したりすることがあります。

私たちはモデレーション API を使用して、特定の種類の安全でないコンテンツを警告またはブロックしていますが、現時点では偽陰性や偽陽性が発生することが予想されます。

このシステムを改善するための継続的な作業に役立てるため、ユーザーからのフィードバックを収集したいと考えています。」

現在、一般の人々が回答を評価することを奨励するために、 ChatGPTクレジットの賞金 500 ドルを賭けたコンテストが開催されています。

「ユーザーには、UI を介して問題のあるモデルの出力や、インターフェイスの一部である外部コンテンツフィルターからの誤検知/誤検知についてフィードバックを提供することが推奨されます。

私たちは、現実世界の非敵対的な状況で発生する可能性のある有害な出力に関するフィードバックや、新たなリスクと考えられる軽減策を発見して理解するのに役立つフィードバックに特に関心を持っています。

ChatGPTフィードバックコンテスト 3 に参加して、最大 $500 の API クレジットを獲得するチャンスを得ることができます。

エントリーは、 ChatGPTインターフェースにリンクされているフィードバックフォームから送信できます。」

現在開催中のコンテストは、2022 年 12 月 31 日午後 11 時 59 分（太平洋標準時）に終了します。

関連: OpenAI がChatGPTの有料プロ版を導入する可能性

言語モデルはGoogle検索に取って代わるのでしょうか?

Google自体もすでにLaMDAと呼ばれるAIチャットボットを開発している。 Googleのチャットボットのパフォーマンスは人間の会話に非常に近かったため、 Googleエンジニアは LaMDA には知覚力があると主張しました。

これらの大規模な言語モデルが非常に多くの質問にどのように答えることができるかを考えると、OpenAI、 Google 、または Microsoft のような企業が、いつか従来の検索を AI チャットボットに置き換えるというのは、突飛なことでしょうか?

TwitterではすでにChatGPT次のGoogleになると宣言している人もいます。

質問と回答のチャットボットがいつかGoogle取って代わるかもしれないというシナリオは、検索マーケティングの専門家として生計を立てている人々にとって恐ろしいものです。

これは、人気のFaceBypassGPTook SEOSignals LaBypassGPT のようなオンライン検索マーケティングコミュニティでの議論を引き起こし、検索が検索エンジンからチャットボットに移行する可能性があるかどうかを尋ねた人がいました。

ChatGPTをテストしたので、検索がチャットボットに置き換えられるのではないかという懸念は根拠がないわけではないことに同意せざるを得ません。

このテクノロジーの発展にはまだ長い道のりがありますが、検索とチャットボットのハイブリッドな未来を想像することは可能です。

しかし、 ChatGPTの現在の実装は、ある時点で使用するにはクレジットの購入が必要になるツールのようです。

ChatGPTどのように使用できますか?

ChatGPT特定の作者のスタイルでコード、詩、歌、さらには短編小説を書くことができます。

指示に従う専門知識により、 ChatGPT情報ソースからタスクの実行を依頼できるツールに昇格します。

これは、事実上あらゆるトピックについてエッセイを書くのに役立ちます。

ChatGPT記事や小説全体のアウトラインを生成するツールとして機能します。

書面によるテキストで回答できるほぼすべてのタスクに対して回答を提供します。

結論

前述したように、 ChatGPT 、最終的には一般の人々が使用するために料金を支払わなければならないツールとして構想されています。

ChatGPT が公開されてから最初の 5 日間で、100 万人を超えるユーザーがChatGPTの使用に登録しました。