ChatGPT はどのように機能しますか?

ChatGPT は、AI を活用した最も輝かしい新しいツールの 1 つですが、実際には、2020 年以降、バックグラウンドで動作するアルゴリズムがさまざまなアプリやサービスに電力を供給しています。そのため、ChatGPT がどのように機能するかを理解するには、基礎となる言語について話すことから始める必要があります。それを動かすエンジン。

ChatGPT の GPT はほとんどが GPT-3、つまり Generative Pre-trained Transformer 3 ですが、現在、ChatGPT Plus 加入者は GPT-4 を利用でき、おそらくすぐにさらに普及するでしょう。 GPT モデルは OpenAI (ChatGPT と画像生成ツール DALL·E 2 を開発した会社) によって開発されましたが、Bing の AI 機能から Jasper や Copy.ai などの作成ツールに至るまで、あらゆるものに利用されています。実際、現在利用可能な AI テキスト ジェネレーターのほとんどは GPT-3 を使用しており、次のステップとして GPT-4 を提供する可能性があります。

ChatGPT によって GPT-3 が脚光を浴びたのは、AI テキスト ジェネレーターとの対話プロセスが簡単になり、そして最も重要なことに、誰もが無料で利用できるようになったからです。さらに、これはチャットボットであり、SmarterChild 以来、優れたチャットボットが人々に愛されてきました。

現在 GPT-3 と GPT-4 が最も人気のある大規模言語モデル (LLM) ですが、今後数年間でさらに多くの競争が起こる可能性があります。たとえば、Google には、独自の言語エンジン Pathways Language Model (PaLM 2) を搭載した AI チャットボット Bard があります。しかし今のところ、OpenAI の製品は事実上の業界標準です。それは人々が手に入れるのが最も簡単なツールにすぎません。

「ChatGPT はどのように機能するのか?」に対する答えは次のとおりです。基本的には、GPT-3 と GPT-4 です。しかし、もう少し深く掘り下げてみましょう。

ChatGPTとは何ですか?

ChatGPT は OpenAI によって構築されたアプリです。 GPT 言語モデルを使用すると、質問に答えたり、コピーを書いたり、電子メールの下書きをしたり、会話をしたり、さまざまなプログラミング言語でコードを説明したり、自然言語をコードに翻訳したり、その他すべてを自然言語に基づいて行うことができます。餌を与えるよう促します。これはチャットボットですが、本当に本当に優れたものです。

たとえば、自分のペットについてシェイクスピアのソネットを書きたい場合や、マーケティング メールの件名についていくつかのアイデアを得たい場合に、あれこれ試すのはクールですが、OpenAI にも適しています。これは実際のユーザーから大量のデータを取得する方法であり、GPT の威力を示す派手なデモとして機能します。機械学習に詳しくない限り、GPT は少し曖昧に感じられるかもしれません。

現在、ChatGPT は 2 つの GPT モデルを提供しています。デフォルトの GPT-3.5 は強力ではありませんが、誰でも無料で利用できます。より高度な GPT-4 は ChatGPT Plus 購読者に限定されており、購読者でも毎日受信できる質問の数は限られています。

ChatGPT の大きな特徴の 1 つは、ChatGPT との会話を記憶できることです。これは、ユーザーが以前に尋ねた内容からコンテキストを収集し、それを使用してユーザーとの会話を通知できることを意味します。やり直しや修正を依頼することもでき、以前に話し合った内容を再度参照することができます。これにより、AI とのやり取りが本物のやり取りのように感じられます。

本当にその感触を知りたい場合は、今すぐ ChatGPT を 5 分間試してみて (無料です!)、その後戻ってきて、それがどのように機能するかを読んでください。

ChatGPT はどのように機能しますか?

この膨大なデータセットは、人間の脳をモデルにした深層学習ニューラル ネットワーク[ ... ]の形成に使用され、ChatGPT がテキスト データ内のパターンと関係を学習し[ ... ]特定の文の次にどのテキストが来るかを予測できるようになりました。 。

ChatGPT は、ユーザーのプロンプトを理解しようとして機能し、トレーニングされたデータに基づいて、質問に最もよく答えると予測される単語の文字列を吐き出します。

実際にそのトレーニングについて話しましょう。これは、初期の AI にいくつかの基本ルールを与え、その後、独自のアルゴリズムを開発するために、特定の状況に置かれるか、処理する大量のデータが与えられるプロセスです。

GPT-3 は約 5,000 億の「トークン」でトレーニングされており、これにより言語モデルがより簡単に意味を割り当て、その後に続くテキストを予測できるようになります。多くの単語は単一のトークンにマップされますが、より長い単語やより複雑な単語は複数のトークンに分割されることがよくあります。平均すると、トークンの長さはおよそ 4 文字です。OpenAI は GPT-4 の内部動作については沈黙を保っていますが、より強力であるため、ほぼ同じデータセットでトレーニングされたと考えて間違いありません。

すべてのトークンは、人間によって書かれた膨大なデータのコーパスから来ています。これには、さまざまなトピック、スタイル、ジャンルにわたる書籍、記事、その他のドキュメント、およびオープン インターネットから収集された信じられないほどの量のコンテンツが含まれます。基本的に、人類の知識の総体を噛み砕くことが許されていました。

この巨大なデータセットは、深層学習ニューラル ネットワーク (人間の脳をモデルにした複雑で多層の重み付けアルゴリズム) の形成に使用され、ChatGPT がテキスト データ内のパターンと関係を学習し、人間のようなデータを作成する能力を活用できるようになりました。与えられた文の次にどのテキストが来るかを予測して応答します。

しかし、実際には、それは物事を大幅に過小評価しています。 ChatGPT は文レベルでは機能しません。代わりに、単語、文、さらには段落やスタンザが続くテキストを生成します。これは、次の単語を率直に推測する携帯電話の予測テキストではありません。あらゆるプロンプトに対して完全に一貫した応答を作成しようとしています。

ChatGPT のさまざまなプロンプトに応答する能力をさらに高めるために、ヒューマン フィードバックによる強化学習 (RLHF) と呼ばれる手法を使用して対話用に最適化されました。基本的に、人間は比較データ (AI トレーナーによって 2 つ以上のモデル応答がランク付けされる) を使用して報酬モデルを作成し、AI がどれが最良の応答であるかを学習できるようにしました。

それが形成したニューラルネットワークに戻ります。これらすべてのトレーニングに基づいて、GPT-3 のニューラル ネットワークには 1,750 億個のパラメーターまたは変数があり、入力 (ユーザーのプロンプト) を受け取り、さまざまなパラメーター (および少量のランダム性) に与える値と重みに基づいて、 )、リクエストに最も適合すると思われるものを出力します。 OpenAIはGPT-4のパラメータ数については明らかにしていないが、1750億以上で、かつて噂された100兆パラメータよりも少ないと推測するのは間違いないだろう。正確な数に関係なく、パラメータが多ければ多いほど自動的に良いというわけではありません。 GPT-4 のパワーの向上の一部は、おそらく GPT-3 よりも多くのパラメータを持つことによるものですが、多くはおそらくトレーニング方法の改善によるものです。

結局のところ、それを想像する最も簡単な方法は、子供の頃に遊んだ「文を完成させる」ゲームの 1 つに似ています。

結局のところ、それを想像する最も簡単な方法は、子供の頃に遊んだ「文を完成させる」ゲームの 1 つに似ています。たとえば、GPT-3 を使用して ChatGPT に「Zapier は…」というプロンプトを与えると、次のような応答が返されました。

「Zapier は、ユーザーがさまざまな Web アプリケーションを接続して、反復的なタスクを自動化し、ワークフローを改善できるようにする Web ベースの自動化ツールです。」

Zapier の機能を説明する何百もの記事でこのような文が見つかるので、ここで吐き出されるのは当然のことです。しかし、編集者が同じプロンプトを表示すると、次のように言われました。

「Zapier は、ユーザーがさまざまな Web アプリケーションに接続し、それらの間のワークフローを自動化できる Web ベースの自動化ツールです。」

かなり似ていますが、まったく同じ応答ではありません。このランダム性 (一部の GPT-3 アプリでは「温度」と呼ばれる設定で制御できます) により、ChatGPT はすべての応答に対して在庫の回答に相当する内容で応答するだけではなくなります。毎回ニューラル ネットワーク全体を通じて各プロンプトを実行し、状況を常に新鮮に保つためにあちこちでいくつかのサイコロを振っています。 Zapier が火星の色であると主張することは考えられませんが、相対的な可能性に基づいて次の単語を混同します。

(ちなみに、GPT-4 で実行しているとき、ChatGPT は次のように述べています。「 Zapier は、ユーザーがさまざまなオンライン アプリケーションやサービス間でタスクを統合および自動化できるようにする、Web ベースの自動化ツールです。」ほぼ同じです。)

知識ではなく言葉を吐き出す

ChatGPT の作成者は、ChatGPT が誤った (そしておそらく有害な) 情報を生成する可能性があると最初に言いましたが、その修正に懸命に取り組んでいます。

以下にわかりやすい例を示します。 GPT-3 と GPT-4 を使用して ChatGPT に「Harry Guinness is…」への応答を依頼すると、GPT-3 は最初にどの Harry Guinness かを尋ねて応答しました。素晴らしい質問です。文字通り私たちには 2 人います。そこで私は、「作家のハリー・ギネス」（つまり私です）と言いました。 GPT-4 はすぐに私が誰であるかを推測しましたが、どちらの応答も魅力的でした。

GPT-3:ハリー・ギネスはアイルランドを拠点とするフリーのライター兼ジャーナリストです。彼は、ニューヨーク タイムズ、ガーディアン、ハフィントン ポスト、ポピュラー メカニクスなど、さまざまな出版物に寄稿しています。テクノロジーや写真から旅行や文化まで幅広いトピックを取り上げています。

GPT-4: ハリー・ギネスはアイルランドの作家、写真家、テクノロジーの専門家です。彼は、How-To Geek、Lifehacker、Tuts+ などのさまざまな出版物に執筆しています。彼の仕事は主にテクノロジー、チュートリアル、ヒントに加え、写真や画像編集に焦点を当てています。ギネスは、読者が複雑なテーマを理解したり、問題を簡単に解決したりするのに役立つ詳細なガイドを作成することで評判を築いています。

GPT-3 の最初と最後の行は、私のさまざまな Web サイトや Web 上の著者略歴からほぼそのまま抜粋したものです (ただし、私は普段自分のことをジャーナリストではなく、フリーのライター兼写真家だと名乗っています)。ただし、出版物のリストは基本的に作成されています。私はニューヨーク・タイムズに寄稿したことがありますが、ガーディアン、ハフィントン・ポスト、ポピュラー・メカニクスには寄稿していません（ポピュラー・サイエンスには定期的に寄稿しているので、そこから来たのかもしれません）。

GPT-4 は写真家の部分を正しく扱っており、実際に私が執筆した出版物のリストをいくつか掲載しています。これは印象的ですが、私が最も誇りに思うような出版物ではありません。これは、OpenAI が GPT-3 と比較して GPT-4 の精度をどのように向上させたかを示す良い例ですが、常に最も正しい答えが提供されるわけではありません。

しかし、GPT-3 に戻りましょう。GPT-3 のエラーは、ChatGPT の舞台裏で何が起こっているかを示す興味深い例を示しています。実際のところ、それは私のことを何も知りません。インターネットからのコピー＆ペーストでもありませんし、情報源を信頼することもできません。代わりに、保有する数十億のデータ ポイントに基づいて、次に来る単語の列を単純に予測します。

例: New York Times は、私が執筆したWired 、 Outside 、 The Irish Times 、そしてもちろん Zapier よりも、 The GuardianやThe Huffington Postとグループ化されることがはるかに多いです。したがって、ニューヨーク・タイムズ紙の次に何を掲載すべきかを考えなければならないとき、それは公開された私に関する情報を引き出すことはありません。保有するすべてのトレーニング データから大規模な出版物のリストを取得します。それは非常に賢明であり、もっともらしく見えますが、そうではありません。

GPT-4 ははるかに優れた仕事をし、出版物を釘付けにしますが、GPT-4 に記載されていることの残りの部分は、実際にはもっともらしい続きの文章のように感じられます。それは私の評判をあまり高く評価していないと思います。それは単に経歴に書かれているようなことを言っているだけです。 GPT-3 よりも仕組みを隠すのがはるかに優れていますが、実際にはほぼ同じテクニックを使用しています。

それでも、GPT がすでにどれほど改善されているかは非常に印象的です。現時点では、GPT-4 はプレミアム サブスクリプションでロックされているため、表示される ChatGPT コンテンツのほとんどは GPT-3 に依存しますが、これは今後変更される可能性があります。 GPT-5 が何をもたらすかは誰にも分かりません。

ChatGPT APIとは何ですか?

OpenAI は、そのテクノロジーに対して正義の姿勢を持っていません。同社には、開発者が ChatGPT の機能を独自のアプリやサービスに統合できる API プラットフォームがあります (もちろん有償です)。

Zapier は、ChatGPT API を使用して独自の ChatGPT 統合を強化し、ChatGPT を他の何千ものアプリに接続し、ビジネス クリティカルなワークフローに AI を追加できるようにします。以下にいくつかの例を示しますが、基本的にどのアプリからでも ChatGPT をトリガーできます。

Zapier の OpenAI 統合を使用して、DALL·E や Whisper などの OpenAI の他のモデルを利用することもできます。すでに使用しているアプリから直接、画像の生成や音声の文字起こしを含むワークフローを自動化します。

関連記事: ChatGPT を使用してマーケティング コピーを作成する方法 (および使用すべきではない場合)