ChatGPTはコードの記述もできます。最新の研究によれば、バグ修正にも優れているとのことです。

OpenAIのChatGPTチャットボットはソフトウェアのバグを非常にうまく修正することができますが、他の方法やAIモデルと比べてその重要な利点は、人間との対話の能力にあります。これにより、回答の正確性を向上させることができます。

ヨハネス・グーテンベルク大学マインツとロンドン大学カレッジの研究者たちは、OpenAIのChatGPTを「標準的な自動化プログラム修復技術」と、2つのプログラム修復のための深層学習手法、すなわちカナダのウォータールー大学の研究者によるCoCoNutと、GitHubのCopilotパートナープログラミング自動コード補完サービスのモデルであるOpenAIのGPT-3ベースのCodexに対して対決させました。

また: ChatGPTの使用を開始する方法

"「ChatGPT」のバグ修正のパフォーマンスは、一般的な深層学習手法である「CoCoNut」や「Codex」と競争力があり、標準的なプログラム修正手法の結果よりも著しく良好であることが、研究者たちの新しいarXiv論文で示されています。」と、New Scientistによって最初に報告されました。

最高のAIチャットボット：ChatGPTと他の興味深い代替品を試してみよう

AIチャットボットやライターは、電子メールやエッセイを書いたり、数学を解いたりして、仕事の負担を軽減するのに役立ちます。ユーザーの入力に基づいてテキストを生成したり、クエリに答えたりするために人工知能を使用します。ChatGPTは、そのうちの一つの人気のある例ですが、他にも注目すべきチャットボットがあります。

今すぐ読む

チャットGPTを使ってコーディングの問題を解決することは新しいことではありませんが、研究者はその人間との対話能力が他のアプローチやモデルと比べて優位性を持っている可能性を強調しています。

研究者たちは、QuixBugsのバグ修正ベンチマークを使用してChatGPTの性能をテストしました。自動プログラム修正（APR）システムは、2018年以前に開発されたため、不利な状況にあるようです。

ChatGPTは、メタのAIチーフであるヤン·ルカンによって開発されたGoogleのTransformerアーキテクチャに基づいています。Microsoft ResearchのCodexやCodeBERT、そしてその前身であるGoogleのBERTも、全てGoogleのTransformer手法に基づいています。

OpenAIは、ChatGPTの会話能力をデバッグコードの例で強調しています。ここでは、ChatGPTが質問の明確化を求め、人からヒントを受け取ってより良い回答を導き出すことができます。ChatGPTの背後にある大規模な言語モデル（GPT-3とGPT 3.5）は、人間のフィードバックからの強化学習（RLHF）によって訓練されました。

ChatGPTの議論能力は、より正確な回答にたどり着くのに役立つかもしれませんが、その提案の品質は不明ですと、研究者は述べています。そのため、彼らはChatGPTのバグ修正能力を評価したかったのです。

研究者たちは、ChatGPTをQuixBugsの40のPythonのみの問題に対してテストし、その後、提案された解決策が正しいかどうかを手動で確認しました。ChatGPTの回答の信頼性にはある程度のランダム性があり、あるウォートン大学の教授がMBAのような試験にチャットボットを通した後に発見しましたので、クエリは4回繰り返されました。

ChatGPTは40件のPythonのバグのうち、19件を解決し、それはCoCoNut（19）とCodex（21）と同等の結果です。しかし、標準的なAPR手法では問題を解決できたのは7件のみでした。

研究者は、チャットGPTのフォローアップ対話の成功率が77.5%に達したことを発見しました。

エフィステンと生産性の観点から、開発者に対する影響は曖昧です。ただし、Stack Overflowは最近、ChatGPTによる回答を低品質と判断し、使用を禁止しましたが、その回答は信憑性があると思われるものでした。ウォートン大学の教授は、ChatGPTがMBAの学生にとって優れた相棒になる可能性があり、それは「スマートなコンサルタント」の役割を果たし、優雅ですがしばしば間違った回答を出すことで、批判的な思考を促進することができると発見しました。

「これは、人間の入力が自動化されたAPRシステムに非常に役立つことを示しており、ChatGPTがその手段を提供している」と、研究者は述べています。

「ChatGPTの優れたパフォーマンスにもかかわらず、ChatGPTの回答を検証するために必要な精神的な負担が、ChatGPTがもたらす利点を上回るのではないかという問題が浮かびます。」