ChatGPTは司法試験に合格できるでしょうか？

ChatGPTと司法試験

バーエグザムは、エッセイ、パフォーマンステスト、および多肢選択問題を通じて知識と推論能力を評価する厳しいテストです。これは、多くの米国の管轄区で、バー入場過程の一部として使用される標準化されたテストです。それは、候補者のコモンロー原則の知識、法的原則を具体的な事実パターンに適用する能力、および法的なタスクを遂行する能力を評価する3つの部分で構成されています。

この試験は、各州の司法試験を再受験することなく、弁護士が複数の州で免許を取得することを可能にするために設計されています。合格点は各管轄区によって設定され、試験の成績は他の州の管轄区に移行することができますが、各管轄区の規則と要件に従う必要があります。

GPT-3.5とGPT-4は、ChatGPTが構築されているOpenAIの大規模言語モデルであり、広範な法律知識、読解力、執筆能力を必要とする困難なタスクを達成する能力を持っています。その能力は、ほぼすべてのアメリカの地域で人間の弁護士の基準に達するまで高まっています。試験における多肢選択問題部分を作成した全米弁護士試験委員会は、学校教育と実践を通じて獲得される弁護士固有の能力を持つことに言及し、人工知能は現在それに匹敵することができないと述べています。

チャットGPTは司法試験でどのように成績を収めましたか？

今年早期にイリノイ工科大学とミシガン州立法科大学の教授らによって行われた研究によると、ChatGPT 3.5は多州法学試験（MBE）の2つのカテゴリで合格率を達成し、別のカテゴリでは人間の受験者と同様の成績を示し、法的領域の一般的な理解力を示しました。OpenAIの研究者自身によって行われた別の研究でもChatGPTは法廷試験でよい成績を収め、その研究では90パーセンタイルのスコアを獲得しました。ChatGPTは選択式問題の約76%を正解し、ChatGPTの50%から大幅に向上し、平均的な人間の受験者を7%以上も上回りました。

ChatGPTは、ほとんど関連性があり論理的につながっているエッセイやパフォーマンステストの回答を生成することができました。司法試験の合格基準は州によって異なり、ニューヨークでは合格には約50パーセンタイルの266点が必要です。ChatGPTの結果は、法律の知識、理解力、執筆能力を要求する複雑なタスクにおいても、大規模な言語モデルの能力が及ぶことを示しています。これらのモデルは、アメリカのほとんどの司法管轄区において、人間の弁護士に適用される基準を満たしています。

ChatGPTは司法試験に合格しましたか？

ChatGPTはUniform Bar Examinationに合格しました。

最高の1%の司法試験の得点は何点ですか？

300はおおよそ上位90パーセンタイルであり、330のスコアは上位1%程度です。