OpenAIのサム・アルトマンCEO。
Brian Ach/Getty Images for TechCrunch
- ChatGPTは、実際よりも賢いと見せているだけかもしれない。
- ある研究チームは、プログラマーがコーディングの質問に対してChatGPTの（誤った）回答を好む傾向を見つけた。
- それは、ChatGPTの回答が｢明瞭｣に思えるからだという。
ChatGPTは、その賢さで人々の説得に成功してきたようだ。だが、実際はそう思わせているだけだとしたら。
OpenAIのチャットボットであるChatGPTは、2022年11月のリリース以来、CEOによる決算説明会でも度々取り上げられ、教育からクリエイティブ業界までであらゆるものを破壊し、社会を変えてきた。
だが、8月に発表された査読前論文で、ChatGPTは人々に賢いと納得させるちょっとしたテクニックを使っていることが示唆された。それは、内容よりもスタイルというアプローチだ。
パデュー大学の研究者が、ソフトウェア開発者やエンジニア向には欠かせないQ&AサイトであるStack Overflowに掲載された517の質問に対するChatGPTの答えを分析した。
ChatGPTの回答について、正確性、整合性、包括性、簡潔性について評価したところ、52％の回答が完全に間違っており、77％は冗長だった。
そして、さらなる分析で、Stack Overflowの回答において、ChatGPTユーザーは40％の確率で、間違いがあったとしても人間の回答よりもChatGPTの回答を好むことがわかった。
間違っていてもChatGPTの回答を好む理由は、ユーザーが回答の包括性や明確な言語構造を好んでいることが理由のひとつであることが示唆されたという。
このユーザー分析では、たった12人のプログラマーが、ランダムにサンプリングされた2000の質問に対して、ChatGPTの回答とStack Overflowで人間が書いた回答のどちらを好むかを評価するよう求められたことに注意が必要だ。OpenAIはもっともらしいが誤りだったり、理にかなっていなかったりする回答を行う可能性があると警告している。
Insiderが通常の労働時間外に行ったコメント要請に対して、OpenAIは回答していない。
Insiderで紹介したように、Stack Overflowはイーロン・マスクが｢LLM（大規模言語モデル）による死｣と呼ぶ状態に陥っており、OpenAIがChatGPT Plus（GPT-4）をリリースした1カ月後の4月に、トラフィックが前年比で13％減少した。
パデュー大学の研究は、スタンフォード大学やカリフォルニア大学バークレー校などの大規模言語モデルが愚かになっていっていることを示す研究に続くものだ。
ChatGPTがあまり精査されずにインターネットに組み込まれたように見えるその速さは、AIの倫理学者やプログラマーの間で警戒や苛立ちを引き起こしている。
パデュー大学の研究に対して、コンピュータサイエンティストでAIの専門家であるティムニット・ゲブル（Timnit Gebru）は｢Stack OverflowがOpneAIやその仲間によって壊されていることは素晴らしい｣と投稿した。
からの記事と詳細 ( ChatGPTは賢そうに見せているだけ？…プログラマーは間違いで ... - Business Insider Japan )
https://ift.tt/cEIr0ib
0 Comments:
Post a Comment