こんにちは、最近、ようやく涼しくなってきて秋が来たかなぁ思う今日このごろですが、

仕事の方は相変わらず、引き続き、もうずっと同じ案件に参画しております。

さて、今回気になった記事は「「現在のLLMに真の推論は困難」──Appleの研究者らが論文発表」

という記事です。

現在、私もLLMを使った開発を進めているところで、

とても興味深い内容だったため、紹介しようと思います。

 

この記事では、LLMが、本当に人間のように論理的に考えて問題を解けるのか、

という疑問を検証し、結論としてLLMは今のところ、

表面的なパターンを真似て答えを出しているだけで、

真の推論能力は持っていないとしていました。

この結論ですが、皆さんはどのように思われるでしょうか。

ChatGPTが流行り、様々な企業がLLMを用いたサービスを発表するなど、

確かに便利な面もあり、サービスに組み込むようになるのは当然であったと言えます。

しかし、その精度はどうなのでしょうか。

現在、私もLLMを用いたサービスの開発を行っていますが、

LLMへの質問文の正解がないため、様々な言い回しや情報の与え方などを試し、

なんとか欲しい情報らしきものを引き出すような形で開発を進めています。

しかし、開発中にLLMへの質問文に追加の要素が出てきた際、

追加の要素を単純に組み込むだけではこれまで正しく返ってきていた回答が、

全く的はずれな回答になってしまうことなどがあります。

今回の記事でも言い回しを変えたり、少し複雑になると答えに大きくばらつきがあるとしています。

このように質問すればこのように返ってくるという正解がないため、

LLMを適切に使うには使うための試行錯誤の時間が多く必要であり、

LLMを使えば簡単に欲しい情報が正しく返ってくるわけではありません。

LLMをサービスで使用する場合もLLMはきちんと使えると有効であるが、

使う側がLLMをきちんと理解して指示を出す必要があるなど、

LLM単体ではなく、LLMとLLMを使用する人の両方を考慮して、

開発などに組み込む必要があると思います。

ただLLMを使えば楽になるという考えで手を出すべきではない。

LLMが今後もっと使いやすいものになることを望みます。

 

参考記事

https://www.itmedia.co.jp/news/articles/2410/13/news070.html