原文: https://ml-site.cdn-apple.com/papers/the-illusion-of-thinking.pdf
今回のニュースはappleの研究によって、大規模推論モデル(LRM)の能力と限界を、パズルのような制御可能な環境を使用して探求したものです。 従来のベンチマークとは異なり、このアプローチは問題の複雑さを精密に操作し、最終的な解答だけでなくモデルの思考プロセスを分析することを可能にします。 研究の結果、LRMは特定の複雑さを超えると精度が急激に低下し、さらに問題が難しくなると思考に費やすトークン数が減少するという、反直観的なスケーリングの限界があることが明らかになりました。 低、中、高の三つの複雑さの段階が特定され、特に高複雑度では思考モデルと非思考モデルの両方が完全な崩壊を経験します。 これらの発見は、現在のLRMが汎用的な推論能力ではなく、パターンマッチングに依存している可能性を示唆しています。#AI