Los investigadores de Apple encuentran que los LLM dependen más de la concordancia de patrones que del razonamiento lógico, luchando con preguntas complejas. Apple researchers find LLMs rely more on pattern-matching than logical reasoning, struggling with complex questions.

Los investigadores de Apple han expresado su preocupación por las capacidades de razonamiento matemático de los grandes modelos lingüísticos (LLM), encontrando que sus respuestas varían significativamente en función de ligeros cambios de entrada. Apple researchers have raised concerns about the mathematical reasoning abilities of large language models (LLMs), finding that their responses vary significantly based on slight input changes. Esto sugiere que los LLM se basan más en la comparación de patrones probabilistas que en el verdadero razonamiento lógico. This suggests LLMs rely more on probabilistic pattern-matching than true logical reasoning. Para evaluar mejor estas capacidades, introdujeron el punto de referencia GSM-Symbolic, revelando que los LLM luchan con preguntas complejas, destacando sus limitaciones en el razonamiento confiable. To better assess these capabilities, they introduced the GSM-Symbolic benchmark, revealing that LLMs struggle with complex questions, highlighting their limitations in reliable reasoning.

October 11, 2024

8 Artículos