Obtener la respuesta correcta de ChatGPT – O’Reilly

Hace un par de días, estaba pensando en lo que necesitabas saber para usar ChatGPT (o Bing/Sydney, o cualquier servicio similar). Es fácil hacerle preguntas, pero todos sabemos que estos grandes modelos de lenguaje generan con frecuencia respuestas falsas. Lo que plantea la pregunta: si le pregunto algo a ChatGPT, ¿cuánto necesito saber para determinar si la respuesta es correcta?

Así que hice un experimento rápido. Como proyecto de programación breve, hace algunos años hice una lista de todos los números primos menores de 100 millones. Usé esta lista para crear un número de 16 dígitos que era el producto de dos números primos de 8 dígitos (99999787 por 99999821 es 9999960800038127). Luego le pregunté a ChatGPT si este número era primo y cómo determinaba si el número era primo.

Aprende más rápido. Excavar más hondo. Ver más lejos.

ChatGPT respondió correctamente que este número no era primo. Esto es algo sorprendente porque, si has leído mucho sobre ChatGPT, sabes que las matemáticas no son uno de sus puntos fuertes. (Probablemente haya una gran lista de números primos en algún lugar de su conjunto de entrenamiento). Sin embargo, su razonamiento era incorrecto, y eso es mucho más interesante. ChatGPT me proporcionó un montón de código de Python que implementaba la prueba de primalidad de Miller-Rabin y decía que mi número era divisible por 29. El código tal como se proporcionó tenía un par de errores sintácticos básicos, pero ese no era el único problema. Primero, 9999960800038127 no es divisible por 29 (te dejaré que te lo pruebes a ti mismo). Después de corregir los errores obvios, el código de Python parecía una implementación correcta de Miller-Rabin, pero el número que genera Miller-Rabin no es un factor, es un “testigo” que atestigua el hecho de que el número que está probando es no es primo El número que genera tampoco es 29. Así que ChatGPT en realidad no ejecutó el programa; No es sorprendente que muchos comentaristas hayan notado que ChatGPT no ejecuta el código que escribe. También entendió mal lo que hace el algoritmo y lo que significa su salida, y eso es un error más grave.

Luego le pedí que reconsiderara la justificación de su respuesta anterior y obtuve una disculpa muy cortés por ser incorrecta, junto con un programa de Python diferente. Este programa fue correcto desde el principio. Fue una prueba de primalidad de fuerza bruta que probó cada número entero (¡tanto impar como par!) más pequeño que la raíz cuadrada del número bajo prueba. Ni elegante ni performante, pero correcto. Pero nuevamente, debido a que ChatGPT en realidad no ejecuta el programa, me dio una nueva lista de “factores principales”, ninguno de los cuales era correcto. Curiosamente, incluyó su salida esperada (e incorrecta) en el código:

n = 9999960800038127
factors = factorize(n)
print(factors) # prints [193, 518401, 3215031751]

No estoy afirmando que ChatGPT sea inútil, ni mucho menos. Es bueno para sugerir formas de resolver un problema y puede llevarlo a la solución correcta, ya sea que le dé una respuesta correcta o no. Miller-Rabin es interesante; Sabía que existía, pero no me habría molestado en buscarlo si no me lo hubieran pedido. (Esa es una buena ironía: ChatGPT me lo solicitó).

Volviendo a la pregunta original: ChatGPT es bueno para proporcionar “respuestas” a las preguntas, pero si necesita saber que una respuesta es correcta, debe ser capaz de resolver el problema usted mismo o realizar la investigación necesaria. resolver ese problema. Probablemente sea una victoria, pero hay que tener cuidado. No ponga a ChatGPT en situaciones en las que la corrección sea un problema a menos que esté dispuesto y sea capaz de hacer el trabajo duro usted mismo.