Ahora puede ejecutar un modelo de IA de nivel GPT-3 en su computadora portátil, teléfono y Raspberry Pi

Un lector anónimo cita un informe de Ars Technica: El viernes, un desarrollador de software llamado Georgi Gerganov creó una herramienta llamada “llama.cpp” que puede ejecutar el nuevo modelo de lenguaje grande de IA de clase GPT-3 de Meta, LLaMA, localmente en una computadora portátil Mac. Poco después, la gente hizo ejercicio cómo ejecutar LLaMA en Windows también. Entonces alguien lo mostró ejecutándose en un teléfono Pixel 6y luego vino una frambuesa pi (aunque corriendo muy lento). Si esto continúa, es posible que estemos ante un competidor de ChatGPT de bolsillo antes de que nos demos cuenta. […]

Por lo general, ejecutar GPT-3 requiere varias GPU A100 de clase de centro de datos (además, los pesos para GPT-3 no son públicos), pero LLaMA causó sensación porque podía ejecutarse en una sola GPU de consumo robusta. Y ahora, con optimizaciones que reducen el tamaño del modelo usando una técnica llamada cuantización, LLaMA puede ejecutarse en una Mac M1 o en una GPU de consumo Nvidia menor. Tras obtener nosotros mismos los pesos del LLaMA, seguimos [independent AI researcher Simon Willison’s] instrucciones y obtuve la versión del parámetro 7B ejecutándose en un Macbook Air M1, y funciona a una velocidad razonable. Lo llama como un script en la línea de comando con un mensaje, y LLaMA hace todo lo posible para completarlo de una manera razonable.

Todavía queda la cuestión de cuánto afecta la cuantización a la calidad de la salida. En nuestras pruebas, LLaMA 7B recortado a cuantización de 4 bits fue muy impresionante para ejecutarse en una MacBook Air, pero aún no está a la altura de lo que podría esperar de ChatGPT. Es muy posible que mejores técnicas de incitación generen mejores resultados. Además, las optimizaciones y los ajustes finos llegan rápidamente cuando todos tienen en sus manos el código y los pesos, aunque LLaMA todavía tiene que cargar con algunos bastante restrictivo condiciones de uso. El suelta de alpaca today by Stanford demuestra que el ajuste fino (entrenamiento adicional con un objetivo específico en mente) puede mejorar el rendimiento, y aún es pronto después del lanzamiento de LLaMA. Puede encontrar una guía de instrucciones paso a paso para ejecutar LLaMA en una Mac aquí (Advertencia: es bastante técnico).