Notices

1. Pybonacci (pybonacci@mastodon.social)'s status on Tuesday, 26-Sep-2023 12:58:50 CEST Pybonacci

   Esta semana he estado jugando con LLMs en local. He probado modelos 7B, 13B y 34B usando solo CPU y consiguiendo 4 tokens/s usando 12 hilos de los 24 disponibles.

   Por otra parte, el consumo de RAM no ha subido de 6-7 Gb incluso con modelos de 34B (phind-codellama y WizardCoder). Esto es raro.

   Los resultados han sido un desastre pero no he hecho absolutamente nada para adaptarlos ni mejorarlos. Tengo que leer algo más sobre esto. Quizá en 2025, cuando saque otro par de horas libres :blobpeek:

   • Pybonacci (pybonacci@mastodon.social)'s status on Tuesday, 26-Sep-2023 13:09:27 CEST Pybonacci

     in reply to

     Tengo que probar si mi GPU me ayuda en algo pero me da tanta pereza todo lo relacionado con NVIDIA...

   • lasizoillo@mastodon.social's status on Tuesday, 26-Sep-2023 16:51:11 CEST lasizoillo

     in reply to

     @pybonacci yo me pille una 3060 con 12gb de ram (por unos 280€) y la inferencia hasta con modelos de 13b va aceptable y permite probar frikadas que me darían pereza de otra forma (RAG, refinar, memorias... y todo lo que tienes sencillo con langchain para probar).

     Si solo vas a tener libre un par de horas olvídate porque entre los drivers y libs de desarrollo de nvidia, conseguir compilar las librerías torch y tf para cuda,... se te van a ir. A no ser que hagas algo útil que te ahorre tiempo ;-)

   • Pybonacci (pybonacci@mastodon.social)'s status on Tuesday, 26-Sep-2023 17:07:00 CEST Pybonacci

     in reply to

     • lasizoillo

     @lasizoillo

     👍

     paso de gastar dinero en esto.

     Lo estoy mirando muy por encima. Más que nada por curiosidad pero no por ninguna necesidad.

   • lasizoillo@mastodon.social's status on Tuesday, 26-Sep-2023 17:16:02 CEST lasizoillo

     in reply to

     @pybonacci he flipado con las tarjetas gráficas que se están comprando algunos roleros para jugar al rol de toda la vida. No pueden usar GPT por temas de moderación/censura para preparar las partidas y necesitan bastantes parámetros para que las partidas tengan su cosilla.

     Yo estoy cacharreando con un tema de RAG (tipo https://github.com/imartinez/privateGPT) para ver en cuál de los 200 libros que tengo hablan de un tema concreto. Y la verdad es que para encontrar referencias ahorra bastante tiempo.