@pybonacci la capa de contexto puede evaluar todos los tokens a la vez, teniendo en cuenta su posición. Y eso importa.

Con capas de markov, que no aprenden, usando un par de n-gramas o tres podía salir algún texto resultón. Pero generaba mucha basura porque era miope más allá de sus n-gramas y era incapaz de formar gramáticas válidas. Creo que la capa de contexto y un buen dataset de entrenamiento (con ejemplos 100% válidos) produce sintaxis válida, pero sin sentido semántico (solo inducción).

@pybonacci he flipado con las tarjetas gráficas que se están comprando algunos roleros para jugar al rol de toda la vida. No pueden usar GPT por temas de moderación/censura para preparar las partidas y necesitan bastantes parámetros para que las partidas tengan su cosilla.

Yo estoy cacharreando con un tema de RAG (tipo https://github.com/imartinez/privateGPT) para ver en cuál de los 200 libros que tengo hablan de un tema concreto. Y la verdad es que para encontrar referencias ahorra bastante tiempo.

@pybonacci yo me pille una 3060 con 12gb de ram (por unos 280€) y la inferencia hasta con modelos de 13b va aceptable y permite probar frikadas que me darían pereza de otra forma (RAG, refinar, memorias... y todo lo que tienes sencillo con langchain para probar).

Si solo vas a tener libre un par de horas olvídate porque entre los drivers y libs de desarrollo de nvidia, conseguir compilar las librerías torch y tf para cuda,... se te van a ir. A no ser que hagas algo útil que te ahorre tiempo ;-)

@pybonacci a mi no me preocupa la tecnología, me preocupa la sociedad en la que una IA que lo que no sabe se lo inventa y dice cuñadeces increibles lo esté petando tan fuerte.

@fanta fucking shit, una pregunta de informática sin "0 indexed responses" 😟