Notices

1. Pybonacci (pybonacci@mastodon.social)'s status on Monday, 09-Oct-2023 13:52:37 CEST Pybonacci

   • lasizoillo

   @lasizoillo el tokenizer entiendo lo que hace y con palabras y viendo el contexto y frecuencias, pesos, etc, entiendo lo que está haciendo (más o menos). De lo que me surgen más dudas es sobre si las ecuaciones son directamente aprendidas en bloque o si puede meter alucinaciones e ideas locas sin sentido (que lo hace) y eso puede llevar a mucha gente a errores, confusiones u otros problemas

   • lasizoillo@mastodon.social's status on Monday, 09-Oct-2023 15:45:09 CEST lasizoillo

     in reply to

     @pybonacci la capa de contexto puede evaluar todos los tokens a la vez, teniendo en cuenta su posición. Y eso importa.

     Con capas de markov, que no aprenden, usando un par de n-gramas o tres podía salir algún texto resultón. Pero generaba mucha basura porque era miope más allá de sus n-gramas y era incapaz de formar gramáticas válidas. Creo que la capa de contexto y un buen dataset de entrenamiento (con ejemplos 100% válidos) produce sintaxis válida, pero sin sentido semántico (solo inducción).