@juandesant he probado koboldcpp y no me ha gustado mucho. No porque no funcione sino porque no necesito mucho de lo que ofrece (interfaz, ui,...). Lo siguiente fue llama-cpp-python, que es un poco de más bajo nivel y me he quedado con esa, de momento. @simon