Une nouvelle vidéo sur mes expérimentations en IA/LLM.
https://huggingface.co/TheBloke/openchat_3.5-GGUF
https://github.com/ggerganov/llama.cpp
Compilé suivant les instructions.
Système d'exploitation ici : FreeBSD, mais ça marcherait sûrement presque aussi bien sur un Linux.
Machine utilisée : AMD Ryzen 5600, pas d'utilisation du GPU
Occupation mémoire : environ 5 Go (et autant en disque)
Attention actuellement à prendre le commit d0cee0d pour pouvoir lire le fichier, cela a été cassé ensuite (mais sera sûrement réparé).
https://twitter.com/pbeyssac/status/1726924823472070982
Fil original de Baptiste Jamin :
https://twitter.com/baptistejamin/status/1726571942319460381