Sign up to save your podcasts
Or
Share Essai rapide d'Openchat3.5 sur machine basique avec vidéo temps réel
Share to email
Share to Facebook
Share to X
Share to email
Share to Facebook
Share to X
Or
Essai rapide d'Openchat3.5 sur machine basique avec vidéo temps réel
Une nouvelle vidéo sur mes expérimentations en IA/LLM.
Le modèle utilisé :
https://huggingface.co/TheBloke/openchat_3.5-GGUF
Le logiciel utilisé :
https://github.com/ggerganov/llama.cpp
Compilé suivant les instructions.
Système d'exploitation ici : FreeBSD, mais ça marcherait sûrement presque aussi bien sur un Linux.
Machine utilisée : AMD Ryzen 5600, pas d'utilisation du GPU
Occupation mémoire : environ 5 Go (et autant en disque)
Attention actuellement à prendre le commit d0cee0d pour pouvoir lire le fichier, cela a été cassé ensuite (mais sera sûrement réparé).
Fil twitter :
https://twitter.com/pbeyssac/status/1726924823472070982
Fil original de Baptiste Jamin :
https://twitter.com/baptistejamin/status/1726571942319460381
View all episodes
By Une nouvelle vidéo sur mes expérimentations en IA/LLM.
Le modèle utilisé :
https://huggingface.co/TheBloke/openchat_3.5-GGUF
Le logiciel utilisé :
https://github.com/ggerganov/llama.cpp
Compilé suivant les instructions.
Système d'exploitation ici : FreeBSD, mais ça marcherait sûrement presque aussi bien sur un Linux.
Machine utilisée : AMD Ryzen 5600, pas d'utilisation du GPU
Occupation mémoire : environ 5 Go (et autant en disque)
Attention actuellement à prendre le commit d0cee0d pour pouvoir lire le fichier, cela a été cassé ensuite (mais sera sûrement réparé).
Fil twitter :
https://twitter.com/pbeyssac/status/1726924823472070982
Fil original de Baptiste Jamin :
https://twitter.com/baptistejamin/status/1726571942319460381