Dieses Mal stelle ich Euch Summary-llm-qwen-2.5-32b, ein großes KI-Sprachmodell, das Ihr auf Eurer eigenen Hardware ausführen könnt, vor. Dieses Modell kann Texte lesen, zusammenfassen und neue daraus erstellen. Anders als andere lokale LLMs kann Summary auch mit großen Texten, wie z.B. Transkriptionen von Videos umgehen. Im Video zeige ich Euch, wie Ihr das Modell mit KoboldCPP verwenden könnt. Und damit es noch einfacher wird, habe ich ein Skript geschrieben, das per REST-API auf KoboldCPP zugreift und aus Eingabetexten und einem Prompt eine neue Textdatei schreibt. Natürlich gibt es auch Beispiele: Video-Titel, -Tags und -Beschreibung für YouTube erstellen.
Folien, Links, etc.: https://goos-habermann.de/weisheit-10251-Summary-llm-Mit-KI-Zusammenfassen-Umschreiben-Taggen-etc00:31 Was ist Summary-LLM? Anforderungen, "Installation", Starten
07:29 KoboldCpp: KI per Skript steuern
11:41 Ins Skript geschaut
17:46 Was kommt dabei raus? Beispiel: Zusammenfassung
24:58 Beispiel: YouTube-Beschreibung
26:57 Beispiel: Tags
29:42 und Abschließende Worte und Verabschiedung
=== Dienstleistungen und Hilfe ===
Meine Arbeit unterstützen/Video sponsoren: https://goos-habermann.de/Sponsor
Beratung und Support zum Thema: https://goos-habermann.de/Videosupport
Workshops und Schulungen: https://goos-habermann.de/Schulung
Vortrag buchen: https://goos-habermann.de/Wunschvideo
Softwareentwicklung (z.B. zu m23): https://goos-habermann.de/Entwicklung
Dienstleistungen buchen und (Beratungs-)Terminvereinbarung: https://goos-habermann.de
Softwareverteilungssystem m23: https://m23.goos-habermann.de und http://m23.sf.net
=== Mehr zu "Nicht der Weisheit letzter Schluß" ===
Meine Arbeit unterstützen: https://weisheit.goos-habermann.de/Videosponsor
Projektseite: https://weisheit.goos-habermann.de
YouTube: https://youtube.com/@nichtderweisheit
PeerTube: https://tube.tchncs.de/c/ndwls
Mastodon: https://mastodon.social/@LinuxLeben
RSS: https://goos-habermann.de/ndwls-rss.xml
=== Mehr zu mir woanders ===
Kurzanleitungen und Howtos: https://goos-habermann.de/kurzanleitungen
Freie Projekte "Dodger Tools": https://goos-habermann.de/dodger-tools
Kieler Open Source und Linux Tage: https://www.kielux.de
Jean und Hauke Show: https://www.youtube.com/c/LinuxGuides
WARNUNG: Wie auch bei meinen Howtos/Kurzanleitungen gilt: Bei jedem Schritt kann es
zum kompletten Datenverlust und/oder Zerstörung Eurer Hardware kommen.
Alle Angaben ohne Gewähr! Haftung ausgeschlossen!