Grundlagen der Automatischen Spracherkennung, WS16/17, Vorlesung

By Karlsruher Institut für Technologie (KIT)Education

Grundlagen der Automatischen Spracherkennung, WS16/17, Vorlesung episodes

February 16, 2017 Grundlagen der Automatischen Spracherkennung, Vorlesung, WS 2016/17, 06.02.2017, 19
0:00:00 Starten
0:00:16 Minimierung des Wortfehlers
0:02:50 Approximierung mit N-besten Listen
0:04:06 WER Minimierung auf Wortgraphen
0:04:18 Multiple Alignment WER
0:07:03 Finden des globalen Alignment
0:08:21 Alignment als Äquivalenzrelation
0:09:44 Finden einer angemessenen Äquivalenzrelation
0:12:02 Intra-Wort-Clustern
0:14:58 Pruning
0:15:45 Confusionsnetzwerke
0:18:20 Confusionsnetzwer-Hypothese
0:19:20 Eyperimente
0:23:03 Systemkombination
0:25:00 Systemkombination mit ROVER
0:28:33 Alignierung vieler Hypothesen mittlels DP
0:29:30 Beispiel
0:30:46 Mehrheitsentscheidung
0:31:25 Experimente
0:34:28 Probleme mit EM Training
0:38:06 Korrektives Training
0:41:22 Diskriminatives Training
0:43:00 Maximierung der Posterioriw'keit
0:43:41 Transformation / Mutual Information
0:45:14 Maximum Mutual Information Estimation (MMIE)
0:47:52 MLE vs. MMIE
0:50:35 MMIE Implementierung
0:51:20 MMIE Optimierung
0:52:16 Erweiterte Baum-Welch Regeln
0:54:59 MMIE Trainingsprozedur
0:57:21 Ergebnisse
0:58:00 MWE/MCE Training
1:07:31 Neue-Worte-Problem
1:09:31 Ansätze
1:11:02 Häufigkeitsverteilung von Wörtern
1:12:46 Herausvorderungen bei der OOV Detektion
1:14:11 OOV Wörtermodelle im AM
1:15:37 AM
1:16:03 OOV Wörtermodelle LM
1:17:49 Automatisches Clustern
1:18:06 Beispiele
1:19:36 Genauigkeit OOV Detektion
1:21:01 Lernen der neuen Wörter
1:21:32 Beispiel Lerndialog
1 hr 24 min
January 25, 2017 Grundlagen der Automatischen Spracherkennung, Vorlesung, WS 2016/17, 18.01.2017, 18
18 |
0:00:00 Starten
0:01:22 Vor- und Nachteile eines Stackdecoders
0:05:30 A* vs. Strahlsuche
0:07:22 Vermeidung von Redundanzen
0:09:23 Baumsuche
0:12:11 Baumsuche mit Sprachmodell
0:13:54 Delayed Bi-Grams
0:21:15 Einsparung durch Baum-Lexica
0:25:40 Kopien von Suchbäumen
0:29:50 Suche mit kontextabhängigen Modellen
0:32:24 Baumsuche mit kontextabhängigen Modellen
0:35:58 N-Besten Suche
0:43:27 Probleme mit n besten Listen
0:45:27 Wortgraphen
0:47:39 Zusammenfassung Beschleunigungstechniken
0:49:35 Mehrpass Suchen
0:50:53 Beispiel: IBIS Single Pass Decoder
0:53:48 Delayed Bi-Grams
1:00:17 Consensus Decoding
1:02:38 Bsp: MAP vs. Wort-Posteriori-W'keiten
1:08:34 Minimierung des Wortfehlers
1:12:50 Approximierung mit N-besten Listen
1:14:55 WER Minimierung auf Wortgraphen
1:17:16 Multiple Alignment WER
1 hr 21 min
January 19, 2017 Grundlagen der Automatischen Spracherkennung, Vorlesung, WS 2016/17, 16.01.2017, 17
17 |
0:00:00 Starten
0:00:04 Suche
0:01:31 Erinnerung: Fundamentalformel
0:02:05 Suche in der Spracherkennung
0:05:08 Erinnerung DTW und One-Stage-DP
0:07:02 Suche im Allgemeinen
0:09:33 Suche mit DP und Heuristik
0:11:37 Kenngrößen für Suchprobleme
0:14:42 Forward-/Backward-/bi-direktionale Suche
0:16:34 Explizite vs. Implizite Implementierung
0:18:15 Blinde Suche
0:19:51 Suchstrategien
0:24:49 Tiefensuche vs. Breitensuche
0:25:58 Heuristische Graphsuche
0:28:42 Zeitasynchrone Suche mit A*
0:33:13 Zeitsynchrone Strahlsuche
0:38:16 Beams in ASR
0:40:15 Beam vs. WER
0:51:26 Kontinuierliche Suchräume, gleichverteiltes Sprachmodell
0:54:51 Suchraum mit Uni-Gramm
0:58:16 Suchraum mit Bi-Grammen
1:00:59 Suchraum mit Tri-Grammen
1:05:58 Viterbi Decoding
1:12:51 A* mit Stack Decoder
1:14:40 Heuristik für A*
1:16:42 Fast Match
1 hr 20 min
January 12, 2017 Grundlagen der Automatischen Spracherkennung, Vorlesung, WS 2016/17, 21.12.2016, 16
16 |
0:00:00 Starten
0:00:04 Kombination von Sprachmodell und Akustischem Modell
0:15:11 Deterministische Sprachmodelle
0:17:41 Repräsentation der Grammatik
0:19:28 Formale Sprachtheorie
0:20:31 Chomsky-Hierarchie
0:22:28 Chartparsing
0:24:54 Probabilistische CFGs
0:28:34 Suche
0:30:26 Erinnerung: Fundamentalformel
0:31:15 Suche in der Spracherkennung
38 min
December 20, 2016 Grundlagen der Automatischen Spracherkennung, Vorlesung, WS 2016/17, 14.12.2016, 15
15 |
0:00:00 Starten
0:00:05 Aussprachewörterbücher, Sprachmodelle
0:00:41 Flexibles Trainingsalignment
0:01:05 Aussprachen bestimmen für unüberwachtes Lernen
0:05:18 Emotionserkennung mit Hilfe von Aussprachenvarianten
0:06:27 Aussprachewörterbuch Entwicklung (nach Adda-Decker und Lamel)
0:09:10 Multiworte
0:12:05 Single Pronunciation Dictionaries
0:15:06 Erweiterter Clusterbaum
0:18:48 Ergebnisse
0:22:47 Literaturempfehlung
0:23:27 Sprachmodellierung
0:24:15 Erinnerung: Fundamentalformel
0:29:44 Determinstische vs. Stochastische Sprachmodelle
0:33:48 Wörterratespiel
0:38:08 Wozu dient das Sprachmodell
0:40:26 Stochastische Sprachmodelle
0:44:57 Äquivalenzklassen
0:46:28 Schätzen von N-Gramm W´keiten
0:47:34 Beispiel
0:50:57 Bigramme und Trigramme
0:53:57 Das Bag-of-Words Experiment
0:55:30 Glättung von Sprachmodellparametern
0:57:59 Discounting
1:00:51 Interpolation (Lineare Glättung)
1:02:16 HMM für Interpolationsgewichte
1:10:10 Schätzung der Gewichte
1:10:57 HMM für Interpolationsgewichte
1:11:53 Deleted Interpolation. Basierend auf den »Conditional Counts«
1:17:47 Praktische Aspekte
1:19:38 Schätzen von Y
1:20:28 Allgemeines Rahmenwerk für Glättung
1:22:41 Weitere Notationen
1 hr 24 min
December 20, 2016 Grundlagen der Automatischen Spracherkennung, Vorlesung, WS 2016/17, 12.12.2016, 14
14 |
0:00:00 Starten
0:00:09 Wiederholung
0:03:29 Kontextfragen
0:09:30 Typische Kontextfragen
0:13:15 Abdeckung durch Polyphone
0:14:51 Gewinn durch längere Kontexte
0:16:21 Verwendung dynamischer Modalitäten
0:17:38 Dynamische Modalitäten
0:29:29 Fehler durch Falsche Aussprachen
0:31:19 Generierung von Aussprachewörterbüchern
0:39:42 Verwendung von existierenden Wörterbüchern
0:43:58 Lernen von Ausspracheregeln
0:51:00 Inkrementelles Lernen
0:53:28 Aussprachevarianten
0:56:08 Finden von Aussprachevarianten
0:57:32 Probleme mit Aussprachevarianten
1:02:59 Typische Aussprachevarianten
1:03:38 Regeln für Aussprachevarianten im Deutschen
1:04:40 Datengetriebenes Finden von Aussprachevarianten
1:07:48 Finden von Aussprachevarianten mit dem Silbenmodell
1:09:22 Flexibles Trainingsalignment
1 hr 12 min
December 08, 2016 Grundlagen der Automatischen Spracherkennung, Vorlesung, WS 2016/17, 30.11.2016, 13
13 |
0:00:00 Starten
0:00:06 EM Algorithm
0:00:22 Literatur
0:01:46 Baum-Welch Regeln
0:03:41 Maximum-Likelihood Methode
0:42:38 Expectation Maximization (EM)
0:45:19 EM
0:49:06 EM – Expectation Schritt
0:54:25 EM für Mixtur-Gewichte
1:05:41 EM für Gaußmixturen
1:17:21 EM für HMMs
1:20:05 EM für HMMs Anfangsw´keiten
1:22:18 EM für HMMs Übergangsw´keiten
1:24:26 EM Algorithmus diskrete Emissionsw´keiten
1 hr 27 min
December 01, 2016 Grundlagen der Automatischen Spracherkennung, Vorlesung, WS 2016/17, 28.11.2016, 12
12 |
0:00:00 Starten
0:00:11 EM Algorithmus Emissionsw'keiten GMM
0:06:13 HMM Training für multiple Trainigssequenzen
0:07:32 HMMs in ASR
0:10:16 Wortfolge zu HMM
0:13:56 HMM in ASR
0:26:49 HMM Trainingszyklus
0:36:21 Etikettierte Daten
0:38:19 Initalisierung mit K-Mittelwerte Algorithmus
0:47:19 Neural Gas Algorithmus
0:49:20 Initilisierung der HMM Parameter
0:51:25 Initialisierung ohne Etiketierte Daten
0:53:33 Viterbi Training
0:57:59 Label Training
1:00:00 Komponenten eines HMM Erkenners
1:01:41 Parameterkopplung
1:03:13 Semikontinuierliches HMM
1:10:21 Parameterkopplung
1 hr 22 min
December 01, 2016 Grundlagen der Automatischen Spracherkennung, Vorlesung, WS 2016/17, 23.11.2016, 11
11 |
0:00:00 Starten
0:00:05 EM Algorithm
0:00:19 Literatur
0:01:55 Baum-Welch Regeln
0:03:38 Maximum-Likelihood Methode
0:42:31 Expectation Maximization EM)
0:45:17 EM
0:49:09 EM – Expectation Schritt
0:54:05 EM für Mixtur-Gewichte
1:00:55 EM für Mixturgewichte
1:05:43 EM für Gaußmixturen
1:17:48 EM für HMMs
1:20:37 EM für HMMs Anfangsw´keiten
1:22:50 EM für HMMs Übergangsw´keiten
1:24:30 EM Algorithmus diskrete Emissionsw´keiten
1 hr 27 min
November 22, 2016 Grundlagen der Automatischen Spracherkennung, Vorlesung, WS 2016/17, 21.11.2016, 10
10 |
0:00:00 Starten
0:00:20 Stochastik in der Spracherkennung
0:05:24 Die Fundamentalformel
0:10:01 Stochastische ASR Akustisches Modell
0:11:49 Stochastischer Prozess
0:19:33 Makrow-Kette
0:20:42 Makrow-Kette n-ter Ordnung
0:23:22 Makrow-Ketten 1. Ordnung
0:27:37 Beispiele
0:32:10 Hidden Markov Models
0:40:48 Urne Ball Modell
0:42:27 HMM Definition
0:45:25 HMM Beobachtungsgenerierung
0:46:56 Die HMM Trellis
0:48:38 Die Drei Probleme des HMMs
0:52:21 Forward Algorithmus
0:57:17 Backward Algorithmus
1:04:29 Das Decoding Problem
1:07:30 Viterbi-Algorithmus
1:09:37 Das Lern-Problem
1:17:54 Baum-Welch Regeln
1 hr 25 min