February 01, 2021

Reguläre Ausdrücke – IT-Berufe-Podcast #160

53 minutes

Um reguläre Ausdrücke – das Schweizer Taschenmesser für ITler – geht es in der einhundertsechzigsten Episode des IT-Berufe-Podcasts.

Inhalt

Ich schwärme immer mal wieder von regulären Ausdrücken. Das liegt wohl einfach daran, dass ich fast täglich mit ihnen arbeite. Sie sind einfach so unglaublich vielseitig verwendbar und machen ITlern das Leben leichter – wenn man sie beherrscht. Nicht umsonst gibt es diesen „Witz“:

Ich hatte ein Problem und versuchte es mit regulären Ausdrücken zu lösen. Nun habe ich zwei Probleme.

In den Händen eines erfahrenen Anwenders sind reguläre Ausdrücke allerdings äußerst hilfreich.

Sinn regulärer Ausdrücke

Reguläre Ausdrücke dienen der Mustererkennung in Zeichenketten und sind quasi Platzhalter on steroids. Statt der einfachen Platzhalter wie * oder ? z.B. in Dateinamen, gibt es viele verschiedene Platzhalter, Quantifizierer und weitere Regeln, um Muster in Texten zu definieren. Nach diesen Mustern kannst du suchen oder du kannst sie zum Ersetzen von Inhalten benutzen. Teilmuster lassen sich gruppieren und beim Ersetzen wiederverwenden. So gut wie jede Programmiersprache enthält eine eingebaute Unterstützung für reguläre Ausdrücke. Jeder vernünftige Texteditor unterstützt reguläre Ausdrücke beim Suchen und Ersetzen genauso wie eine gute Shell (z.B. Bash oder PowerShell).

Grundlegende Muster

konkreten Zeichen(-folgen): hallo

Bereiche: [], z.B. [a-z], [0-9], [aeiou]

Negation mit ^, z.B. [^abc]

Zeilenanfang: ^ (nicht mit der Negation verwechseln!)

Zeilenende: $

Platzhalter für ein beliebiges Zeichen: .

Alternativen: A|B

Quantifizierer (stehen hinter dem Muster)

einmal oder keinmal (0..1): ?

keinmal, einmal oder mehrmals (0..n): *

einmal oder mehrmals (1..n): +

genaue Anzahl: {8}, {2,5} (2 bis 5 mal)

Gruppen: (), Referenz mit $1

Escapen von besonderen Zeichen (insb. alle obigen): \

Anwendungsfälle aus meiner Praxis

Reguläre Ausdrücke gehören in den Werkzeugkasten jedes ITlers! Egal ob Anwendungsentwicklung oder Systemadministration, reguläre Ausdrücke können vielfältig eingesetzt werden. In der Linux-Administration können z.B. Black- und Whitelists für Hostnamen mit regulären Ausdrücken definiert werden. Die Apache-Konfiguration verwendet ebenfalls reguläre Ausdrücke. Auf der Linux-Kommandozeile kannst du mit grep in Dateien nach regulären Ausdrücken suchen. sed ermöglicht dir die Massenverarbeitung von Dateien. Das Suchen und Ersetzen im vi wird standardmäßig auch mit regulären Ausdrücken gemacht und du kannst sogar mit ihnen navigieren ($ springt z.B. zum Ende der Zeile).

Suchen und Ersetzen in Dateien

Listen umformatieren

Nachname/Vorname zu Vorname/Nachname

Anfang oder Ende von Zeilen manipulieren

Markdown in HTML und umgekehrt

Feldnamen mit public String ; umschließen

Batchdatei generieren zum Verschieben von Dateien

Whitespace trimmen

UUIDs/Domains/Mails in Text/Logs finden

Konkrete Beispiele

Gerade vor wenigen Tagen hatte ich die – eigentlich triviale – Aufgabe, ein paar Dateien umzubenennen, die ein bestimmtes Präfix hatten. Dieses Präfix sollte ausgetauscht werden. Anstatt die Dateien per Hand umzubenennen (oder die entsprechende Shell-Funktion zu nutzen 😉 ), habe ich mir mit einem simplen regulären Ausdruck in wenigen Sekunden ein Shell-Script gebaut, das die Aufgabe für mich löst.

Basis war die Liste der Dateien, die ich in der PowerShell mit dir | ac liste.ps1 erstellt habe.

prefix-Datei1.txt

prefix-Datei2.txt

...

prefix-Datei100.txt

Mit dem Suchen-/Ersetzen-Muster /^(prefix-(.*))$/move $1 neuerPrefix-$2/g im Vim wurde daraus:

move prefix-Datei1.txt neuerPrefix-Datei1.txt

move prefix-Datei2.txt neuerPrefix-Datei2.txt

...

move prefix-Datei100.txt neuerPrefix-Datei100.txt

Die Datei konnte ich dann einfach mit .\liste.ps1 ausführen und war fertig!

UUIDs suchen

Text: Text mit UUIDs wie z.B. 550e8400-e29b-11d4-a716-446655440000 mittendrin

RegEx: [a-f0-9]{8}-[a-f0-9]{4}-[a-f0-9]{4}-[a-f0-9]{4}-[a-f0-9]{12}

Suchergebnis: 550e8400-e29b-11d4-a716-446655440000

E-Mail-Adressen suchen

Text: Stefan Macke ([email protected]) hat einen Podcast.

RegEx: [a-z]+@[a-z]+\.[a-z]{2,3} (nicht ausreichend für echte Mails!)

Suchergebnis: [email protected]

Vor-/Nachnamen vertauschen

Text: Stefan Macke

RegEx: (.+) (.+)

Ersetzen durch: $2, $1

Ergebnis: Macke, Stefan

Trailing Whitespace entfernen

Text: Zeile mit Leerzeichen am Ende

RegEx: +$

Ersetzen durch: „

Ergebnis: Zeile mit Leerzeichen am Ende

Aus Zeilen Markdown-Aufzählungen machen

Text: Listenpunkt 1

RegEx: ^

Ersetzen durch: * (Asterisk muss ggfs. escapet werden)

Ergebnis: * Listenpunkt 1

Aus Namen Java-Attribute machen

Text: alterDerPersonInJahren

RegEx: (.+)

Ersetzen durch: private Integer $1;

Ergebnis: private Integer alterDerPersonInJahren;

Aus HTML-Links Markdown machen

Text: IT-Berufe-Podcast

RegEx: ([^<]+)

Ersetzen durch: [$2]($1 "$2") (Klammern müssen ggfs. escapet werden)

Ergebnis: [IT-Berufe-Podcast](https://it-berufe-podcast.de "IT-Berufe-Podcast")

Grenzen regulärer Ausdrücke

Wofür du reguläre Ausdrücke nicht benutzen solltest:

XML und HTML auseinandernehmen: Dafür brauchst du einen echten XML-Parser, da diese Sprachen zu „hoch“ für reguläre Ausdrücke sind.

Performance-kritische Aktionen: Reguläre Ausdrücke sind teuer im Vergleich zu „normalem“ Suchen und Ersetzen, da sie geparst und in einen Zustandsautomaten übersetzt werden müssen. Ein suboptimaler regulärer Ausdruck hat sogar schon einmal StackOverflow zum Absturz gebracht.

Programme mit Unterstützung für reguläre Ausdrücke

Kommandozeile: grep (Bash), Select-String (PowerShell)

Editoren: Vim, Notepad++, Visual Studio Code

IDEs: Eclipse, IntelliJ, Visual Studio

Und viele mehr…

Literaturempfehlungen

In diesem (zumindest für mich) spannenden Artikel zeigt Liz Bennett die – teils sehr deutlichen – Performance-Unterschiede zwischen guten und schlechten regulären Ausdrücken: Regexes: the Bad, the Better, and the Best.

In diesem tollen Artikel geht Nikita Popov auf die Hintergründe von regulären Ausdrücken ein und erklärt ganz nebenbei noch die Chomsky-Hierarchie und warum man HTML nicht mit regulären Ausdrücken parsen sollte: The true power of regular expressions. Ein wirklich spannender Artikel, der mir wieder mal zeigt, wie sinnvoll es ist, reguläre Ausdrücke zu beherrschen.

Eine witzige Möglichkeit, reguläre Ausdrücke zu lernen, ist übrigens das Regex Crossword. Damit habe ich auch schon einige Stunden verbracht! 😀

In Kapitel 10 (Konzepte der Programmierung) geht Sascha Kersken im IT-Handbuch für Fachinformatiker* auf reguläre Ausdrücke ein und zeigt Programmierbeispiele in Java und Python.

Links

Permalink zu dieser Podcast-Episode

RSS-Feed des Podcasts

RegEx101

RegExTester

...more

View all episodes

By Stefan Macke

11 ratings