Chaos Computer Club - archive feed

Inspiriert von der [Nolli-Karte](https://www.lib.berkeley.edu/EART/maps/nolli.html) sollen öffentliche Räume auf Basis aktueller OpenStreetMap Daten identifiziert und kartiert werden. Dazu entwickle ich ein Skript zur automatisierten Geodatenverarbeitung, welches auf einen Stadtteil von Wien angewendet werden soll.

Bereits vor über 250 Jahren setzte sich Giovanni Battista Nolli, ein italienischer Architekt, Ingenieur und Kartograf damit auseinander, wie und wo Raum öffentlich zugänglich ist oder nicht. In seiner ['La nuova topografia di Roma Comasco'](https://www.lib.berkeley.edu/EART/maps/nolli.html) kartierte er mit beeindruckend hohem Detailgrad öffentlich zugängliche Innen- und Außenräume von Rom als Figure-ground Karte. Seitdem haben sich sowohl Charakter und Vielfalt öffentlicher Räume als auch die Datenbasis verändert. Vor diesem Hintergrund entwickle ich im Rahmen meiner Masterarbeit eine Skript zur automatisierten Geodatenverarbeitung für Daten aus OpenStreetMap, um öffentliche Räume anhand bestimmter Attribute zu identifizieren, zu kategorisieren und zu visualisieren. Das Skript soll auf einen Stadtteil von Wien angewendet werden.

Eine erste Version des Skripts ist als GitHub Repository veröffentlicht: [osm-public-space-mapper](https://github.com/ester-t-s/osm-public-space-mapper)

about this event: https://pretalx.com/fossgis2023/talk/Y77U8A/

In diesem Vortrag wird die automatisierte Detektion von Baumstandorten mit Hilfe von machinellem Lernen und Fernerkundungsdaten, die im Zuge eines Projektes mit dem Regionalverband Ruhr (RVR) entwickelt wurde, präsentiert.

Kenntnisse über die Standorte von Einzelbäumen sowie deren Veränderung bilden eine wichtige Grundlage für diverse Fragestellungen mit Bezug zu grüner Infrastruktur, Raumbeobachtung und Klima. Die Informationen dazu liegen in der Metropole Ruhr nur vereinzelt und unvollständig, z.B. in Form von kommunalen Baumkatastern vor. Daher wurde im Rahmen eines Projektes mit dem Regionalverband Ruhr (RVR) eine automatisierte Detektion von Baumstandorten entwickelt.

Innerhalb des Projektes ist ein Open-Source-Ansatz entwickelt worden für die Erfassung von Einzelbäumen, sowie diverser Parameter (Höhe, geschätzte Stammposition, Kronendurchmesser, Abstand zu Gebäuden und anderen Bäumen,...). Dieser Ansatz beinhaltet die Anwendung von maschinellem Lernen (ML – Machine Learning). Als Datengrundlage werden u.a. LiDAR-Punktwolken, Orthophotos und daraus abgeleitete Indizes (z.B. NDVI), sowie Sentinel-2-Zeitreihen genutzt. Ein flächendeckender Datensatz wurde am Beispiel von Herne für das Jahr 2020 berechnet.

about this event: https://pretalx.com/fossgis2023/talk/LAPFZU/

Anhand Open-Source-Software Apache StreamPipes wird die praktische Anwendung von Geo-Operatoren beim Stream-Processing vorgestellt. Zudem werden die allgemeinen Grundlagen und die Herausforderungen von Stream-Processing erklärt und mit den klassischen Prinzipien des Batch-Processing verglichen. Auf Themen wie Interoperabilität durch Umsetzung von Standards als auch Ontologie im Geo-Bereich wird ebenfalls eingegangen.

Heute existieren eine Vielzahl von Datenquellen, die große Datenmengen in Quasi-Echtzeit erzeugen. Daraus resultieren kontinuierliche Datenströme und die Verarbeitung und Analyse werden als Stream-Processing bezeichnet. Das zugrunde liegende Konzept stellt einen neuen Ansatz zum klassischen Batch-Processing dar. Daten werden nicht erst zwischengespeichert, sondern direkt nach ihrer Entstehung oder ihrem Empfang in nahezu Echtzeit kontinuierlich verarbeitet und analysiert. Stream-Processing kommen beispielsweise im Big-Data-Umfeld oder im Bereich Internet der Dinge (IoT) zum Einsatz. Die Verarbeitung und Analyse von (Geo-) Datenströmen in diesem Kontext existieren im Open Source Bereich nur bedingt oder verlangt ein tiefes Grundwissen und eine breite Systemarchitektur.

Eine einfache Lösung und Umsetzung bietet das Apache StreamPipes Projekt. StreamPipes ist eine Self-Service (industrielle) IoT-Toolbox, die es auch technisch nicht versierten Benutzern ermöglicht, (Geo-) Datenströme zu verbinden, zu analysieren und in Dashboards zu visualisieren.

Dieses kann z. B. im Bereich des autonomen Fahrens, Verkehrsüberwachung oder auch Monitoring von Wetter-Sensoren erfolgen. Die (Geo-) Datenströme können dabei nicht nur durch Adapter importiert, sondern auch durch verschiedene Senken anderer Open Source Technologien zur Verfügung gestellt werden. Daher spielt das Thema Interoperabilität eine zentrale Rolle, welche durch verschiedene OGS Standards gewährleistet wird.

In diesem Talk werden auf die allgemeinen Grundlagen und Terminologien des Stream-Processings eingegangen und am Beispiel von StreamPipes erklärt. Auch werden die Herausforderungen im Vergleich zu Batch Processing dargelegt und Lösungen präsentiert. Anhand von Beispielen aus dem Geo-Bereich werden verschiedene Geo-Operatoren exemplarisch im Stream-Processing vorgestellt.

about this event: https://pretalx.com/fossgis2023/talk/FTBK3Q/

It is a truth universally acknowledged, that a programming language with more than 100 users must be in want of a module system. JavaScript, first released in 1995, resisted this natural law until 2015 with the introduction of ES6.

Since then, Modules have become a popular authoring tool for JavaScript Developers. However, modules as a shipping mechanism present certain issues, and many developers continue to compile to module-free code rather than ship native modules. This has challenged the language committee to investigate what is and what isn’t working about our module system.

How do we do this, and how do we communicate these design changes from a small focus group to a larger design committee? A number of proposals are planned that change what kind of applications can be built using the module system.

We will explore these questions and more, giving you a behind the scenes look at designing a module system for the web.

about this event: https://bobkonf.de/2023/startsev.html

In verschiedenen fachlichen und technischen Kontexten haben wir GeoNode als zentrale Komponente von Forschungsdateninfrastrukturen eingesetzt. In den einzelnen Szenarien wurden verschiedene Weiterentwicklungen und Ergänzungen vorgenommen. Dazu gehören die Anbindung von Remote-Diensten über offene OGC Schnittstellen oder die Integration von Cloud-optimized-GeoTiffs (COG). Zur Darstellung der neuen Datentypen und spezialisierten Fachinformationen wurden dedizierte Dashboards entwickelt.

Die Idee einer Forschungsdateninfrastruktur (FDI) beruht darauf, dass über die reinen (Geo-) Daten hinaus auch der Forschungsprozess (in Teilen) darin abgelegt werden kann. Eine FDI unterstützt Forschende in Ihrer Arbeit und trägt zur Vernetzung der Arbeiten innerhalb einer Organisation bei. Durch die zentrale Struktur trägt eine FDI auch zu einer besseren Reproduzierbarkeit von Forschung bei. Ein weiterer zentraler Aspekt ist die Bereitstellung von aufbereiteten Daten, die direkt analysiert werden können (ARD: Analysis Ready Data), so wie die direkte Anbindung von Prozessierungsdiensten. Neben der Bereitstellung und Verwaltung von Daten kann eine FDI aber auch Software oder beispielsweise Open Education Resources beinhalten.

Die Wissenschaft ist oftmals ein Unterstützer von offener Software, nicht zuletzt um auch die Implementierung im wissenschaftlichen Sinne nachvollziehbar und reproduzierbar zu machen. Wir möchten in diesem Beitrag verschiedene FDI-Anwendungen aus der Geo-Domäne auf Basis von GeoNode und weiteren FOSS-Komponenten vorstellen.

Ziel des zugrunde liegenden BMWK geförderten F&E-Projektes “MariData” ist es, die Energieeffizienz von Schiffen zu verbessern. Um dieses Ziel zu erreichen, soll eine Routenoptimierung durchgeführt werden, die Vorhersagen der Umweltbedingungen (u.a. Wind, Wellen) einbezieht und über schiffsspezifische, hydrodynamische Modelle den Treibstoffverbrauch für potentielle Routen zuverlässig abschätzen kann. So lässt sich das Routing in Bezug auf den Treibstoffverbrauch optimieren.

Um die dafür erforderlichen Daten in einer zentralen FDI zu verwalten, wird eine GeoNode Instanz betrieben. Da die Vorhersagedaten im NetCDF Format vorliegen, wurde GeoNode um Funktionen erweitert, die es erlauben, die NetCDF Dateien in GeoServer automatisiert und kontinuierlich zu importieren, sobald neue Daten verfügbar sind. Diese Funktionalität ist bisher rein funktional am Back-End umgesetzt. Zusätzlich zum Verwalten der Daten wird die GeoNode API um einen Endpunkt zur direkten Prozessierung der Daten, der Berechnung von Routenvorschlägen erweitert. Als Alternative zum GeoServer für die Bereitstellung von Rasterdaten wurde eine Integration von Data-Cube-Konzepten in GeoNode evaluiert. Das gesamte Set-Up läuft über Kubernetes in der Cloud. Zur Integration von weiteren Remote-Diensten wurde eine Anbindung von existierenden Web-Coverage-Services (WCS) als Geonode Remote-Service realisiert.

Für das Datenanalyseunternehmen Fraym wurde GeoNode dahingehend erweitert, dass große Rasterdaten im Cloud-Optimized-GeoTiff-Format (COG) direkt aus einem S3-Speicher integriert und geladen werden können. Dazu wurde das COG-Plugin des GeoServer genutzt und das GeoNode-Datenmodell entsprechend angepasst. Die S3-URL ist Teil des Metadatensatzes, was die maschinenlesbare Prozessierung von COGs ermöglicht, etwa in Jupyter-Notebooks. Die Laufzeitumgebung bei dieser Anwendung stellt ebenfalls ein Kubernetes-Cluster.

Für die Universität Manitoba wurde eine GeoNode Instanz aufgesetzt, um verschiedene Geodaten einheitlich zu verwalten. Über den Daten-Katalog können die heterogenen Datensätze (Rasterdaten, Vektordaten, Zeitreihen) exploriert werden. Ergänzend zu GeoNode wurde insbesondere die Integration von Zeitreihendaten entwickelt. Dafür wurde eine separate Django App implementiert, die in GeoNode installiert werden kann und einen neuen Remote Service Typ für die OGC SensorThings API (STA) bereitstellt. Datastreams aus hinzugefügten STAs können anschließend in GeoNode importiert werden. Dazu wird für jeden Datastream ein GeoNode Layer angelegt und die spezifischen Metadaten (Sensor, Thing, ObservedProperty, etc.) in zusätzlichen Datenbanktabellen gespeichert. Die STA-Layer können dann über den Katalog gefunden und die Standard-Metadaten sowie die zusätzlichen Elemente angezeigt werden. Die eigentlichen Daten liegen nach wie vor nur in der STA vor. Um diese zu visualisieren und herunterzuladen, wurde außerdem ein separates Dashboard entwickelt, das die Stationen auf einer Karte anzeigt und die Exploration der Messreihen über Zeitreihen-Diagramme ermöglicht.

Für eine GeoNode Instanz, welche Daten und Informationen zum Klimawandel in Bangladesch bereitstellt, wurden in enger Kooperation mit den Nutzer*Innen spezielle externe Dashboards entwickelt. Diese Dashboards dienen dazu, Daten zur Vulnerabilität durch Klimaänderungen und Naturkatastrophen, Klimamodelldaten und Zeitreihen Benutzer*Innen und Entscheidungsträger*Innen zugänglich zu machen.

Zusammen mit dem Unternehmen FORLIANCE wurde das Management von kundenspzifischen Geodaten über die Metadaten in GeoNode realisiert. Um den breiten Einsatz der FDI zu ermöglichen, wurde zudem das Nutzer- und Rollenmanagement auf Basis von GeoNode und dem Metadaten-Modell erweitert. Die gewünschte spezialisierte Sicht auf die Geodaten konnte durch die Entwicklung eines Dashboards ermöglicht werden. Diese spezifische Anwendung von GeoNode ist im Kubernetes-Cluster der FORLIANCE GmbH deployed.

Der Einsatz der FOSS-Lösung GeoNode hat sich in verschiedenen fachlichen und technischen Kontexten bewährt. Der konsequente Einsatz von offenen Standards ermöglicht eine gute Integrierbarkeit mit weiteren Komponenten, um fehlende Features zu ergänzen. So ließen sich bedarfsgerechte spezifische FDIs entwickeln, die verschiedene Datensätze zentral auffindbar machen.

Neben den Software-Entwicklungen konnte über die Projekte hinweg ein effizientes und skalierbares Deployment mit Hilfe von Kubernetes etabliert werden. So kann die technologische Basis für eine FDI einfach bei verschiedenen Cloud-Anbietern oder in lokalen Set-Ups bereitgestellt werden und auf umgebungsspezifische Eigenheiten eingegangen werden.

Zur tiefergehenden Exploration der Daten werden zukünftig weitere Anwendungen entwickelt, um die spezifischen Datensätze und ihre Präsentation für Nutzer*Innen möglichst intuitiv und informativ bereit zu stellen.

about this event: https://pretalx.com/fossgis2023/talk/LTMYWG/

Aufnahmen der historischen Spionagesatelliten aus den „Keyhole“ Missionen der 60er, 70er, und 80er Jahre sind aufgrund ihrer Qualität einzigartig, allerdings erfordern sie eine besondere Methodik zur Entzerrung der Panorama-Aufnahmen. Hier stellen wir die Ergebnisse der Orthorektifizierung dieser Aufnahmen mit der Open Source Software GRASS GIS vor.

Im Rahmen der „Keyhole” Missionen betrieben die USA während des kalten Krieges eine Reihe von Spionagesatelliten, deren Daten in den letzten Jahrzehnten über den US Geological Survey größtenteils öffentlich zugänglich gemacht wurden. Besonders interessant sind aus heutiger Sicht Aufnahmen der Missionen KH-4A/B (CORONA), KH-7 (GAMBIT), sowie KH-9 (HEXAGON). Die Daten dieser Satelliten stehen als Scans physischer Filmkameraaufnahmen zur Verfügung und verfügen über eine Bodenauflösung von 0.6 – 3 Metern. Da CORONA und HEXAGON über geneigte Panoramakamerasysteme verfügten, sind starke Verzerrungen in den Aufnahmen enthalten, die eine Orthorektifizierung mittels üblicher linearer Verfahren unmöglich machen. mundialis implementierte daher eine Methodik zur Entzerrung von Panorama-Aufnahmen, die seit Version 7.9 in der freien Open Source Software GRASS GIS enthalten ist. Zusätzlich wurden weitere GRASS Module und Walkthroughs erstellt, die die Rektifizierung und Georeferenzierung von Aufnahmen der „Keyhole“ Missionen vereinfachen.

In vielen Teilen der Welt haben die „Keyhole“ Missionen Bilder der Landoberfläche aufgenommen, die in der Zwischenzeit von Infrastruktur, Städtebau und Landnutzungsveränderungen überprägt worden sind. Dies macht die Aufnahmen zu einer wertvollen Quelle für historische und archäologische Anwendungen sowie Langzeitstudien der Landbedeckungsveränderung.

about this event: https://pretalx.com/fossgis2023/talk/8XVVYM/

Für eine neue Alpenvereinskarte rund um den Berg Ushba im Großen Kaukasus waren Feldarbeiten im Hochgebirge notwendig, wobei die gesammelten Daten in OpenStreetMap eingetragen wurden. Dafür wurde eine Methodik entwickelt, um möglichst zielgerichtet die fehlenden Wege und Namen zu sammeln, zu validieren und zu dokumentieren.

Für eine neue Alpenvereinskarte rund um den Berg Ushba im Großen Kaukasus waren Feldarbeiten im Hochgebirge notwendig, wobei die gesammelten Daten in OpenStreetMap eingetragen wurden. Dafür wurde eine Methodik entwickelt, um möglichst zielgerichtet die fehlenden Wege und Namen zu sammeln, zu validieren und zu dokumentieren. Vorher einen groben Überblick über die Aufgaben vor Ort zu haben, ist bedingt durch die begrenzte Zeit vor Ort, wechselhaftes Wetter und körperliche Kondition essenziell.

Dabei vergleicht man natürlich verschiedenste Karten und lernt mehr darüber, wie alte Karten vermutlich entstanden sind, wie oberflächlich manche Verlage recherchieren und wie Informationen ihren Weg in OpenStreetMap finden oder eben auch nicht.

about this event: https://pretalx.com/fossgis2023/talk/TDUYCE/

Im Sommer 2021 konnten Amnesty International und das Citizen Lab weltweite Menschenrechtsverletzungen durch die Spionagesoftware Pegasus der NSO Group nachweisen. Kurz darauf zeigte eine internationale Recherche, Projekt Pegasus genannt, dass 50’000 Mobiltelefone und deren Besitzer:innen von der Überwachung betroffen waren. Auch Schweizer Behörden nutzten diese Spyware.

Donncha Ó Cearbhaill ist Forscher und IT-Sicherheitsexperte beim Security Lab von Amnesty International in Berlin. Er führt ein Computer-Forensik-Team, welches sich der Erforschung und Aufdeckung von digitaler Überwachung von Aktivisten und Menschenrechtsverteidigerinnen verschrieb. Seine Forschung leistete einen entscheidenden Beitrag zum ausgezeichneten Pegasus-Projekt, das einer der grössten Überwachungsskandale aufdeckte.

about this event: https://www.digitale-gesellschaft.ch/event/netzpolitischer-abend-zu-staatstrojaner-pegasus-und-nso-group/

Seit Juni 2021 beschäftigt sich die Arbeitsgruppe "Öffentliche Ausschreibungen mit FOSS" des FOSSGIS e.V. mit dem Thema der Beschaffung und Vergabe von IT-Lösungen auf Basis von FOSS. In dieser Dialogrunde wollen wir mit Vertreter:innen, die an Ausschreibungsverfahren und der anschließenden Entwicklung und Implementierung beteiligt sind, die häufig vorkommenden Frage- und Problemstellungen erörtern sowie Tipps für das Gelingen geben.

Schon lange sind Ausschreibungsverfahren und die verschiedensten Ansätze zur Umsetzung von Software-Entwicklungsprojekten bekannt und auch im Einsatz. Doch noch immer verlieren sich viele Software-Umsetzungsprojekte in den Weiten einer IT-Landschaft, die nach den Vorgaben einer öffentlichen Ausschreibung und IT-Richtlinien der Verwaltungen erstellt werden soll.

Dass der Weg in die digitale Souveränität steinig ist und keine einfachen Lösungen existieren, lernte die Arbeitsgruppe "Öffentliche Ausschreibungen mit FOSS" seit ihrer Gründung im Juni 2021.

In dieser Dialogrunde wollen wir mit Vertreter:innen, die an Ausschreibungsverfahren und der anschließenden Entwicklung und Implementierung beteiligt sind, die typischen Frage- und Problemstellungen erörtern sowie Tipps geben, was für einen Weg in die digitale Souveränität alles mit ins Gepäck gehört.

Mögliche Fragestellungen:

- Welche Voraussetzungen müssen erfüllt sein, damit eine Ausschreibung auf Basis von FOSS gelingt?

- Welche Erwartungen haben Nutzer:innen an FOSS jenseits von Benutzbarkeit?

- Welche Befürchtungen haben Beschaffungsstellen im Bezug auf FOSS?

- Wie sollte der Ausschreibungsprozess in der öffentlichen Verwaltung gestaltet werden?

- Welche Schritte sind notwendig, um die (Weiter-)Entwicklung von FOSS zusammen mit der Vergabestelle ausszuschreiben?

- Welche adminstrativen und vertraglichen Aspekte sollten die Beteiligten kennen und nutzen?

- Welcher EVB-IT Vertrag, mit welchen Ergänzungen, passt für mein Vorhaben am besten?

- Was sollten Verwaltungen mitbringen, wenn sie sich digital souverän aufstellen wollen?

- Reicht mir schon der Quellcode, um digital Souverän zu sein?

- Wann reicht ehrenamtliche Arbeit an OSS-Projekten für kritische IT-Infrastrukturen nicht mehr aus?

- Wie bauen wir ein lebendiges Ökosystem für FOSS-Projekte?

- Wie können Verwaltungen die Entwicklercommunity unterstützen?

about this event: https://pretalx.com/fossgis2023/talk/E78Q3Q/

Im Rahmen der "Marinen Dateninfrastruktur Deutschland (MDI-DE)" wurde ein nationales Meeres- und Küsteninformationssystem eingerichtet. Die MDI-DE stellt die Datenbestände der wichtigsten Datenhalter an der Küste interoperabel bereit. (www.mdi-de.org).

Fokus des Vortrags ist das neu entwickelte MDI-DE Geoportal, das basierend auf Open-Source-Komponenten, vorrangig dem Masterportal, das gezielte Auffinden, Analysieren und Exportieren der marinen Daten ermöglicht.

Wo befinden sich Offshore-Windparks in Nord- und Ostsee und wo verlaufen unterseeische Stromkabel und Pipelines? Wie entwickelt sich die Population der Kegelrobbe im Schleswig-Holsteinischen Wattenmeer? Wie verändert sich der Schiffsverkehr in der Deutschen Bucht? Dies sind einige Beispiele für marine Fragestellungen, die mit Hilfe des integrierten und nationalen Meeres- und Küsteninformationssystem der MDI-DE untersucht und beantwortet werden können.

Die MDI-DE besteht aus verteilten Infrastrukturknoten und stellt Daten der unterschiedlichsten Themen- und Anwendungsbereiche interoperabel bereit. Auf diese Weise werden Datenbestände der wichtigsten Datenhalter an der Küste einheitlich recherchierbar und nutzbar. MDI-DE stellt damit eine Plattform dar, aus der sich die breite Öffentlichkeit, Wirtschaft, Politik, Verwaltung und marine Wissenschaft bedienen können (www.mdi-de.org).

Im neuen Portal der MDI-DE wurde die Suche in den Mittelpunkt gestellt, um das einfache Suchen und Finden von Daten zu ermöglichen. Die Suchergebnisse können sehr komfortabel nach verschiedensten Kriterien gefiltert und entweder direkt heruntergeladen oder im Kartenviewer visualisiert werden. Es kann auch in den vorhandenen Datenbeständen gestöbert werden. Die acht MDI-DE-Kategorien Basisdaten, Küsteningenieurwesen, Geologie, Natur und Umwelt, Ozeanographie, Menschliche Aktivitäten, Richtlinien und Schifffahrt sowie weitere Kriterien wie die verschiedenen INSPIRE-Themen bieten NutzerInnen einen übersichtlichen Einstieg in die Welt der Meeresdaten. Für die Visualisierung der Daten in einer Kartenansicht wird der Open-Source Geoportal-Client Masterportal in seiner aktuellsten Version verwendet. Die Daten, Dienste und Anwendungen werden im Metadatenkatalog dokumentiert, der basierend auf der Software InGrid aufgebaut wurde. Vervollständigt wird das Portal durch Gazetteer-Dienste sowie einem Literaturverzeichnis, den Webseiten der MDI-DE-Partner und externen Anwendungen wie z. B. BenInfos.

Technisch basiert das gesamte Frontend auf dem Masterportal und individuell entwickelten Addons, während im Backend Elastic Search Stack und MapFish-Print-Komponenten zum Einsatz kommen. Im Vortrag werden Erfahrungen und Herausforderungen der Entwicklung und das Zusammenspiel der Komponenten beleuchtet und diskutiert.

about this event: https://pretalx.com/fossgis2023/talk/HVXKN3/