Intro (00:00:00)
Thema des Podcasts (00:00:18)
Willkommen zu unserer siebzehnten Folge beim dalenleben-Podcast, dem Podcast über Data Science.
Wir sind Helena und Janine und möchten mit euch die Welt der Daten erkunden.
Oft sind Daten in Form von Text und Zahlen sehr abstrakt, aber wie werden Daten praktisch nutzbar?
Und wie können Daten für uns im wahrsten Sinne des Wortes auch greifbar werden?
Wir sehen uns die Daten an und holen sie in unseren Alltag!
Thema der Folge (00:00:45)
Wie können aus Fotos von bestimmten Objekten diese per 3D-Druck greifbar gemacht werden?Die kurze Antwort: Ein Algorithmus macht aus Fotos 3d-Modelle, die dann druckbar sind.Für die lange Antwort haben wir uns eine Gästin eingeladen: Lisa ist heute mit dabeiSie hat mit einem Team am Hackathon Coding da Vinci teilgenommen und dabei das Projekt FabSeal mitentwickeltWarum ist das Thema spannend? (00:01:21)
Fotos sind Daten, die sich die meisten Menschen angucken können, aber sie verraten noch viel mehr!Gerade für Data Science sehr spannend, was man mit Fotos noch machen kann – etwa ein 3D-ModellWer ist Lisa? (00:02:17)
Software-Entwicklerin im Studium IT-Systems Engineering und schreibt ihre Masterarbeit am Lehrstuhl für Computergrafische SystemeSie gründet das erste Mal mit einer Smartphone-App und hat auch Design Thinking studiertGleichstellungsbeauftragte der Fakultät, Mentorin für Programmierworkshops an Schulen in Deutschland, Onlinekurs-Dozentin und Buchautorin für Kinder und Jugendliche InformatikbereichDesign Thinking: Methoden der nutzerorientierten Entwicklung Wie ist Lisa zu FabSeal gekommen? (00:03:50)
Entstand im Rahmen von einem HackathonWar immer von Hackathons beeindruckt: wie kann man in so kurzer Zeit so coole Dinge umsetzenRealität ist: Sehr viel Präsentations/Pitching-Skills (fake it until you make it)Ihr Lichtblick: Kulturhackathon "Coding da Vinci" mit anderem KonzeptAnstatt nur ein Wochenende, gibt es 1 Wochenende als Kick-Off-Event und dann 3 Monate, um das Projekt umzusetzen, was viel nachhaltiger istEngere Zusammenarbeit mit den beteiligten KulturinstitutionenHat insgesamt schon bei 4 dieser Events teilgenommen und drei Mal einen Preis gewonnenHat dabei an insgesamt 8 Projekten mitgearbeitet, schätzt die Teamarbeit daran sehrHackathon als Hobby für gemeinsames Arbeiten und Entwickeln mit viel Fun und ScherzenWas ist ein Hackathon und worum geht es bei Coding da Vinci? (00:06:46)
Hackathon setzt sich aus Hacking und Marathon zusammenMeist konzentriert an einem Wochenende, wo man etwas von der Idee bis zum Prototypen entwickeltArbeit in Teams und mit wenig schlaf, sehr intensive ErfahrungWas ist, abgesehen von den 3 Monaten Laufzeit, noch anders bei Coding da Vinci?In erster Linie soll für Kulturinstitutionen etwas entwickelt werden Lisa war schon immer begeistert von Museen und konnte mit Institutionen arbeiten, die sie selbst schon besucht hat, wie das Naturkundemuseum BerlinFindet toll, dass die Institutionen daran interessiert sind Ergebnisse in Ausstellungen zu integrierenErstes Projekt: Skelex, steht für Skeleton und Explore; Daten waren 3D-Scans von SchlangenschädelnMit Skelex waren die Schlangenschädel in einer virtuellen Welt anschaubar, es gab auch ein "Killer-Feature" um den Schädeln Mäuse zu fütternMuseum hat mit ihnen zusammengearbeitet und sie durften das Projekt später mehrfach präsentierenDas war so ein Positives Erlebnis, dass Lisa wieder mitmachen wollteZweites Projekt: wieder mit dem Naturkundemuseum Berlin das Projekt Snail Snap6.000 Fotos von Schneckengehäusern, aus denen Selfies mit Schneckenmosaiken generieren werdenDie Informationen über die Schnecken sind in den Snail Snaps anklickbar und so verfügbarDas Projekt wurde mit dem Deutschen Multimediapreis 2020 ausgezeichnetEs wurde auch auf dem Schiff MS Wissenschaft, dem Schwimmenden Science Center ausgestelltLisa arbeitet fast immer mit dem gleichen Team, aber es fluktuiert auch manchmal ein bisschenWas für Daten gibt es bei Coding da Vinci und wie entstand FabSeal? (00:12:21)
Bei Coding da Vinci geht es immer um die Daten, die die Kulturinstitutionen bereit stellenDas sind: Bilder, Videos, 3D-Modelle, Texte, Objekte und dergleichen, oft in sehr guter Qualität, sodass die Daten nicht erst bereinigt werden müssenNächste Kick-Off-Veranstaltung ist am 11. und 12. September 2021Man muss nicht unbedingt in Person dabei sein, Teams bilden sich auch vorab auf dem HackdashEs werden dann aus verschiedenen Institutionen Datensets vorgestellt, die bearbeitet werden können Erste Teams stellen ihre Projekte vor oder einzelne Menschen und dann schließen sich andere an Und worum ging es jetzt bei FabSeal, das beim letzten Mal Coding da Vinci entstanden ist?Slogan: "Erwecke historische Siegel wieder zum Leben!"Es geht um die Siegelsammlung Paul Arnold GrunEs gibt 2D-Fotos der Siegelabdrücke, die mit FabSeal automatisch in 3D-Modelle gewandelt werden, die dann mit einem 3D-Drucker erneut als Siegel hergestellt werden Damit hat man dann wieder einen physischen Siegelstempel und kann selbst Siegel in Wachs drückenEhe wir jetzt richtig einsteigen, hören wir uns doch erstmal an, was Siegel sindEinspieler: Zeig mir Dein Siegel (00:15:44)
Lotte und David tauschen Nummern, Lotte schlägt Lotte vor den Kontakt mit QR-Code zu verifizierenSie erklärt, dass sie so eben weiß, dass es David ist und wenn er mal eine andere Nummer bekommt, dann müssen sie sich wieder verifizieren, damit sie weiß, dass sie immer noch mit David schreibtWeißt Du, das ist wie mit den Siegeln damals auf Urkunden und Briefen: Es hätte ja jeder einen Brief im Namen des Papstes quer durchs Land schicken könnenAber weil jeder wusste, dass nur der echte Papst ein bestimmtes Siegel benutzt, wusste man, dass die Nachricht von ihm istDas mit den Siegeln war damals eben Stand der TechnikSiegel gibt es durch die Jahrtausende in vielen verschiedenen Formen und AnwendungenAm bekanntesten: metallene Siegel, die in erhitztes und flüssiggemachtes Wachs oder in Siegellack gedrückt werdenSiegel sind kleine Bildchen, die früher zum Beispiel Familien-, Amts-, oder Herrschafts-Wappen gezeigt haben, mit denen vor allem Urkunde beglaubigt wurdenSie dienten auch zum Unterzeichnen und Verschließen von Briefen -- also wahrhaftig versiegeltDas Siegel hat auch den Zweck zu zeigen, dass niemand den Brief gelesen hat, der es nicht durfte, denn beim Öffnen des Briefes würde das Siegel unweigerlich zerbrechenHeute noch in Gebrauch: weiterin als Beglaubigung für Dokumente, meistens in Form von StempelnForm und Bildsprache orientiert sich noch immer an historischen Siegeln, vor allem des MittelaltersWarum habt ihr euch für die Siegel entschieden? (00:17:56)
Die historischen Hintergründe sind super spannendBeispiel: sogar die Wachsfarbe sagt etwas darüber aus, von wem ein Siegel stammtAber hauptsächlich wegen der Qualität der BilderWas ist der Vorteil dieser Daten gegenüber anderen, die ihr zur Auswahl hattet?1.500 Siegleabdrücke wurden 2016 von der Staats- und Universitätsbibliothek Göttingen digitalisiertIn einer großen Aktion mit aufgebautem Set wurden die fotografiertErgänzend wurde notiert: Was ist zu erkennen? (Krone, Wappen, Löwe etc.) Namen der siegelführenden Familie, Maße des Siegels Maße waren wichtig für die neue Herstellung realistischer SiegelstempelEs ist faszinierend, wie viele Details auf so einer kleinen Fläche sein können Nachteil der Daten: Es wurden Gruppenfotos gemacht, die kleingeschnitten wurden; dadurch gab es öfter mal schwarze Linien auf den Bildern, die später das Arbeiten erschwert haben Wie wurden die Fotos als 3D-Modelle aufbereitet? (00:21:30)
Was habt ihr euch dann als nächsten Schritt überlegt?Ziel: Aus dem Datensatz ein Siegel ziehen aus dem wir ein druckbares 3D-Modell herstellenDas hätte man natürlich per Hand einfach nachmodellieren können, aber:Was sind wir eigentlich? Wir sind Softwareentwickler!
Was wollen wir? Automatisierung!
Zwei Zwischenschritte, der erste war die sogenannte "Formerkennung"Unnötige Informationen/Details aus dem Bild entfernen, die nicht zum eigentlichen Motiv gehörenBeispiel: nur eine ovale Form erhalten und nicht die Wachsreste drumherumZweiter Schritt: "Tiefeninformationserkennung" mit dem Verfahren "Shape from Shading"Das Forschungsfeld Shape from Shading kannten sie vorher nicht, existiert aber seit 1994Anschließend hat man ein 2D-Bild mit TiefeninformationenUm auf 3D zu kommen, wurde ein Skript für die Software Blender geschrieben und dort den Displacement-Modifier genutzt, um aus den Informationen ein Relief herzustellenAlso zuerst die Form erkennen: Abstand zur Mitte, Größe, Symmetrie, wenig bis keine Rotation, Verhältnis Motiv zur freien FlächeDamit das Problem bewältigt, dass die meisten Siegel völlig unterschiedlich aussehen könnenFormerkennung wurde auch mit einem Algorithmus für bestimmte Bildverfahren gemachtWas gibt es denn so für Standardbildverfahren? Und waren das schwarz-weiß Fotos oder in Farbe?Es waren FarbfotosAls erstes kann man Kantenerkennung machen und versuchen das Bild zu zentrierenDann gibt es density-based Verfahren, die erkennen, ob ähnliche Farben existierenViele Verfahren ausprobiert, was es geworden ist, kann im auf Github eingesehen werdenDie Lösung ist aktuell noch nicht perfekt, aber sie hat schonmal weiter geholfenKanteerkennung: Man guckt sich die einzelnen Pixelwerte an und wo Unterschied sehr hoch ist, ist vermutlich eine KanteDafür wurde OpenCV genutztUnd bei dem dichtebasierten Verfahren wird über mehrere Pixel gemittelt, wie der durchschnittliche Farbwert auf dem Pixel istDaran kann entschieden werden: Das gehört noch zum Siegel, das ist schon PapierWie ging die Tiefenerkennung dann mit nur einem Foto pro Siegel?Genau das war ein Problem, weil unbekannt war, von wo es beleuchtet wurde und ob bei allen gleichDarüber hätte man beim erstellen der Bilder nachdenken können, falls man das 3D haben wollen würde, hätte man noch weitere Bilder aus anderen Perspektiven machen können Hatten aber nur ein Bild um aus 2D dann 3D zu machen Dafür kann man die Helligkeit nehmen, die man pro Pixel auslesen kannAber: Wie hoch ist das dann jetz eigentlich?Zum Beispiel Buchstaben im Siegelabdruck sind höher als das Drumherum Die Recherche brachte dann Shape From Shading zu Tage:Licht reflektiert je nach einfallendem Winkel zur Kamera andersAnalogie Gegeverkehr beim Autofahren: Frontscheibe blendet sehr hell aus einem bestimmten Winkel (spekulare Reflektion/Spiegelreflexion)Dazu einfaches mathematisches Modell, wie etwas reflektiert, verschiedene EinflussfaktorenPaper von Tsai und Shah oder auch Pentland, verschiedene Ansätze wurden angeschautEiniges sah sehr experimentell aus, erfolgversprechender das Paper "Shape from shading using linear approximation" (Tsai und Shah)Darin verschiedene Beleuchungsmodelle; war erfolgreicher dann, Siegel war hügelig aber erkennbarAn dem Ansatz weiter probiert mit Winkeln, vielleicht das Bild vorher noch anpassenSpiegelreflexion: Licht wird im gleichen Winkel reflektiertMatte Reflexion: Licht wird nicht direkt wieder abgelenkt, sondern die Photonen werden kurz von der Oberfläche absorbiert und dann in beliebig viele Richtungen reflektiertDie meisten werden senkrecht zur Oberfläche ausgegeben und je näher man am Rand ist, desto weniger kommt von dieser Oberfläche Und das Verfahren benutzt jetzt beide Reflexionsmodelle?Wir haben die Spiegelreflexion genutzt, wobei der Algorithmus iterativ arbeitet Der sagt Fläche ist 0 überall im 2D-Bild, wir schauen pro Koordinate im Bild: Passt denn, was wir aktuell vom Siegelbild berechnet haben, zum Modell?Wir berechnen Abweichung der berechneten Reflexionskarte vom OriginalbildWenn es stark reflektieren sollte, aber aktuelles Höhenbild das nicht hergibt, dann passen wir das an, indem wir die Ableitung bilden und die Fläche damit updatenDer Algorithmus erstellt also intern ein eigenes/virtuelles Bild, was er versucht anzunähern und beleuchtet das und vergleicht es mit dem Foto?Mehrere Durchgänge (iterativ), mit jedem einzelnen nähert sich das Ergebnis dem gewünschten Ziel an Wann hört der Algorithmus dann auf weiter zu berechnen?Man versucht nahe an die Werte vom Beleuchtungsmodell zu kommen, da gibt es einen Schwellwert Das ist die grundlegende Idee vom Tsai-Shah Paper von 1994!Einstellparameter: Einfallswinkel des Lichts, Beschaffenheit der Oberfläche etc.Um die Einfallswinkel besser einzubeziehen, haben sie von der Bibliothek Fotos bekommen, die von außen zeigen, wie der Aufbau des Sets zum Fotografieren der Siegel damals aussahBessere Vorstellung von der Anzahl und der Richtung der LichtquellenEinfallswinkel wichtig, um anhand des Schattens im Relief sehen zu können, wie tief es jeweils ist Wenn man den Schattenwurf nicht einbezieht, kann nicht einfach nur davon ausgegangen werden, was hell ist, ist höher, was dunkler ist, liegt tiefer Je nach Richtung und Winkel vom Schattenwurf, sieht das ja immer anders aus Deswegen muss das richtig in die Berechnung mit einfließen Wir haben in diesem Fall einen lokalen Ansatz, weil wir pro Pixel Helligkeitsinformationen anschauen und es dann zu einer ganzen Fläche zusammensätzenGlobal wäre, wenn auf das ganze Bild die Helligkeit mit den gleichen Parametern angepasst wird und nicht nur in einem einzelnen Pixel Wie viel muss man danach noch manuell korrgieren?Das Ergebnis war sehr hügelig, also haben vorher das Bild und nachher das Bild nochmal bearbeitetVorher: Blurren/Verwischen, um Flächen einheitlicher wirken zu lassen, hat geholfen Dinge wurden normalisiert um Siegel mit ähnlichen Beleuchtung/Parametern gleich zu behandelnErgebnis war noch nicht perfekt, aber gut genug; Code ist ebenfalls einsehbar auf GithubWie wirken sich Risse in den vorhandenen Siegelabdrücken auf das Modellieren aus?Siegel können verschiedene Fehler haben: Oberfläche, die über die Zeit rau geworden ist, was Einfluss auf die Farbe hat, oder eben Risse und stärker kaputte MotiveVerschiedene Operationen bei der Bildbearbeitung, wie das Blurren, um das auszugleichenHabt ihr da vielleicht mal mit einem Geometriemodell gearbeitet um solche Risse zu erkennen?Leider sind wir so weit nicht gekommen, allein durch die Webseite gibt es schon mehr BaustellenHatten keine Vergleichsbilder, die uns zeigen konnten, ob unser Ergebnis richig ist Hat aber im Rahmen des Hackathons nicht gepasst3D-Scans zum Vergleich der Siegel wären gut gewesen, lagen aber leider nicht vorUni Heidelberg hatte angeboten 3D-Scans der Siegelabdrücke herzustellen, konnte leider wegen des Transports nicht gemacht werdenWas gab es noch für Probleme?Beleuchtung, Winkel, Albedo, wie die Kamera stand, etc., auch die Farbe (bei schwarzem Siegelwachs)pecca hat mit ihrem Resindrucker auch geholfen und Siegel probegedruckt, weil das Team keinen hatte und der Druck des Resindruckers viel besser war, als die bisherigen VersucheViel Unterstützung nicht nur von Institutionen, sondern auch aus dem Makerkreis war tollpecca war auch schon bei uns im Podcast: in der Wetterprojekt-Folge!Wie funktioniert das mit dem 3D-Drucker? (00:48:53)
Resindrucker: Das Resin ist flüssig und kann viel feinstufiger gedruckt werden Einsatzidee zu FabSeal: Jeder soll sich so etwas drucken können, nur haben leider weniger Menschen einen ResindruckerNeue Anforderungen: Man bräuchte eine Anleitung für so einen Drucker und Nutzer*innenWie kann man da Hürden abbauen? Worauf muss man achten?All das ist erst nach dem Hackathon entstanden, weil wir noch ein Stipendium bekommen haben, um nach dem Hackathon noch gefördert an dem Projekt weiter zu arbeiten für 3 Monate Dabei wurde in User Experience weiter gearbeitet Janine hat versucht Siegel zu drucken vor der PodcastaufnahmeWenn man die Datei runterlädt und entpackt, kann man sie dann zum Druck vorbereitenGenutztes Programm: Chitubox; dann gucken was das für ein Objekt ist, welche Form es hat und wie herum man es drucken möchte Bei einem Siegel soll die Fläche des Siegels am besten aussehen, also nach oben drehen (um Riffel durch Layer zu vermeiden)Die Form (unten schmal, oben breiter) sorgt dann dafür, dass man das Objekt auf Support setzen muss, damit es so gedruckt werden kannSupport kann man automatisch in dem Programm anfügen, muss nur ausgesucht werdenBeim ersten Druck (Light Support) ist dieser aber leider abgerissen und der Druck abgebrochenDa unten das Gewinde für den Griff ist, gibt es dort einen Hohlraum, vermutlich deswegen Unterdruck und dadurch der Support abgerissen Pecca hat das Modell um 45-Grad gedreht auf Support gesetzt, was gleich beim ersten Mal klappteFabSeal hat sich im Rahmen des Stipendiums einen eigenen Resindrucker geholtLisa konnte den testen und fand wegen der ganzen Feinheiten, an die man sich rantasten muss, die ersten Drucke auch frustrierendFazit: Deswegen braucht es Hilfestellung für Nutzer*innen, damit sie das auch testen könnenDaher auch die Idee: Wenn die Bibliothek einen Resindrucker hätte und dort jemanden, der sich damit auskennt, könnten Besucher*innen einfach Siegelstempel als Souveniere mitnehmenJanines zweiter Versuch mit stärkerm Support hatte funktioniert, ABER: die Stempel waren ohne Siegel Den Fehler hatte Lisa auch, weil sie mal das Relief falsch herum auf's Modell projiziert hatten Man muss dann die Normalen wieder umdrehen (z.B. in Blender)Wer keinen 3D-Drucker zu Hause hat und es testen möchte, kann sich an einen hiesigen Hacker- oder Makerspace wendenDa gib es oft viele Geräte, wie auch 3D-Drucker, die man mitbenutzen oder sich deren Benutzung zeigen lassen kann Was soll FabSeal sonst noch können? (01:01:37)
Konnten sich mit einem Coach für UX/UI-Fragen (User Experience/User Interface) zusammensetzenKonzept entwickelt, um drei Funktionen bereit zu stellen: Browse, Create und RemixBrowse: Fertige Datensätze (nicht nur die Siegelsammlung sondern bspw auch Münzen)Create: Eigene Bilder hochladen und in ein Siegel umwandelnRemix: Aus Datensätze eine eigene Collage basteln und als Siegel exportierenBei Antragstellung für Stipendium schon viele Ideen, "Remix" war auch von der Jury gewünschtNoch andere Sachen gemacht, Algorithmen beschleunigt, Optimierungsbedarf ermittelt, Prozess beschleunigt durch externen ServerWebseite überarbeitet mit den drei Funktionen, die sie bieten können sollAlso alle Schritte, die bei Data Science wichtig sind, bis zum Ende durchgeführt: Daten bereinigen, analysieren, Modelle berechnen und den Algorithmus oder die Software für Nutzer*innen anwendbar zur Verfügung stellenSinn hinter dem Kulturhackathon ist, die Digitalisierung der Daten zu nutzen, um historische Daten verfügbar und auch wieder attraktiv zu machenUnd auch der Übertrag dann für eigene Objekte, wie eigene SiegelEs können auch Zeichnungen hochgeladen und zu Siegeln gemacht werdenUnd statt Siegeln könnten dabei auch Stempel hergestellt werdenReliefe zu gravierien würde natürlich auch mit Lasercuttern funktionieren (und kommt vielleicht auch noch auf die Webseite)Was macht Lisa grad? (01:08:18)
Mit Pecca für die Informatica Feminale ein Onlineworkshop über 3D-Druck Modellieren mit BlenderVielleicht gibt es so einen Workshop im nächsten Jahr nochmal (;Lisa hat ein Buch geschrieben für 3D-Modelle mit Blender, das für Kinder und Jugendliche istAlso ein niederschwelliger Einstieg auch für jedes andere AlterAktuell arbeitet sie in einer kleinen Gruppe die weitere Vision von Coding da Vinci aus: Wo soll Coding da Vinci in 10 Jahren sein?Vorteil von Hackathons: Menschn verschiedener Hintergründe kommen zusammenKulturinteressierte, Entwickler*innen, Grafikdesigner*innenEs kommt auch nicht immer nur Software raus, zum Beispiel auch etwas wie ein KartenspielAlles was Kulturdaten wieder interessant macht, ist erwünscht!Fazit (01:12:01)
Helena: Möchte unbedingt mal bei Coding da Vinci machenJanine: Fand sehr schön und spannend, was Lisa über den Prozess ihres Teams berichten konnteLisa: Hat für sich realisiert, wie viel sie allein durch dieses Projekt dazugelernt hatNächste Folge: Beispieldatensätze am 09.10.2021 (01:14:08)
Wer Datenanalysen lernt, bekommt Standardbeispielaufgaben mit Datensätzen, die regelmäßig verwendet werdenBeispieldatensätze werden oft weitervererbt, einmal eingeführt und etabliert halten sie sich ewigManchmal stellt man fest, dass die Daten von jemandem erhoben wurden, der damit zweifelhafte politische Ansichten verfolgt hat Deswegen eine Folge dazu, was es für Beispieldatensätze gibt, wo die herkommen, was man damit macht und was man daraus lernen kannCall to Action (01:15:02)
Wenn ihr uns weiter hören möchtet, folgt uns auf Twitter unter @datenlebenOder besucht unsere Webseite: www.datenleben.deHinterlasst uns gerne Feedback, wir würden uns darüber sehr freuenUnd wenn ihr Daten ausgewerten haben möchtet, oder lernen möchtet wie das geht: wir nehmen auch Aufträge an!Outro (01:15:39)
Schlagworte zur Folge
3D-Modelle, Bilddaten, Maschinelles Lernen, Algorithmen, Siegel, Siegelabdruck, 3D-Druck, Automatisierung, Hackathon, Coding da Vinci, Blender
Quellen und Links
FabSealGithub: SkelexGithub: Snail SnapDeutscher Multimediapreis 2020MS WissenschaftCoding da Vinci: Niederrheinland 2021Universität Göttingen: Siegelsammlung Paul Arnold GrunBlenderGithub: FabSealWikipedia: OpenCV