GPUs&Gurken

Neue Nachhaltigkeitsregularien wie CSRD oder EU Taxonomy treffen immer mehr Firmen in Europa. Dies verursacht diverse Probleme, weil vor allem Kollegen, welche speziell auf ESG(-Reporting) geschult sind, in ausreichender Anzahl verfügbar sind. CSRD erfordert alle Unternehmen mit einem Umsatz von mehr als 50m€, Gewinn von mehr als 25m€ oder mehr als 250 Mitarbeiter nach den Standards zu reporten. Damit sind in der EU ca. 50.000 Unternehmen betroffen, die ab 2025 entsprechende Nachhaltigkeitsreports nach recht strikten Richtlinien abgeben müssen.

aws hat bestätigt in 2024 die Scope 3 Emissionen an Kunden weiterzugeben. News auf Computerweekly

Sich ändernde Regularien haben auch zur Folge, dass die Softwaresysteme, welche für ESG Reporting verwendet werden, sich weiter konsolidieren. Lösungen, wie die Azure Cloud for Sustainability berücksichtigen diese Regelungen bereits und bieten gleichzeitig verschiedene Schnittstellen, um Daten von anderen Quellen Auditkonform zu importieren. Dies hat zur Folge, dass klassische Lösungen sich immer weiter in Plattformen verwandeln und sich Start-Ups in diesem Sektor tendenziell in einer Nische platzieren, jedoch kurzfristig Schnittstellen zu den großen Systemen anbieten müssen.

Wir haben uns bei der Berechnung des CO2eq Footprint mal eben um den Faktor 1.000 vertan. Richtig wären für ein 7B Modell eher 20t CO2eq und nicht 20kt. Das war ich Schuld, da ich zwar den richtigen Wert von ca. 385kg CO2 / kWh Strom im Kopf hatte, das k also kilo nicht mit einberechnet hab. Es gibt aber mittlerweile auch immer mehr öffentliche Modelle, die über den Impact sprechen.

So wurde für das Training von Llama2 (Meta) 3,3 Mh GPU Berechnungen auf Nvidia A100-80G Karten durchgeführt (TDP ~400W) und dabei 539 tCO2eq ausgestoßen, die über Zertifikate kompensiert wurden. Wichtig dabei zu betonen: das sind alle Llama Modelle zusammen: base, chat, 7B, 13B, 70B, Codex, etc.

Das Energieeffizienzgesetz ist nach dem letzten Entwurf tatsächlich umgesetzt worden und kommt damit sehr viel abgeschwächter als in der ursrünglichen Form. Viele der Kritiken des Branchenverbands, wie z.B. Abwärmenutzung, höhere Eingangstemperaturen für die Serverräume, etc. werden jedoch heute schon von modernen und kreativen Data Center Betreibern umgesetzt. Einer dieser ist z.B. nlighten Dieser betreibt über Deutschland verteilt bereits 10 kleinere Data Center und zwar in: Hamburg, Hannover, Berlin, Düsseldorf, Köln, Leipzig, Frankfurt, Nürnberg, Stuttgart und München. Der CTO Chad McCarthy setzt sich dafür ein, dass wie z.B. am Standort Eschborn (Frankfurt Main) ein Freibad mit der Abwärme beheizt wird, als auch, dass Eingangstemperaturen der Luftkühlung im Bereich von 24-27°C liegen. Hier verfahren viele Rechenzentrumsbetrieber, insbesondere wenn es Kundenumgebungen im CoLo Bereich sind, derart, dass diese Temperaturen sehr viel niedriger liegen. Interessanterweise geben Serverhersteller aber durchaus höhere Temperaturen an. So spricht HPE bei seinen sehr beliebten ProLiant DL380 von einer TMRA (maximum recommended ambient temperature) von maximal 35°C.

In seiner Keynote und auch dem Environmental Fact Sheet zur Apple Watch 9 hat Apple bekannt gegeben, dass es das erste vollständig Carbon Net Neutral Produkt der Firma. Aber nicht nur das ist bemerkenswert sondern auch der Fakt, dass wichtige Metalle wie Aluminium, Seltene Erden, Kupfer, Wolfram, Kobalt, Zinn und Gold zu 100% aus recycelten Quellen stammen. Einer der interessantesten Aspekte ist jedoch, dass die Uhr gemäß Scope 2 komplett Carbon Neutral ist, Apple aber auch jeglichen CO2 Ausstoß des Scope 3 durch Zertifikate kompensiert. Laut dem eigenen Carbon Footprint Factsheet (siehe oben), sind diese zu 81% aus der Fertigung, 14% des Transports – auch hier wird mittlerweile viel mehr auf den Seeweg als auf Luftfracht gesetzt – zu 4% die Benutzung und zu 1% die Entsorgung. Den Footprint selbst beziffert Apple mit 8,1 kg CO2eq der durch hochqualitative Zertifikate kompensiert wird. Unter der Annahme, dass Apple diese Zertifikate zu $100/tCO2eq einkauft (das geht heute auch noch viel günstiger, aber in der Keynote wurde explizit von hochqualitativen Zertifikaten gesprochen), so belaufen sich die Kompensationskosten auf $0,81. Nimmt man nun die 4% aus der Benutzung zu Hand, so ergeben sich Kosten von ungefähr 3-4 Dollarcent.

Die Themen dieser Sendung:

All großen Endgerätehersteller, speziell im B2B Umfeld, bieten ein Portal bzw. eine Übersicht über den Impact der verschiedenen Endgeräte, wie z.B.:

Dabei kann man sich über alle Hersteller und Geräte hinweg auf typische Kerngrößen verlassen. So haben Smartphone ca. 70kg CO2eq, Notebooks ca. 300kg CO2eq und Tablets typischerweise zwischen 120 und 200 CO2eq. Dabei ist entfallen jedoch – mit sehr wenigen Ausnahmen – zwischen 80-90% dieses Footprints alleinig auf die Herstellung des Geräts. Daher ist es enorm wichtig den Lebenszyklus der Geräte entsprechend zu verlängern.

Das Fairphone 4 ist insgesamt eine sehr rühmliche Ausnahme aus dem gesamten Spektrum. In seinem Impact Report werden sehr detaillierte Informationen sogar zu verschiedenen Bauteilen gegeben.

Nahezu alle Hersteller reporten nach dem Standard "Product Attribute to Impact Algorithm" des Material Systems Laboratory des Massachusetts Institute of Technology.

Ein sehr interessantes Konzept zur einfacheren Reparierbarkeit, was ultimativ auch den Lebenszyklus eines Gerätes verlängern kann ist Dell's Project Luna, bei dem sich verschiedenste Bauteile sehr schnell und einfach austauschen lassen. So kann ein Gerät z.B. im Tastaturlayout recht schnell gewechselt werden, da kaum Schrauben vorhanden sind. Dies ist ein wenig analog zum Framework Laptop, was allerdings eher modulares Design und damit Aufrüstbarkeit abziehlt.

Die Green Software Foundation als Unterorganisation der Linux Foundation beschäftigt sich mit den verschiedenen Themen, wie Software grüner gestaltet werden kann. Dabei organisiert sich die Foundation in den Arbeitsgruppen:

Ein guter Einstieg in das gesamte Thema ist die "Learn" Seite, welche recht gut und eingängig die verschiedenen Aspekte beleuchtet, einen Grundstock an Wissen vermittelt und jeden Lernabschnitt mit einem kleinen Quiz abschließt.

Ein grundlegender Punkt, der bereits einen großen Einfluss auf den CO2 Fußabdruck einer Software haben kann ist bereits die Auswahl einer Energieeffizienten Programmiersprache. Vor ca. 10 Monaten ging hier ein Forschungspapier verschiedener portugiesischer Forscher durch die LinkedIn Bubble, welche 216 Zitierungen vorweist. In diesem Paper vergleichen die Forscher anhand von verschiedenen Standardproblemen im Softwareengineering den Einfluss von Ausführungsgeschwindigkeit, Arbeitsspeicherverbrauch und Energiehunger. Kurz zusammengefasst: C bildet in der Regel die Basis mit dem Faktor 1 und andere Programmiersprachen werden entsprechend einsortiert. So rangiert Rust z.B. bei 1,03, Java bei 1,98 und Python bei 75,88.

Erst kürzlich ist ein entsprechendes Paper bzgl. Machine Learning Framework Effizienz veröffentlich worden.

Das Tool Gaia Gen von der Co-Gründering Elsa Westin zielt darauf ab, Teams bei der Optimierung des Cloud Carbon Footprint zu unterstützen indem es direktes Feedback auf den CO2eq Fußabdruck der eingesetzten Cloud Ressourcen gibt. Im Gegensatz zu dem Carbon Reporting der Cloud-Anbieter, welche auch PPA von grüner Energie mit einrechnen, verwendet Gaia Gen Daten welche auch über die Electricity Map abgerufen werden können.

Ein Open Source Tool, welches den Cloud Carbon Footprint errechnen kann ist das gleichnamige [CloudCarbonFootprint]. (https://www.cloudcarbonfootprint.org/) Dieses verwendet im Gegensatz zu Gaia Gen die Daten, welche durch die Hyperscaler öffentlich gemacht wurden.

Welche Rechenweise dabei die korrekte ist, ist eine philosophische Frage. So ist z.B. die AWS Region Frankfurt durch den Kauf von grünem Strom gemäß des CCF Tools eine recht vorteilhafte Region, da es im Bereich von 160-320g CO2eq/kWh liegt. Die Electricity Map gibt hier echte Werte zwischen 300-500g CO2eq/kWh an. Durch die PPA verbraucht AWS hier zwar grünen Strom, der gesamte Strombedarf muss dann aber halt auch durch nicht nachhaltige Quellen gedeckt werden, die in Deutschland dann auch häufig noch fossilen Ursprungs sind, oder aber wie z.B. Biomasse oder Biogas zwar als erneuerbar gelten, aber durch z.B. Methan einen recht hohen CO2eq Wert aufweisen.

In jeder Hinsicht möchten wir hier die von Gaia Gen genannten 3R:

sehr ans Herz legen. Gerade im Rahmen des Righsizing lohnt ein regelmäßiger Blick auf die durch den Anbieter zur Verfügung gestellten Instanztypen.

Mike Berners Lee – The Carbon Footprint of Everything bei amazon

Und ja, für den der sich schon über den Nachnamen gewundert hat – Mike ist tatsächlich einer der Brüder von Tim Berners-Lee dem "Erfinder" des WWW (vgl. Wikipedia).

Erklärung des World Economic Forums was Scope 1, 2 und 3 bedeuten.

Medium Autor Kasper Groes Albin Ludvigsen hat mehrere schöne Posts zu Machine Learning und dem Environmental Footprint incl. einer aktuelleren Betrachtung zu ChatGPT.

David Heinemeier Hansson spricht über den Cloud Exit (es waren $7m über 5 Jahre nicht 3) und bestätigt, dass Sustainability kein Aspekt war. Wobei die gewählten Data Center in Chicago und Ashburn jeweils über ein Gold und Silver Rating nach LEED Standard erreichen.

Sustainability Reports:

Medium Post: Estimation of ChatGPT inference footprint

NVidia A100 Spec Sheet

Twitter Post zum Thema Inferencing Speed of GPT

Cloud Carbon Footprint Calculator zum min/max Stromverbrauch der A100 GPU