Der kleine Hunger wird immer größer

Suche nach mehr Energieeffizienz für Künstliche Intelligenz

9. Februar 2023

Der Nutzen von Künstlicher Intelligenz für alle ökologischen und gesellschaftlichen Bereiche ist so umfassend, dass KI die Informationstechnik auch in den kommenden Jahren dominieren wird. Allerdings ist hoch entwickelte KI auch extrem rechenintensiv. Und mit jeder neuen Schicht an Neuronen für einen komplexeren Einsatz steigt der Energieverbrauch weiter stark an. Im Projekt EEAI suchen Forscher*innen des Fraunhofer HHI nach Möglichkeiten, den Energiebedarf zu drosseln. Erste Ergebnisse zeigen nun, dass sie fündig geworden sind und enorme Einsparpotenziale ausgemacht haben.

Wer Informatik studieren will, der tut gut daran, sich zunächst mit den einfachen Grundlagen auseinanderzusetzen. Im Grundkurs »Informatik I – Aufbau und Funktionsweise eines Computers, abstrakte Maschinenmodelle« beispielsweise wird die Arbeitsweise eines Rechners auf eine denkbar einfache Weise dargestellt: Links die Daten, die den Input charakterisieren, in der Mitte der Computer mit dem Programm und rechts die verarbeiteten Daten, der Output. So anschaulich dieses Bild auch ist, es blendet einen – zunehmend wichtigen – Faktor aus. Ein Computer nimmt nicht nur Daten auf, zum Input gehört auch Energie. Und das nicht zu knapp. Laut einer Studie des Bitkom e.V. machten Rechenzentren und kleinere IT-Installationen in Unternehmen bereits im Jahr 2020 rund drei Prozent des gesamten deutschen Stromverbrauchs aus. Das entspricht rund 16 Milliarden Kilowattstunden. Und der Verbrauch dürfte seither nochmals deutlich gestiegen sein. Dazu tragen nicht nur immer leistungsfähigere Server bei, sondern zunehmend auch Künstliche Intelligenz, die aus kaum einer Datenverarbeitungs- oder Steuerungszentrale mehr wegzudenken ist.
Weil die Einsatzmöglichkeiten und Ansprüche an KI aber immer weiter steigen, werden auch die Trainings aufwendiger und die Berechnungen immer vielschichtiger. Und weil KI meist neuronale Netzwerke nutzt, werden auch diese mit der Zeit immer komplexer: Sie brauchen immer mehr Neuronen und damit auch Energie, um ihre Aufgaben zu erfüllen.

Klimakiller KI?

»Der ökologische Fußabdruck von KI wird immer bedeutender«, sagt Karsten Müller vom Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz-Institut, HHI. Wie groß, zeigt die Untersuchung »Energy and Policy Considerations for Deep Learning in NLP«. Diese Ergebnisse sind unter anderem Bestandteil der Studie »Auf dem Weg zu energieeffizienter künstlicher Intelligenz« der Deutsche Energie-Agentur (dena), an der Müller und ein Team des HHI intensiv mitgearbeitet haben. Danach ist »der CO2-Fußabdruck eines State-of-the-Art-KI-Modells vergleichbar mit dem CO2-Ausstoß, den eine Person mit über 300 Hin- und Retourflügen zwischen San Francisco und New York verursacht«. Zum besseren Vergleich für Europäer: Diese 300 Flüge entsprechen rund 1.000 Hin- und Rückflügen von Berlin nach Rom mit je 1.000 Kilometern.
Aber es gibt durchaus vielversprechende Ansätze, um den Energieverbrauch teils deutlich zu senken. Davon zumindest ist Karsten Müller und sein Team überzeugt. Gemeinsam mit dem Future Energy Lab arbeitet das Fraunhofer HHI deshalb intensiv daran, dem Stromhunger von KI auf den Grund zu gehen und praktisch zu demonstrieren, dass energiesparende Intelligenz die lohnend

Hardware als Wurzel allen Übels?

Die Energieeffizienz von KI ist maßgeblich von der eingesetzten Hardware abhängig. Deshalb setzen die Forscher*innen hier auch mit ihrer Arbeit an. »Besonders in großen Rechenzentren gibt es noch starke Effizienzverluste, die vor Ort verringert werden könnten«, urteilt Müller. Ziel des vor rund einem Jahr ins Leben gerufenen Projekts EEAI (Energy Efficient Artificial Intelligence) sei es deshalb vor allem, für Rechenzentren ein anwendungsabhängiges Effizienz-Ranking zu erstellen, aus dem sich dann konkrete Handlungsempfehlungen und Entscheidungshilfen ableiten lassen. Zudem wollen die Beteiligten einen Demonstrator zur Visualisierung der Energie-Sparpotenziale bei der Übertragung von KI-Modellen entwickeln. Über eine Webseite sollen dann die erhofft deutlichen Einsparpotenziale und die Wege dorthin nachdrücklich sichtbar werden.

Irrweg GPU?

Eine Ursache für den steigenden Energieverbrauch sieht Müller in dem Umstand, dass die Berechnungen für KI-Anwendungen vor allem von GPUs übernommen werden. Denn im Gegensatz zu klassischen Prozessoren (CPUs) arbeiten Graphical Processing Units parallelisiert und bandbreitenoptimiert. Denn die Grafikchips müssen, beispielsweise zum Errechnen komplexer 3D Welten, viele Prozesse nahezu parallel ausführen. »GPUs stehen deshalb im Ruf, gerade bei rechenintensiven Vorgängen etwa in Bereichen wie Machine Learning und Künstliche Intelligenz deutlich leistungsstärker zu sein«, urteilt Müller. Allerdings geht die Leistungsfähigkeit auch auf Kosten des Energieverbrauchs. Denn GPUs sind auch dann aktiv, wenn Parameter vernachlässigt werden könnten oder ohnehin auf »Null« stehen, also de facto wenig oder nichts zu Prozess und Ergebnis beitragen.
Müller und sein Expertinnenteam setzen deshalb zum einen auf den Einsatz von Field Programmable Gate Arrays, kurz: FPGAs. »Ein FPGA ist ein adaptiver, integrierter Schaltkreis, bei dem wir die Schaltungsstruktur per Software konfigurieren können«, sagt Müller. Mit anderen Worten: FPGAs können an die jeweiligen neuronalen Netze angepasst werden, sodass Strom nur für diejenigen Prozesse benötigt wird, die auch tatsächlich aktiv sind. Zum anderen wollen die Forscherinnen noch einen Schritt weiter gehen, und Möglichkeiten testen, neben FPGAs auch eine Netzwerkanbindung auf einem Chip implementieren. »Durch einen Network Accelerator«, so Müller, »können wir einige Bauteile einsparen, die als sonst eigenständige Komponenten deutlich Strom benötigen würden«.

Programmierter Hunger

Parallel zur Hardware untersuchen Müller und sein Team aber auch Möglichkeiten, Energie durch einen geschickten KI-Einsatz zu sparen. Im Fokus dabei stehen drei Fragen. Erstens: Welche neuronalen Netze sind für welche Anwendung auch aus energetischer Sicht am sinnvollsten, denn in vielen Fällen sind die neuronalen Netze für die jeweilige Anwendung überdimensioniert. Zweitens: Wo und wie muss eine KI arbeiten? Ist es wirklich nötig, eine KI mit allen Daten zentral auf einem energiehungrigen Server zu trainieren, oder kann diese Aufgabe nicht dezentral und föderiert auf energieärmere Geräte verteilt werden? Und drittens: Muss KI immer wieder neu »von 0 auf 100« trainiert werden oder besteht die Möglichkeit, Trainings sozusagen zu »übernehmen« und eine dann vortrainierte KI nur noch für darauf aufbauende, spezifische Anwendungen vorzubereiten?
»Ein Beispiel ist die Unterstützung der Stadtentwicklung durch KI. In vielen Städten gibt es vergleichbare Ziele. Etwa den Klimaschutz, eine gute Erreichbarkeit wichtiger Infrastrukturen oder eine intelligente Steuerung des Verkehrs. Deshalb ist es nicht nötig, jede KI von Anfang an auf Vorgaben wie diese zu trainieren. Die Verantwortlichen könnten zunächst auch eine gemeinsame Trainings-Datenbank nutzen«, erklärt Müller. Ähnliches sei auch bei medizinischen KI vorstellbar. Etwa bei der Erkennung von Hautkrebs: »Warum sollte die Maschine nicht auf Informationen zurückgreifen, die bereits an anderer Stelle genutzt wurden?«, fragt Müller. Es sei auch aus energetischen Gesichtspunkten gewinnbringend, wenn wiederholtes KI-Training für technisch vergleichbaren Anwendungen vermieden werden kann.
Und auch bei der Übertragung von KI, etwa für die Spracherkennung, von der Cloud auf Smartphones oder etwa von bereits antrainierten KI etwa für das Interpretieren von Bilddateien kann der Energieverbrauch deutlich reduziert werden. Dazu wurde 2022 das effiziente Kompressionsverfahren NNC (Neuronale Netwerkcodierung) international standardisiert, das von Expert*innen des Fraunhofer HHI maßgeblich mitentwickelt wurde. Zur breiten Nutzung wurde dazu kürzlich auch die NNCodec-Software öffentlich verfügbar gemacht. NNC erlaubt Einsparungen für Neuronale Netze bis zu 95 Prozent im Vergleich zur Originalgröße, ohne die Klassifizierungsgüte zu reduzieren. »Hier zeigt sich, dass bereits bei einmaliger KI-Übertragung mehr Energie durch die Übertragung komprimierter KI eingespart wird, als die NNC-Kompressionstools zusätzlich benötigen«, urteilt Müller. Damit bestehe ein weit höheres Einsparpotenzial für neuere verteilte KI-Systeme, die permanent KI-Daten austauschen.
Wie viele und welche der Ansätze wie stark greifen, um den wachsenden Hunger nach KI energetisch möglichst klein zu halten, ist vor Ende des Projekts im Herbst 2023 noch nicht vollständig absehbar. Und doch deuten die Ergebnisse bereits jetzt darauf hin, dass der Stromverbrauch deutlich verringert werden kann. Bei der KI-Übertragung – so Müller sind sogar Einsparungen von 95 Prozent möglich.

(aku)