Im Rahmen einer Hochschulkooperation zwischen der TU Berlin (Studiengang Bühnenbild_Szenischer Raum) und der HTW Berlin (Studiengang Kommunikationsdesign) haben 18 Studierende im Sommersemester 2024 mit „MUSICVERSE“ ein höchst komplexes und kreatives Praxisprojekt realisiert. Mit Hilfe von Künstlicher Intelligenz haben sie kreative Live-Visualisierungen auf die 360-Grad-Kuppel des Zeiss-Großplanetariums Berlin gebracht, um das Publikum immersiv in neue Sound- & Bildwelt eintauchen zu lassen. Die einstündigen Live-Konzerte der 4 Newcomer-Bands Mogli, Ásgeir, orbit und Alice Merton sollten mit dieser besonderen räumlichen Sphere neu erfahrbar gemacht werden und wurden vom Fernsehproduzenten DEF Media für den deutsch-französischen Sender ARTE aufgezeichnet. Mogli, Ásgeir and Orbit sind bereits in der ARTE CONCERTS Mediathek abrufbar.

Unter der Leitung von Dozent und Visual Artist Lukas Ruoff sowie begleitet von Franziska Ritter (TU Berlin) und Prof. Pablo Dornhege (HTW Berlin) arbeiteten die 18 interdisziplinären Nachwuchstalente hochschulübergreifend aus den Bereichen Architektur, Theater, Bühnenbild, Kommunikationsdesign, Film und VR in einer sechswöchigen intensiven Arbeitsphase in den Ateliers der TU Berlin und der HTW Berlin an der Gestaltung des medialen Konzertdesigns für die vier aufstrebenden Bands und setzten diese dann im Planetarium um. 

Für das Berliner Multitalent Mogli und ihr bislang unveröffentlichtes Album wird das Publikum in psychedelische Naturwelten entführt, die tatsächlich in Echtzeit aufgenommen und mit Hilfe von Künstlicher Intelligenz zur Überlagerung von Effekten und Illustrationen ergänzt wurden. Hierbei ist die hochschwangere Künstlerin umgeben von unwirklichen Projektionen im Zenit der Kuppel zu sehen. Die Band orbit (aka Marcel Heym & seine Freunde) profitierte passend zu seinen atmosphärischen Synthesizer-Leads von einer deutlich synthetischeren Bildsprache durch KI-generierte Sequenzen. Morphings und Bildwechsel, die mit herkömmlichen Methoden nicht möglich wären, wurden im Live-Konzert mit dem organischen Rhythmusgefühl der VJs kombiniert und schufen eine künstlich-reale Welt zwischen wachsenden Pilzen und schwimmenden Goldfischen. Für Alice Merton und ihre Band, die mit ihrem weltweit erfolgreichen Debutsong „No Roots“ in aller Ohren ist, wurden weitläufige Landschaften und Atmosphären KI-generiert, die immer wieder durch surreale Situationen wachgerüttelt wurden. So wurde beispielsweise durch das sanfte Kippen einer Wüstenlandschaft um die eigene Achse mit der Wahrnehmung des Publikums gespielt. Der Auftritt des isländischen Dream Pop Musiker Ásgeir beeindruckte mit wogenden Partikelwolken, die an Nordlichter erinnerten: Naturgewalten trafen auf Pixel und erzeugten Erinnerungen an Wolken, Wellen und Regen, die das Publikum regelrecht umspülten.

Das Hauptziel der Projektrealisierung war es, akustische und visuelle Medien synästhetisch so zu ergänzen, dass dialogische Räume geöffnet werden und immersive Atmosphären (3D live und 2D on screen) entstehen. Ein besonderer Schwerpunkt lag dabei auf der Erforschung der Einsatzmöglichkeiten von Künstlicher Intelligenz. Dabei kam eine beeindruckende Palette von innovativen Tools und Technologien zum Einsatz, die jedes der 4 Teams individuell – je nach Konzept – nutzte:

In der Recherchephase zu Beginn des Projektes wurde z.B. mit Perplexity.ai und ChatGPT gearbeitet, um mit den KI-Assistenten und KI-gestützten Suchmaschinen tiefgehende Informationen auf möglichst effiziente Weise zu recherchieren oder auch in einen spielerischen Dialog zur Konzeptfindung zu treten. In der Produktion der visuellen Contents wurde sowohl mit herkömmlichen Gestaltungsmethoden wie Film, 2D- und 3D Animation als auch mit Bildgenerierenden KI-Tools gearbeitet. Hier wurden zunächst Text-to-Image KIs wie Midjourney verwendet, um Texturen und Umgebungen zu schaffen. Die Animation der Contents fand mit Hilfe von unterschiedlichsten Methoden statt. Neben der Arbeit mit klassischen Animationstools kam auch hier Künstliche Intelligenz zum Einsatz, teilweise für Video-to-Video, also das Stilisieren von existentem Bewegtbild, aber auch Text-to-Video, also das textbasierte generieren von Bewegtbild. Die daraus entstandene Sammlung von Inhalten wurde mit einem eigens dafür in Touchdesigner angefertigten System auf die 12 Projektoren des Planetariums übertragen und konnte von den Studierenden live gesteuert werden.

Zu den 4 Projektergebnissen:

Studierende: Bruno Ammon, Lennard Becking, Talile Bekele, Anna Braun, Carmen Hartmann (TU), Tabea Jorcke (TU), Jessica Kaczmarek (TU), Senta Kammerer, Marie Kauke, Florencia Martina (TU), Danijela Matović (TU), Evrigiorgio Panzera, Anna Patzak, Emma Planckaert (TU), Hannah Riedel, Vincent Schneider, Charlotte Marie Töpfer, Mara Vorberg

Produktion: DEF Media
Regie: Miriam Dehne
Dozent, Creative Direction & Technical Lead: Lukas Ruoff
Projektleitung: Prof. Pablo Dornhege, Franziska Ritter

Fotos: Victoria Basel u.a.