Mit der Entwicklung neuronaler Netze und Technologien für maschinelles Lernen erweitert sich auch der Anwendungsbereich. Wenn frühere neuronale Netze ausschließlich zur Durchführung komplexer mathematischer, medizinischer, physikalischer, biologischer Berechnungen und Prognosen verwendet wurden, gewinnen diese Technologien in einer „profaneren“Umgebung - im Bereich der Unterhaltung - zunehmend an Beliebtheit. Wenn sie nur die ersten Schritte in diese Richtung unternehmen, können sie bereits erstaunliche und manchmal sogar herausragende Ergebnisse vorweisen. Heute werden wir einige anschauliche Beispiele analysieren.
Der Prozess des Video-Remasters ist so kompliziert und zeitaufwändig, dass wir möglicherweise nie viele Meisterwerke der Weltklassiker mit einem neuen, modernen, klaren und saftigen Bild gesehen haben. Die Welt ist jedoch voll von intelligenten Fans und Enthusiasten, die sich mit neuen Technologien auskennen, insbesondere mit neuronalen Netzen und Technologien für maschinelles Lernen, mit denen Sie auch zu Hause erstaunliche Ergebnisse erzielen können. Zum Beispiel hat der YouTube-Nutzer Stefan Rumen mit dem Pseudonym CaptRobau beschlossen, einige der Fähigkeiten neuronaler Netze bei der Verarbeitung von Videos einer alten Science-Fiction-Serie zu demonstrieren.
Seine frühere Arbeit ist Remako Mod, ein "HD-Remake" des klassischen und sehr beliebten japanischen Rollenspiels Final Fantasy VII. Zu diesem Zweck verwendete er den AI-Algorithmus AI Gigapixel, mit dem er das Bild des Originalbilds um das Vierfache skalieren und es in HD-Auflösung konvertieren konnte, ohne das ursprüngliche Kunstdesign wesentlich zu verändern. Während Sie ein weiteres Jahrzehnt warten, bis der japanische Entwickler und Herausgeber von Computerspielen Square Enix offiziell einen Remaster eines der besten Teile dieser Spieleserie veröffentlicht, können Sie den Mod von Stefan Rumen selbst ausprobieren, indem Sie ihn von dieser Website herunterladen.
Übrigens ist in letzter Zeit die Technologie neuronaler Netze, mit der alte Spiele remastered und relevanter und moderner gestaltet werden können, ohne das allgemeine ursprüngliche Konzept zu ändern, unter verschiedenen Moddern zu einem echten Trend geworden. Zum Beispiel haben wir vor nicht allzu langer Zeit über die ESRGAN-Technologie (Enhanced Super Resolution Generative Adversarial Networks) gesprochen, die Bildskalierungstechnologien mit einer 2-8-fachen Qualitätssteigerung implementiert. Dem Algorithmus wird das Originalbild mit einer niedrigen Auflösung zugeführt, wonach er nicht nur die Originalauflösung des letzteren erhöht, sondern auch die Bildqualität verbessert, realistische Details malt und Texturen „natürlicher“macht.
Vergleich der Texturqualität: Links die Originaltextur aus dem Morrowind-Spiel, rechts - verarbeitet vom neuronalen Netzwerk.
Ein Charakter aus Doom (links - war, rechts - wurde).
Hintergrundverarbeitung in Resident Evil 3.
Werbevideo:
Wie dem auch sei, in den Intervallen zwischen dem Remastering von "The Seventh Final" entschied sich Stefan Rumen für ein anderes Projekt - die gleiche Technologie des maschinellen Lernens zu verwenden, diesmal jedoch, um die Frames der klassischen Science-Fiction-Serie der 90er Jahre zu verarbeiten. Rumen wählte Star Trek: Deep Space Nine als Objekt für seine Experimente.
Das Skalieren eines Livebilds einer Fernsehserie unterscheidet sich in seiner Komplexität stark von dem Skalieren eines vorgerenderten Bildes von Final Fantasy VII, so der Autor. Das Endergebnis sieht zwar deutlich besser aus als die Originalmaterialien in niedriger Auflösung, aber dieses Bild ist noch weit von dem Ideal entfernt, über das es verfügt Sie hätten träumen können, seit die ersten Blu-ray-Player auf den Markt kamen. Gelegentlich erscheinen kleine "Artefakte" auf dem Bildschirm. Aber im Allgemeinen sieht alles mehr als würdig aus. Aber im Allgemeinen überzeugen Sie sich selbst.
Für dieses Projekt verwendete Rumen auch den AI-Gigapixel-Algorithmus, der darauf trainiert wurde, Bilder basierend auf realen Fotos zu bearbeiten. Der Autor stellt fest, dass das neue Bild in 1080p und 4k aufgenommen wurde. Da Rumen jedoch keinen Fernseher oder Monitor mit nativer 4K-Auflösung besitzt, kann er die 4K-Version nicht angemessen bewerten.
Leider können Sie nicht die gesamte Serie in Full HD-Qualität ansehen. Die Verarbeitung des gesamten Ausgangsmaterials hätte sehr lange gedauert, daher verwendete Rumen für die Demonstration nur separate Rahmen aus verschiedenen Serien. Ihm zufolge hat er dieses Projekt nur aus einem Grund aufgenommen - um zu zeigen, dass es wirklich möglich ist. Seiner Meinung nach wird ein ganzes Team von Fachleuten, die in einem großen Fernsehunternehmen arbeiten und über eine geeignetere und leistungsfähigere Computerausrüstung für solche Arbeiten verfügen, diese Aufgabe viel besser bewältigen können.
Die Verwendung neuronaler Netze zur Vereinfachung der Verarbeitung alter Bilder aus Videospielen und Filmen ist nicht der einzige Bereich, in dem solche Technologien ihre Talente unter Beweis stellen können. In der modernen Welt, in der Panoramakameras, die 360 Grad erzeugen können, sowie Virtual-Reality-Headsets immer beliebter werden, haben Entwickler begonnen, das Potenzial der Panoramafotografie aktiv zu erkunden.
Eine der neuesten Entwicklungen in dieser Richtung ist ein neuronales Netzwerk, das statische Panoramabilder wiedergeben kann. Es wurde von Experten für maschinelles Lernen der Massachusetts Universities, der Columbia Universities und der George Mason University verfasst.
Der erstellte Algorithmus bestimmt die Art der Umgebung und der Objekte auf dem Foto und wählt und ordnet dann Töne aus der verwendeten Datenbank gemäß der räumlichen Berechnung der Entfernung zu ihren Quellen in diesem Bild an. Dank dessen erhält das Panoramabild einen realistischen und räumlichen Klang, mit dem Sie das präsentierte Bild auf völlig neue Weise bewerten können.
Laut den Entwicklern dieses neuronalen Netzwerks könnte die Technologie bei Entwicklern von VR-Inhalten (Filmen und Spielen) Interesse finden. In diesem Fall müssen letztere nicht alle Töne auf dem Panoramabild manuell überlagern, das neuronale Netzwerk kann dies alles selbst tun.
Nikolay Khizhnyak
