Die Erstellung von Algorithmen für die Arbeit mit Bildern war schon immer eine ziemlich schwierige, aber vielversprechende Aufgabe. Als ich 1999 noch mein Abschlussprojekt schrieb, war das Thema "Mustererkennung" in automatischen Steuerungs- und Managementsystemen sehr relevant.
Das können sie heute tun. Indische Entwickler haben ein System vorgestellt, mit dem kurze Videos aus verschwommenen Bildern erstellt werden können. Der Algorithmus arbeitet auf der Basis von Faltungsnetzen und wiederkehrenden neuronalen Netzen und ermöglicht es Ihnen, Bewegungsartefakte in Bildern in kurze Videos (bis zu zehn Bilder) umzuwandeln.
Mehr Details …
Beim Betrachten eines unscharfen Bildes kann eine Person ein Bild von dem, was geschieht, mental vervollständigen. Wenn Sie beispielsweise ein Foto eines Vogels mit unscharfen Flügeln sehen, deutet dies darauf hin, dass die Unschärfe des Bildes auf Artefakte in der Bewegung der Flügel während der Erfassung zurückzuführen ist. Für Computer-Vision-Systeme ist diese Aufgabe jedoch schwieriger, und die meisten bekannten Verfahren zielen nur darauf ab, Bewegungsartefakte zu entfernen und Rahmen zu glätten.
Wissenschaftler des Indian Institute of Technology unter der Leitung von AN Rajagopalan schlugen vor, mit einem einzigen verschwommenen Bild ein ganzes kurzes Video zu erstellen, dh die ursprüngliche Bewegung aus ihren Artefakten im Bild wiederherzustellen. Zu diesem Zweck entwickelten sie einen Algorithmus, der auf Faltungs-Neuronalen Netzen basiert, die aktiv für Aufgaben im Zusammenhang mit der automatischen Bilderkennung sowie für wiederkehrende Neuronale Netze verwendet werden.
Das Modell wird auf einer großen Anzahl von Videos trainiert, die in Frames aufgeteilt sind. Danach sucht das neuronale Netzwerk nach einem solchen Rahmen, dessen Artefakte am ehesten mit den Artefakten des Trainingsmusterrahmens übereinstimmen. Danach "stellt" der Decoder die auf dem Video aufgenommenen Artefakte des Trainingsmusterrahmens wieder her. Somit speichert das Modell Daten über mögliche wiederhergestellte Bewegungen von jedem unscharfen Rahmen, der in der Trainingsprobe verfügbar ist.
Werbevideo:
Als Ergebnis der Arbeit erzeugt das neuronale Netzwerk ein Video, das aus dem unscharfen Bild rekonstruiert wurde und aus zehn Bildern besteht. Der entwickelte Algorithmus wird nach Angaben der Entwickler in Zukunft dazu beitragen können, nicht nur die Wiederherstellung unscharfer Bilder, sondern auch die Videos selbst zu verbessern.
Das Entfernen von Bewegungsartefakten in einzelnen Frames kann auch das Video-Streaming verbessern. Bisher werden zu diesem Zweck hauptsächlich Algorithmen zum Anpassen der Bitrate in Abhängigkeit von der Videogeschwindigkeit und ihrer Pufferung verwendet.
Elizaveta Ivtushok
