Hassen Sie Mosaike? Google sagt, du kannst es “reparieren”

Der 1982 veröffentlichte Science-Fiction-Film "Blade Runner" sah ein 2019 voller Cyberpunk-Technologie vor: Der Himmel ist voller fliegender Autos, und Menschen können mit einer Großbildmaschine (Esper) viele unglaubliche Aufgaben erledigen.

Als der Protagonist Rick Deckard den Aufenthaltsort der Klone verfolgte, benutzte er Esper, um einige Hinweise zu finden, die mit bloßem Auge ignoriert wurden.

Rick stopfte ein am Tatort gefundenes verdächtiges Foto in Esper, vergrößerte eine Ecke des Fotos zerstörungsfrei immer wieder und fand schließlich den Androiden Jura im Spiegelbild.

Die Vorstellungskraft von Science-Fiction-Werken ist in der Tat durch die damalige Technik begrenzt, PCs wurden erst 1982 populär. "Blade Runner" konnte sich nicht vorstellen, dass das Aufkommen des Internets die Art und Weise des menschlichen Lebens verändert hat, und konnte sich das auch nicht vorstellen Simulationstechnik hätte Eines Tages durch Digitaltechnik ersetzt.

Seine Vorstellung von der verlustfreien Vergrößerungsbildtechnologie ist jedoch sehr fortgeschritten, was bisher ein schwer zu lösendes Problem ist.

Vielleicht kennen Sie auch diese Situation: Nach der Party machten Freunde zusammen ein Gruppenfoto und zoomten dann heran, um das Gesicht des alten Klassenkameraden oder die Getränkemarke an diesem Abend zu sehen, als ich zurückkam, aber was ich sah, war verschwommen.

Denn wenn wir das Foto bis zu einem gewissen Grad vergrößern, ist die lokale Auflösung bereits sehr gering und wir sehen nur noch aus Pixeln zusammengesetzte Bilder.

Ist es uns möglich, aus trivialen "Mosaiken" wie der Fantasie vor 30 Jahren zusätzliche Bildinformationen zu extrahieren?

Ein kürzlich von Googles KI-Team veröffentlichter Blog erwähnte einen neuen Bildalgorithmus, der der Vision von "Blade Runner" sehr nahe kommt.

Unglaubliche Auflösungssteigerung

Wie groß ist ein 64 x 64 Pixel Foto? Nimmt man das vom iPhone aufgenommene 12-Megapixel-Foto als Vorlage, ist es nur etwa ein Drittel seiner Größe, auf einem hochauflösenden Bildschirm sieht man nur ein vollständiges „Mosaik“.

Im digitalen Zeitalter besteht jedes Bild, das wir auf dem Bildschirm sehen, aus dicht gepackten Pixeln: Je mehr Pixel pro Flächeneinheit das Bild bilden, desto höher ist die Auflösung und desto klarer das Bild.

Die KI-Forscher von Google denken, ist es möglich, genügend Bildinformationen aus niedriger Auflösung zu extrahieren, maschinelles Lernen zu verwenden, um das Originalbild so weit wie möglich wiederherzustellen, die Auflösung des Bildes zu erhöhen und ein klares Bild zu erhalten?

In seinem kürzlich veröffentlichten Blog zeigte Google seine neuesten Forschungsergebnisse, die von der Wirkung sehr schockierend sind – durch zwei verschiedene Algorithmen können 64 X 64 Pixel Fotos auf 1024 X 1024 Pixel Auflösung wiederhergestellt werden und Details Der Effekt ist sehr realistisch.

Es sollte darauf hingewiesen werden, dass die von Google durch Algorithmen des maschinellen Lernens wiederhergestellten Fotos zwangsläufig einige Abweichungen von den Originalfotos aufweisen, aber wenn wir die Originalszene nicht erhalten können (z So nah wie möglich an der Realität Die Fotos sind wirklich wertvoll.

Laut Google besteht das Reparieren eines "Mosaik"-Fotos aus zwei Prozessen – "Zerstören" und "Reorganisieren".

Um die grafischen Details des "Mosaik"-Pixelblocks so gut wie möglich herauszubekommen, werden die Google-Forscher zunächst die Testproben mit dem Gaußschen Rauschalgorithmus verarbeiten, um eine "Schneeflockenkarte" zu erhalten, die vollständig aus Rauschen besteht, die wie folgt aussieht: bisschen wie das vorherige analoge TV. Das Bild des Signals.

Dann verwenden die Forscher neuronale Netzwerkalgorithmen, um den Zerstörungsprozess des Gaußschen Rauschens umzukehren und neue Bilddaten durch den umgekehrten Wiederherstellungsprozess zu synthetisieren und das Rauschen aus dem reinen Rauschbild so weit wie möglich zu reduzieren, um ein klares Bild zu erhalten.

Das Prinzip der Bildwiederherstellung ist nicht kompliziert, aber der beteiligte Algorithmus ist nicht einfach. Um das hochauflösende große Bild der "Eins-zu-Eins-Wiederherstellung" wiederherzustellen, schlugen Google-Forscher den Super-Resolution-Algorithmus SR3 und das kaskadierte Diffusionsmodell vor CDM: Verbessern Sie die Genauigkeit der Restaurierung durch groß angelegtes Bildvergleichslernen.

Es ist erwähnenswert, dass, obwohl wir immer "Mosaik" verwendet haben, um auf niedrigauflösende großpixel-niedrig aufgelöste Bilder zu verweisen, sich dies wesentlich von den echten codierten Fotos unterscheidet.

Der Grund, warum Googles Restaurationsalgorithmus Low-Definition-Bilder klar machen kann, basiert im Wesentlichen auf den richtigen Bildinformationen, die im Bild selbst enthalten sind, durch den Vergleich und Abgleich unzähliger Bilder in einer riesigen Datenbank und schließlich eine simulierte ungefähre Pixelfüllung.

Wenn das Foto mit Mosaik verschmiert ist, ändern sich die im Foto enthaltenen Bildinformationen.

Einfach ausgedrückt besteht der Mosaikalgorithmus darin, die Farbe der Pixel in einem Bereich in einem festen Intervall zufällig auszuwählen, dann den Durchschnittswert aller Pixel in dem Bereich zu ermitteln und das Quadrat mit einer neuen Farbe zu füllen.

Nach der Codierung gehen die ursprünglichen Pixelinformationen verloren, und es werden nur die zufällig berechneten Fehlerinformationen erhalten. Lassen Sie sie zu diesem Zeitpunkt vom maschinellen Lernen wiederherstellen, so wie Sie sie bitten, eine richtige Antwort auf eine völlig falsche Frage zu geben unmöglich zu beantworten.

Wenn also jemand den Google-Algorithmus verwenden möchte, um einige der gelöschten privaten Informationen zu minen, kann er diese Idee zerstreuen.

Du hast die Zukunft betreten

Der HD-Reparaturalgorithmus von Google wird wahrscheinlich endlich auf Google-Bildverarbeitungssoftware wie Google Photos, Snapseed usw. angewendet. Es wird eines unserer Fotobearbeitungstools wie HDR, Blickwinkelkorrektur und andere Algorithmen.

Um auf den "Blade Runner"-Film zurückzukommen, ist Esper eigentlich eine sehr interessante Maschine, es ist eine Art Verschmelzung von analoger Technologie und digitaler Technologie.

Auf der einen Seite ist es sehr fortschrittlich, die Leute können es mit der Stimme steuern und eine verlustfreie Vergrößerung erzielen um von physischen Fotos zu scannen.

Je nach Wirkung des Films kann Esper eine bestimmte Koordinate des Festpunktfotos sein und das Foto dann durch eine präzise Linsenstruktur (Mikroskop) vergrößern. So betrachtet ist die Idee der verlustfreien Verstärkung sehr fortgeschritten, aber die Simulationstechnologie ist offensichtlich keine realistische Zukunft.

Für den modernen Menschen sind die Handys und Computer in ihren Händen jedermanns "Esper".

Nachdem Fotos bereits die Entwicklung eines vollständig digitalen Workflows abgeschlossen haben, ist es nicht schwer, Fotos mit digitaler Technologie zu vergrößern. Mit anderen Worten, Sie sind tatsächlich in die in "Blade Runner" beschriebene "Zukunft" eingetreten.

Die Superauflösung von Bildern stellt seit jeher ein heißes Forschungsthema im Bereich Computer Vision dar. Unternehmen wie Adobe entwickeln verwandte Bildverarbeitungstechnologien, die in Grafikverarbeitungssoftware wie Photoshop und Lightroom Anwendung finden.

Nehmen Sie Photoshop als Beispiel. Nach dem Importieren des Bildes im RAW-Format können Sie die Funktion "Super Resolution" der Funktion "Enhanced" auswählen. Die Software wird auf ähnliche Inhalte verweisen, um die Textur des Bildes anzureichern und die Auflösung des Bildes zu vergrößern um das 4-fache Der gesamte Vorgang dauert ungefähr eine Minute.

An den Fotos vor und nach der Kontrastverstärkung ist zu erkennen, dass sich die Schärfe der Fotos nach Erhöhung der Auflösung deutlich verbessert hat und auch einige unscharfe und nicht erkennbare Details deutlich geworden sind.

Adobe erwähnte in einem im März dieses Jahres veröffentlichten technischen Blog, dass der von ihm verwendete Super-Resolution-Algorithmus auch viele Schulungen zum maschinellen Lernen durchlaufen hat und ständig verbessert wird.

Ist es sinnvoll, die Auflösung von Bildern zu sprengen? Vielleicht vergrößern Sie nach der Aufnahme eines Fotos nicht jedes Detail, aber wenn Sie dieses Foto drucken müssen, bestimmt die Auflösung des Fotos direkt die maximale Größe des Drucks.

Dies ist besonders für Fotografen wichtig. Bei Landschaftsaufnahmen mit einem Weitwinkelobjektiv fliegt manchmal ein Adler über den Himmel. Die Federdetails des Adlers können mit einem Weitwinkelobjektiv nicht erfasst werden. Es ist möglich, das Bild zu erhalten Sie wollen.

Adobe hat in seinem Blog als Beispiel ein 2,5-Megapixel-Foto verwendet und es mit der Super-Resolution-Funktion auf 10 Millionen Pixel vergrößert, damit es zu einem „anständigen“ Foto gedruckt werden kann. Adobe bezeichnet dieses Verfahren als „digitalen Zoom“. "

Beim Vergleich der Algorithmen von Adobe und Google gibt es einige Unterschiede zwischen den beiden: Adobe benötigt Fotos im RAW-Format, die eine große Menge an Originalinformationen für die Berechnungen behalten, während der Algorithmus von Google Fotos basierend auf einigen sehr groben Informationen wiederherstellen kann.

Derzeit sind beide Algorithmen noch nicht ausgereift, und es ist viel maschinelles Lernen erforderlich, um die Genauigkeit der Berechnung und Wiederherstellung zu verbessern.

Sicher ist jedoch, dass die Super-Resolution-Technologie in naher Zukunft zu einer der beliebtesten Bildgebungstechnologien werden wird, die den Menschen helfen wird, die Einschränkungen von Teleobjektiven und anderen Geräten zu überwinden und jedes Detail und jeden Moment des Lebens aufzuzeichnen. Um eine klarere Welt zu sehen, haben wir nicht aufgehört zu erforschen.

#Willkommen, um dem offiziellen WeChat-Account von Aifaner zu folgen: Aifaner (WeChat-ID: ifanr), weitere spannende Inhalte werden Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner | Ursprünglicher Link · Kommentare anzeigen · Sina Weibo