EnhanceNet: Single Image Super-Resolution

Je me suis intéressé récem­ment aux travaux de Meh­di S. M. Saj­ja­di, Bern­hard Schölkopf et Michael Hirsch présen­tés lors de lICCV 2017 (Inter­na­tion­al Con­fer­ence on Com­put­er Vision). Il s’agit d’un réseau de neu­rones pro­fonds entrainé pour amélior­er la réso­lu­tion d’images d’animaux, au delà de ce qu’on arrive à faire avec des fil­tres graphiques évolués.Pourquoi faire ? Pensez à toutes ces caméras et appareils pho­tos qui sont dis­posés dans les réserves naturelles et qui ser­vent à la ges­tion de ces dernières. Et puis, au final, ce procédé peut-être adop­té pour d’autres images, le tout est d’entrainer le réseau avec un échan­til­lon suff­isam­ment grand de pho­tos.

Bref, dans l’idée, le principe est sim­ple: on prend des pho­tos en haute réso­lu­tion, on divise leur réso­lu­tion par 4 (SD), puis on demande au DNN de reformer une image HD à par­tir de la SD… et on cor­rige les poids en réu­til­isant la HD. Mais dans l’implémentation, c’est plus com­plexe. Leurs travaux sont expliqués ici.

L’implémentation a été réal­isée en util­isant Ten­sor­flow pour la par­tie DNN, et scipy pour les cal­culs et les fil­tres. On dis­pose du code source, non pas de l’entrainement du réseau, mais du mod­èle “pre-trained” qui sait déjà réalis­er un tas de choses.

Voici mes pro­pres tests réal­isés à par­tir de pho­tos pris­es sur google images (cliquez dessus pour agrandir et pass­er en mode galerie):

Image Source, c’est celle que je four­nis au réseau pour avoir l’image résul­tante. A coté, je vous met l’originale pour com­para­i­son.

J’ai même essayé avec un Tardi­grade car j’imagine qu’il n’a pas du servir pour les tests:

C’est assez impres­sion­nant, sachant que la base d’entrainement ne fait que 3339Ko !

L’archi­tec­ture du DNN mise en place est résumée ici:

On peut télécharg­er dif­férents sets, ain­si que les codes sources util­isant le mod­èle pré-entrainé sur cette page. Il n’y a pas que des ani­maux: on trou­ve aus­si des vis­ages, des fleurs, etc.

Laisser un commentaire

Fièrement propulsé par WordPress | Thème : Baskerville 2 par Anders Noren.

Retour en haut ↑

%d blogueurs aiment cette page :