DensePose: Deep Learning et Estimation de Poses 3D

L’AI Research Team de Face­book vient de pub­li­er un papi­er inti­t­ulé “Dense­Pose: Dense Human Pose Esti­ma­tion In The Wild”. Il ne s’agit ni plus ni moins que d’un nou­veau mod­èle de Deep Learn­ing per­me­t­tant d’estimer la pose 3D de mul­ti­ples per­son­nes dans une vidéo, et ce, à l’aide d’un sim­ple GPU.

Le process passe par 3 étapes:

  • La détec­tion d’objet et la seg­men­ta­tion de l’objet: on utilise pour cela un réseau de neu­rones de type clas­sifi­ca­teur (le même type qu’on utilise pour labélis­er des objets par exem­ple). La base de don­nées (le dataset) util­isée est COCO (Com­mon Objects in Con­text).
  • La pré­dic­tion des coor­don­nées, en map­pant chaque pix­el d’un “ensem­ble détec­té” sur un mod­èle de type man­nequin 3D. Et cela, en util­isant un sys­tème de régres­sion.

Plus pré­cisé­ment, le mod­èle util­isé est de type Mask-RCNN avec un Fea­ture Pyra­mid Net­work (FPN), avec un ROI-Align pool­ing.

A ce sujet, je vous con­seille les vidéo d’Ardian Umam sur le sujet qui sont vrai­ment bien doc­u­men­tées.

Au final, les résul­tat est bluffant. Voici la vidéo en entier du pro­jet:

Le site offi­ciel présen­tant le pro­jet est le suiv­ant: http://densepose.org/. Vous trou­verez plus d’informations en lisant le papi­er pub­lié par l’équipe.

j’ai con­tac­té de mon coté Rıza Alp Güler pour le féliciter et pour qu’il m’accepte comme con­tact Face­book. Affaire à suiv­re…

Laisser un commentaire

Fièrement propulsé par WordPress | Thème : Baskerville 2 par Anders Noren.

Retour en haut ↑

%d blogueurs aiment cette page :