Une IA apprend à détecter des armes sur des vidéos grâce à Pulp Fiction

Cambriolage, meurtre, agression… pour remonter jusqu’au moment fatidique immortalisé par des images de vidéosurveillance, les policiers doivent souvent parcourir des heures d’enregistrement au cours d’un travail aussi long que fastidieux. L’IA en cours de développement par des ingénieurs de l’université de Grenade, en Espagne, pourrait grandement leur simplifier la tâche : elle parvient, grâce au deep learning, à identifier automatiquement une arme sur un flux vidéo.

L’IA, capable de gérer 144 millions de paramètres différents, est conçue de façon à reconnaître les caractéristiques physiques les plus voyantes des armes à feu, telles que leur forme ou leur couleur mais se limite à un certain type, parmi les plus courants, comme  les revolvers, les pistolets automatiques ou semi-automatiques. Pour éviter qu’elle ne se perde en identifications erronées avec des formes considérées comme ressemblantes, les scientifiques lui ont au préalable fourni des milliers d’images tirées de différentes bases de données pour lui apprendre à bien différencier les armes d’objets inoffensifs comme des stylos ou des téléphones.

Afin de l’entraîner — et d’améliorer ses résultats — l’équipe a ensuite recouru à des extraits vidéo YouTube de faible qualité tirés de plusieurs films connus : Pulp Fiction, Le monde ne meurt jamais, Bean ou encore Mission Impossible : Rogue Nation. D’un pistolet braqué longuement sur une cible par Pierce Brosnan aux nombreuses scènes où John Travolta et Samuel L. Jackson brandissent leur gros calibre, l’IA parvient à encadrer l’arme en rouge dans différents types de situation.

Encore perfectible face au manque de luminosité

La détection de l’arme sur des images de 1000 x 1000 pixels lui prend environ 0,19 secondes, soit l’équivalent d’une détection en quasi-temps réel, pratique dans le cadre d’une surveillance en direct, qui permettrait à l’agent de sécurité de repérer une arme légèrement visible à l’extérieur d’une poche, par exemple et potentiellement d’intervenir assez vite pour empêcher un drame. Lorsque le cadre qui entoure l’arme s’accompagne d’un pourcentage supérieur à 50 %, le pistolet est considéré comme identifié de manière sûre. L’IA peut se targuer d’un taux d’identification exacte des pistolets efficace à  84,2 %.

L’IA doit encore réaliser d’importants progrès pour être utilisée en conditions réelles : ses créateurs doivent notamment améliorer sa capacité d’identification lorsqu’elle fait face à un manque de contraste et de luminosité, ou encore quand le pistolet est déployé trop rapidement pour être détecté. Ainsi, dans l’extrait de Pulp Fiction issu de la scène culte du diner, l’IA détecte nettement le pistolet braqué par Samuel L. Jackson au premier plan mais ne parvient pas en revanche à identifier celui de la braqueuse postée au second plan, ni celui de John Travolta, situé à la même distance, dont les mains couvrent l’arme respective.

Reste que l’IA suscite déjà un intérêt important en l’état. Siham Tabik, l’auteur de l’étude, reconnaît avoir été contacté par une entreprise que son équipe doit rencontrer prochainement.

S’agit-il de Taser, l’entreprise américaine spécialisée dans l’équipement policier, qui vient justement d’acquérir deux technologies spécialisée dans la vision par ordinateur, qui doivent lui permettre d’effectuer des recherches visuelles directement au sein d’une vidéo ?