Les secrets de Bodyguard, l'application qui protège contre le cyberharcèlement (et qui a déjà séduit Bilal Hassani)

"Je les remercie vraiment énormément parce qu'ils font un travail de filtrage et de modération qui est vraiment super bon – bien meilleur que celui des applications [Twitter, YouTube...] pour l'instant. J'ai plein de trucs bien odieux qui passent à la trappe et ça c'est super cool !" Invité jeudi 10 janvier de l'émission "Quotidien" sur TMC, Bilal Hassani n'a pas tari d'éloges au sujet de Bodyguard, une application qu'il utilise pour "bloquer les haters" sur les réseaux sociaux.

Le jeune homme de 19 ans d'origine marocaine, qui fait alors figure de favori pour représenter la France au concours Eurovision de la chanson, sait de quoi il parle : son homosexualité assumée, ses perruques et son maquillage lui valent d'être victime d'un cyberharcèlement raciste et homophobe particulièrement virulent.

Son créateur vit chez ses parents

Après cette publicité devant près d'1,5 million de téléspectateurs, la notoriété de l'application, qui permet de détecter et traiter les contenus haineux adressés à ses utilisateurs sur Twitter et YouTube, bondit. "De 2 500 utilisateurs il y a un an, nous sommes aujourd'hui passés à 27 000 !", s'enthousiasme le créateur de Bodyguard, Charles Cohen, interrogé par franceinfo. Au téléphone, ce Niçois de 23 ans emploie presque systématiquement la première personne du pluriel pour évoquer l'activité de son entreprise. A la fois développeur, webmaster et gestionnaire de communauté sur les réseaux sociaux, le jeune homme est pourtant seul aux commandes depuis le lancement de son application, en août 2017. Faute de revenus générés par son programme, qui est gratuit et sans publicité, Charles Cohen vit d'ailleurs toujours chez ses parents, expliquait-il à Melty début avril.

J'ai eu la chance de rester chez moi et de ne pas avoir besoin de me payer un loyer, ou quoi que ce soit. C'est grâce à cela que j'ai pu lancer Bodyguard en toute sérénité.

Charles Cohen

à Melty

"Je n'ai pas été directement victime de cyberharcèlement. En revanche, j'ai toujours craint de m'exposer publiquement sur internet ou d'y créer du contenu, de peur de me faire insulter ou harceler", explique à franceinfo l'entrepreneur en herbe lorsqu'on l'interroge sur ses motivations. Témoin des difficultés des grandes plateformes en ligne à résoudre le problème de la toxicité des conversations, et avec son seul baccalauréat scientifique en poche, le jeune homme décide alors d'inventer "une technologie qui soit d'un côté difficile à répliquer, et surtout socialement utile".

Des insultes repérées malgré les fautes

Pour parvenir à masquer ou bloquer automatiquement les messages problématiques, Charles Cohen n'a pas ménagé sa peine. Depuis près deux ans, le jeune Niçois entraîne un algorithme de sa conception à reconnaître les différents types de commentaires haineux en les classant lui-même, un à un, dans différentes catégories (insultes, menaces, moqueries, homophobie, harcèlement sexuel ou moral...). Un apprentissage de mécanismes d'intelligence artificielle fastidieux, mais qui permet désormais à Bodyguard de reconnaître automatiquement une insulte malgré la présence de fautes d'orthographe ou d'astérisques placés au milieu d'un mot pour contourner la liste de mots automatiquement censurés par les plateformes.

Mais pour parvenir à bloquer ou masquer efficacement les messages malveillants, l'application Bodyguard possède une astuce que certains de ses utilisateurs trop pressés peuvent avoir ignorée, même si elle est mentionnée au moment de l'installation de l'application. Le créateur du programme passe en effet lui-même quotidiennement en revue les messages masqués par son algorithme lorsque celui-ci ne parvient pas à déterminer avec une absolue certitude qu'ils sont bien haineux.

J'inspecte environ 300 commentaires par jour, ce qui doit me prendre environ 30 minutes. Si le contenu est effectivement malveillant, je bloque manuellement l'auteur du message. Si ce n'est pas le cas, je le 'démasque'.

Charles Cohen

à franceinfo

Quelle que soit leur notoriété, les utilisateurs interrogés par franceinfo semblent en tout cas ravis par les performances de l'application. "Je l'utilise depuis six mois, elle me permet de me concentrer sur mon boulot, et pas sur le harcèlement. Ce qui est vraiment cool parce qu'une fois arrivé à une certaine audience, les commentaires deviennent impossibles à gérer seul", se félicite Aiden, youtubeur dont la chaîne consacrée aux jeux vidéo compte plus d'1,3 million d'abonnés. Le vidéaste, qui a recensé 747 commentaires masqués à son audience car considérés comme toxiques par Bodyguard lors des deux dernières semaines, apprécie de pouvoir consulter l'application pour passer en revue la liste des contenus ciblés, et éventuellement les autoriser.

"L'idée n'est pas de censurer les commentaires négatifs, mais simplement de faire le tri entre les remarques constructives et les messages haineux", précise Samuel Skalawski, co-fondateur de l'agence Foll-ow, qui gère la carrière de jeunes youtubeurs et vedettes des réseaux sociaux. "Certains des talents dont nous nous occupons sont jeunes, et ont gagné rapidement une notoriété qui peut être difficile à gérer. Certains messages peuvent les affecter personnellement", précise l'entrepreneur, qui conseille ainsi à la plupart de ses clients d'installer Bodyguard.

Une fonctionnalité bientôt intégrée sur Twitter ?

"Ozsmoz" est sur la même longueur d'ondes. Après avoir dénoncé fin mars le fait de recevoir de nombreux messages privés sur Twitter au sujet de son apparence physique, cette militante féministe de 27 ans raconte à franceinfo avoir reçu "durant 72 heures des milliers d'insultes, de menaces de mort et d'appels au suicide". Alors submergée par les attaques en ligne, la jeune femme est contactée par le compte Twitter de Bodyguard.

Connaissez-vous @Bodyguard_app ? L'application supprime les commentaires haineux pour retrouver la sérénité sur les réseaux ! On est 100% gratuit et sans pub. Courage

— Bodyguard (@Bodyguard_app) 28 mars 2019

"J'ai installé l'application, mais j'ai immédiatement désactivé ses différentes fonctionnalités afin de pouvoir effectuer des captures d'écran des messages de mes harceleurs pour pouvoir porter plainte", rapporte la militante, qui se félicite toutefois de l'efficacité de l'outil qu'elle a pu brièvement constater. "Ozmoz" est si séduite qu'elle souhaiterait que les fonctionnalités de Bodyguard, qui permet de masquer un certain type d'attaques plutôt qu'un autre, soient directement intégrées à Twitter.

Ce point de vue est également partagé par un autre utilisateur, qui jouit d'une certaine renommée : Mounir Mahjoubi. Convaincu d'essayer Bodyguard par Bilal Hassani, l'ancien secrétaire d'Etat chargé du Numérique se dit "très heureux" d'avoir installé le programme sur son compte Twitter. "On a beau se blinder, à force de recevoir des messages d'insultes ou rabaissants, arrive un moment où le simple fait de les lire finit par vous affecter", décrit à franceinfo l'ancien membre du gouvernement.

Désormais, Bodyguard bloque ces messages avant même que je les lise. J'ai toujours droit aux tweets qui m'engueulent sur mes idées, mais je ne vois plus les insultes !

Mounir Mahjoubi

à franceinfo

L'actuel candidat à l'investiture de La République en marche pour la mairie de Paris plaide pour que les grandes plateformes numériques "laissent le choix aux utilisateurs de tout voir ou de bloquer tous les propos haineux, tant que cela se fait dans la transparence".

Le concepteur soutenu par des élus

Peut-on pour autant imaginer Bodyguard conclure un partenariat, voire être racheté par un des géants du numérique ? Charles Cohen reconnaît avoir "quelques échanges" avec certains, mais refuse d'en dire plus. Invité par franceinfo à commenter le mode de fonctionnement de l'application, Google botte en touche, tout en assurant prendre "très au sérieux" la modération des contenus toxiques sur sa plateforme YouTube.

Le géant du web précise compter sur les signalements effectués par les internautes pour signaler les commentaires inappropriés, tout en ayant désormais "recours à l'apprentissage automatique pour faire remonter à [ses] équipes certains cas suspects", et souligne que quelques 261 645 574 commentaires ont été supprimés de YouTube entre octobre et décembre 2018 pour violation du règlement.

Du côté de la majorité, on observe en tout cas avec attention la croissance de Bodyguard. Après avoir été convié au secrétariat d'Etat au Numérique en mars pour y rencontrer Mounir Mahjoubi, Charles Cohen a été entendu vendredi 10 mai par la commission des lois de l'Assemblée nationale dans le cadre de l'élaboration de la proposition de loi visant à lutter contre la haine sur internet défendue par la députée LREM de Paris Laetitia Avia.

Celle-ci est devenue, comme la porte-parole du parti, Aurore Berger, une fervente défenseuse de l'application. "Je ne sollicite personne, mais c'est vrai que c'est flatteur, et que ça apporte de la crédibilité à Bodyguard au moment d'aller rencontrer de potentiels investisseurs", commente Charles Cohen auprès de franceinfo.

Dites @FacebookFR @TwitterFrance, besoin d’un coup de main de @Bodyguard_app ?? Cette application détecte propos offensants, y compris mal orthographiés, mais aussi ironie, moquerie, contextes etc. Son fondateur a 24 ans et il gère 26000 comptes, sans vos budgets. pic.twitter.com/6cBfGGsqNQ

— Laetitia Avia (@LaetitiaAvia) May 4, 2019

Reste que la protection morale apportée aux utilisateurs de Bodyguard a aussi un revers. Pour distinguer un harceleur notoire d'un proche qui ferait une blague potache, l'application analyse en effet le contenu des précédents échanges entre deux personnes. Résultat, "la technologie supprime parfois un contenu sans même analyser le texte", reconnaît Charles Cohen. Ce qui pourrait par exemple empêcher un ancien adolescent au passé de cyberharceleur d'interagir avec un utilisateur de Bodyguard après s'être assagi une fois adulte. Interrogé sur ce cas de figure, Charles Cohen assume de prendre avant tout le parti des victimes potentielles, tout en reconnaissant que ce type de questions "fait effectivement partie des débats autour de l'intelligence artificielle".

De nouveaux développements à venir

Sur Twitter, le directeur des affaires juridiques du moteur de recherche Qwant, Guillaume Champeau, se demande également s'il est souhaitable de passer d'une société où il est simplement considéré comme immoral "d'écrires des choses illégales" à une impossibilité totale de le faire si ce type de technologie est généralisée.

Vrai débat de société à avoir : avec l'IA, si elle fonctionne correctement, on pourrait empêcher des humains d'écrire des choses illégales. On passerait alors d'une société où l'on ne doit pas faire, à une société où l'on ne peut pas faire, contrôlée par une machine. Le faut-il ? https://t.co/ux6NzaQvNC

— Guillaume Champeau (@gchampeau) 4 mai 2019

Malgré ces réserves, Bodyguard ne compte pas s'arrêter en si bon chemin. Actuellement en pleine période de levée de fonds, Charles Cohen entend très prochainement étendre son application au réseau de partage de photos et de vidéo Instagram, avant de se tourner vers le marché des entreprises.

Le jeune Niçois espère ainsi lancer en septembre une version de Bodyguard destinée aux familles. "L'idée serait d'alerter les parents si leurs enfants sont victimes ou auteurs de cyberharcèlement. C'est une solution d'actualité, et qui pourrait être financée par les assurances dans le cadre de leurs différentes offres", précise le jeune chef d'entreprise à franceinfo. Une version de l'application compatible avec l'anglais devrait suivre. Avant, peut-être, un rachat par l'un des mastodontes du web.