AI Companions et droit : ce que l'AI Act européen et New York imposent aux applications d'IA émotionnelle
Les AI companions comme Replika ou Character.AI sont au cœur d'un débat juridique mondial : l'AI Act européen les encadre via une classification par le risque et interdit certaines formes de manipulation émotionnelle, tandis que le droit new-yorkais mise sur la protection individuelle des mineurs et la responsabilité civile des éditeurs. Ces deux approches restent insuffisantes face à l'ampleur du phénomène, qui touche des dizaines de millions d'utilisateurs dont une majorité de jeunes.
Les AI companions — ces intelligences artificielles conçues pour simuler une relation émotionnelle — posent dès 2026 des questions juridiques inédites que ni le législateur européen ni le droit américain n'ont encore pleinement résolues. Des applications comme Replika, Character.AI ou Nomi comptent des dizaines de millions d'utilisateurs à travers le monde, dont une part significative développe des liens affectifs profonds, voire des dépendances psychologiques documentées. Face à ce phénomène, deux grands systèmes juridiques s'affrontent dans leurs approches : le règlement européen sur l'intelligence artificielle (dit "AI Act"), entré en vigueur en août 2024, et le droit new-yorkais, qui s'est récemment saisi du sujet via plusieurs initiatives législatives et judiciaires. Cet article analyse comment ces deux cadres tentent — avec des succès inégaux — d'encadrer les risques liés à l'attachement émotionnel à l'IA.
Contexte juridique
L'AI Act européen et le droit new-yorkais abordent les AI companions sous des angles radicalement différents : risque systémique vs. protection individuelle.
Le phénomène des AI companions a brutalement émergé dans l'agenda législatif à la suite de plusieurs affaires médiatisées. Aux États-Unis, le suicide d'un adolescent de 14 ans en Floride en octobre 2023 — attribué en partie à sa relation avec un personnage de Character.AI — a provoqué une onde de choc réglementaire. En Europe, plusieurs signalements auprès des autorités de protection des données ont mis en lumière des pratiques de manipulation émotionnelle algorithmique visant à maximiser l'engagement des utilisateurs.
Sur le plan des textes, le cadre juridique applicable se structure autour de plusieurs piliers :
- En droit européen : l'AI Act (Règlement UE 2024/1689), le RGPD (Règlement UE 2016/679), la directive sur les pratiques commerciales déloyales (2005/29/CE) transposée en droit national, et la directive sur la responsabilité en matière d'IA (directive UE 2022/0303, en cours d'implémentation dans les États membres).
- En droit new-yorkais : le New York Child Data Protection Act (2024), le projet de loi S7694 dit "SAFE for Kids Act" adopté en 2024 au niveau de l'État de New York, ainsi que les actions judiciaires engagées sur le fondement du droit commun de la responsabilité délictuelle (tort law) et de la doctrine du product liability.
Selon le rapport du Centre européen pour la protection des droits numériques (noyb) publié en 2025, plus de 68 % des utilisateurs réguliers d'AI companions en Europe sont âgés de 13 à 25 ans, ce qui place la protection des mineurs au cœur des enjeux réglementaires.
Analyse approfondie
L'AI Act classe certains AI companions en systèmes à "risque élevé" ou interdit les techniques de manipulation émotionnelle, mais les zones grises demeurent nombreuses.
L'approche européenne : une classification par le risque
L'AI Act repose sur une architecture pyramidale des risques qui détermine le régime applicable aux systèmes d'IA. Pour les AI companions, la qualification juridique est déterminante :
-
Les pratiques interdites (Article 5 de l'AI Act) : L'article 5, paragraphe 1, point a), interdit les systèmes d'IA qui "utilisent des techniques subliminales agissant à l'insu d'une personne ou des techniques délibérément manipulatrices ou trompeuses" ayant pour effet de "fausser substantiellement le comportement" de l'utilisateur "d'une manière qui cause ou est susceptible de causer un préjudice". Les AI companions conçus pour créer une dépendance émotionnelle artificielle pourraient tomber sous le coup de cette interdiction — mais la preuve de l'intentionnalité de la manipulation reste un obstacle procédural majeur.
-
Les systèmes à risque élevé : Lorsqu'un AI companion est utilisé dans un contexte éducatif ou de santé mentale (ce qui est de plus en plus fréquent), il peut être requalifié en système à risque élevé au sens de l'Annexe III de l'AI Act, déclenchant des obligations renforcées : évaluation de conformité, enregistrement dans la base de données EU, surveillance humaine effective.
-
Obligations de transparence (Article 50) : Tout système d'IA conçu pour interagir avec des humains doit informer l'utilisateur qu'il interagit avec une IA. Cette obligation, apparemment simple, soulève des questions complexes lorsque le companion est précisément configuré pour simuler une personnalité humaine.
L'approche new-yorkaise : responsabilité et protection des mineurs
Le droit de l'État de New York a emprunté une voie différente, plus pragmatique et plus contentieuse. Le SAFE for Kids Act (signé en juin 2024) impose aux plateformes utilisant des algorithmes de recommandation ou d'engagement de ne pas cibler les mineurs avec des techniques d'engagement compulsif sans consentement parental vérifiable. Bien que ce texte ne vise pas spécifiquement les AI companions, sa portée a été étendue par la jurisprudence naissante.
Sur le plan de la responsabilité civile, plusieurs actions ont été intentées contre Character.AI devant les tribunaux new-yorkais sur le fondement du négligence et du product liability, en arguant que le produit était "défectueux" au sens de la doctrine Restatement (Third) of Torts car il ne comportait pas de garde-fous suffisants. En mars 2026, le Southern District of New York a refusé de rejeter (dismiss) l'une de ces actions, estimant que la théorie du "defective design" était suffisamment étayée pour aller au procès — une décision commentée par la doctrine comme potentiellement structurante.
Tableau comparatif : AI Act vs. droit new-yorkais
| Critère | AI Act (UE) | Droit new-yorkais |
|---|---|---|
| Approche principale | Réglementation ex ante | Responsabilité ex post |
| Mineurs | Interdiction manipulation (Art. 5) | SAFE for Kids Act |
| Transparence | Obligation légale (Art. 50) | Pas d'équivalent direct |
| Sanction max. | 35 M€ ou 7% CA mondial | Dommages-intérêts civils |
| Autorité de contrôle | Bureau IA européen | Tribunaux + AG New York |
Implications pratiques
Pour les éditeurs d'AI companions, les obligations divergent selon le marché visé, créant un risque de forum shopping réglementaire.
Du point de vue des éditeurs et développeurs
Les entreprises proposant des AI companions se trouvent en 2026 dans une situation de double contrainte réglementaire. En Europe, elles doivent se conformer à l'AI Act sous peine de sanctions pouvant atteindre 35 millions d'euros ou 7 % du chiffre d'affaires mondial annuel (Article 99 de l'AI Act) pour les violations des pratiques interdites. Elles doivent également assurer une documentation technique rigoureuse et maintenir des journaux d'événements (logs) permettant une traçabilité algorithmique.
À New York, le risque est principalement judiciaire : les class actions peuvent générer une exposition financière considérable, et la couverture médiatique des procès crée un risque réputationnel souvent plus dévastateur que l'amende réglementaire.
Du point de vue des utilisateurs et des personnes vulnérables
Pour les utilisateurs, la protection reste fragmentaire. En Europe, le droit à l'information prévu par l'article 50 de l'AI Act est théoriquement protecteur, mais son effectivité dépend de la vigilance des autorités nationales de contrôle. L'EDPB (Comité européen de la protection des données) a émis en 2025 des lignes directrices sur le traitement des données de catégorie spéciale générées par les interactions avec des AI companions — incluant les données révélant l'état psychologique de l'utilisateur — en précisant qu'elles relèvent de l'article 9 du RGPD et nécessitent un consentement explicite.
Pour les personnes vulnérables (mineurs, personnes souffrant de troubles de l'attachement, dépression ou isolement social), la protection reste la plus lacunaire. Le rapport du Défenseur des droits français (2025) soulignait que les mécanismes de vérification de l'âge restent "largement contournables" malgré les obligations légales.
Deux perspectives opposées sur la réglementation
Perspective pro-réglementation stricte : Des associations comme l'European Digital Rights (EDRi) estiment que les AI companions commerciaux constituent par nature des instruments de manipulation émotionnelle monétisée, et plaident pour leur interdiction pure et simple lorsqu'ils ciblent des mineurs ou des personnes diagnostiquées comme vulnérables.
Perspective libérale : À l'inverse, certains chercheurs en psychologie computationnelle et des associations de patients soulignent que les AI companions peuvent remplir une fonction thérapeutique réelle pour des personnes isolées ou souffrant d'anxiété sociale, et que une réglementation trop restrictive priverait ces personnes d'un soutien accessible et peu coûteux.
Points clés à retenir
- L'AI Act interdit explicitement les techniques de manipulation émotionnelle subliminale (Article 5), mais la preuve de la manipulation intentionnelle reste difficile à rapporter.
- L'obligation de transparence de l'article 50 de l'AI Act impose à tout AI companion de s'identifier comme IA, y compris lorsque sa conception simule une personnalité humaine.
- Le droit new-yorkais s'appuie sur la responsabilité civile délictuelle et le product liability plutôt que sur une réglementation sectorielle, créant une incertitude judiciaire significative pour les éditeurs.
- Les données générées par les interactions émotionnelles avec un AI companion constituent des données sensibles au sens de l'article 9 du RGPD lorsqu'elles révèlent l'état psychologique de l'utilisateur.
- La protection des mineurs est le point de convergence des deux systèmes, mais les mécanismes de vérification de l'âge restent insuffisants en pratique selon les autorités de contrôle.
- Le risque de forum shopping est réel : certains éditeurs structurent leur présence juridique pour minimiser leur exposition au régime le plus contraignant.
- Une harmonisation internationale fait défaut en 2026 : aucune convention ou accord bilatéral n'encadre spécifiquement les AI companions à l'échelle transnationale.
Questions fréquentes
Un AI companion peut-il être interdit en Europe ?
Oui, un AI companion peut être interdit en Europe s'il utilise des techniques de manipulation subliminale ou émotionnelle au sens de l'article 5 de l'AI Act. Une application qui exploiterait délibérément des vulnérabilités psychologiques pour créer une dépendance tombe sous le coup des pratiques d'IA interdites, passibles d'une amende allant jusqu'à 35 millions d'euros ou 7 % du chiffre d'affaires mondial.
L'AI Act s'applique-t-il aux entreprises américaines proposant des AI companions en Europe ?
Oui, l'AI Act s'applique de manière extraterritoriale à toute entreprise dont les systèmes d'IA produisent des effets sur des utilisateurs situés dans l'Union européenne, quel que soit le lieu d'établissement de l'éditeur. Une société new-yorkaise proposant son AI companion à des utilisateurs français est donc soumise au règlement européen.
Quelle est la responsabilité d'un éditeur d'AI companion si un utilisateur développe une dépendance psychologique ?
En droit européen, la directive sur la responsabilité en matière d'IA (en cours d'implémentation) crée une présomption de lien de causalité facilitant l'action de la victime. En droit new-yorkais, l'action peut être fondée sur la négligence ou le product liability si le produit est jugé "défectueux" faute de garde-fous suffisants — une théorie que le SDNY a accepté d'examiner au fond en mars 2026.
Un mineur peut-il légalement utiliser un AI companion en France ?
Il n'existe pas d'interdiction générale en droit français, mais les éditeurs sont tenus de vérifier l'âge des utilisateurs conformément au RGPD et à la loi française du 7 juillet 2023 visant à instaurer une majorité numérique. Les AI companions utilisant des techniques d'engagement addictif sur des mineurs exposent leurs éditeurs aux sanctions de l'AI Act.
Les conversations avec un AI companion sont-elles protégées par un droit à la confidentialité ?
Les données générées lors d'interactions émotionnelles avec un AI companion sont traitées comme des données personnelles au sens du RGPD. Lorsqu'elles révèlent l'état psychologique ou émotionnel de l'utilisateur, elles peuvent être qualifiées de données de santé (catégorie spéciale au sens de l'article 9 du RGPD), nécessitant un consentement explicite et des mesures de sécurité renforcées.
Quelle est la différence entre un AI companion et un chatbot ordinaire sur le plan juridique ?
La distinction est fonctionnelle et non technique : un AI companion est spécifiquement conçu pour établir une relation émotionnelle durable avec l'utilisateur, ce qui le soumet potentiellement aux interdictions de manipulation de l'article 5 de l'AI Act et aux obligations de transparence renforcées de l'article 50. Un chatbot de service client classique, lui, n'entre pas dans cette catégorie.
Existe-t-il un recours si un AI companion tient des propos ayant aggravé l'état psychologique d'un utilisateur ?
En Europe, la victime peut engager la responsabilité de l'éditeur sur le fondement de la directive responsabilité IA, du RGPD (manquement aux obligations de traitement licite), ou du droit commun de la responsabilité civile. Aux États-Unis, et notamment à New York, les actions en negligence et product liability sont la voie privilégiée, mais se heurtent encore aux défenses tirées du First Amendment pour les contenus générés par IA.
L'Union européenne prévoit-elle de nouvelles règles spécifiques aux AI companions ?
En juin 2026, le Bureau européen de l'IA (European AI Office) a ouvert une consultation publique sur l'élaboration de lignes directrices sectorielles dédiées aux systèmes d'IA à interaction émotionnelle. Ces lignes directrices, attendues pour fin 2026, pourraient préciser les critères de qualification des pratiques interdites et les obligations de conception (safety by design) applicables aux AI companions.
Article rédigé par Aurianne Okombi, étudiante en droit comparé, juin 2026. Cet article est fourni à titre informatif et ne constitue pas un conseil juridique.
Questions fréquentes
- Les AI companions sont-ils réglementés par l'AI Act européen ?
- Oui. L'AI Act peut les qualifier de pratiques interdites (article 5) s'ils utilisent des techniques de manipulation émotionnelle, ou de systèmes à risque élevé s'ils interviennent dans un contexte éducatif ou de santé mentale.
- Qu'est-ce que la manipulation émotionnelle algorithmique au sens du droit ?
- Il s'agit de techniques conçues délibérément pour fausser le comportement d'un utilisateur à son insu, notamment en créant une dépendance affective artificielle. L'article 5 de l'AI Act européen interdit ces pratiques lorsqu'elles causent un préjudice.
- Quel cadre juridique s'applique aux AI companions à New York ?
- Le droit new-yorkais mobilise le New York Child Data Protection Act (2024), le SAFE for Kids Act (2024), ainsi que la responsabilité délictuelle (tort law) et la doctrine du product liability pour engager la responsabilité des éditeurs d'applications.
- Les mineurs sont-ils spécifiquement protégés contre les AI companions ?
- Oui, des deux côtés de l'Atlantique. Selon noyb, 68 % des utilisateurs réguliers d'AI companions en Europe ont entre 13 et 25 ans, ce qui place la protection des mineurs au cœur des dispositifs réglementaires européens et américains.
- Un éditeur d'AI companion peut-il être tenu responsable du préjudice psychologique d'un utilisateur ?
- C'est un contentieux en développement. Aux États-Unis, des actions en tort law et product liability ont été engagées, notamment après le suicide d'un adolescent lié à Character.AI en 2023. En Europe, la directive sur la responsabilité IA (2022/0303) en cours d'implémentation facilite la charge de la preuve pour les victimes.
Sources
- Google Help
- QUERY function - Google Docs Editors Help
- Set default search engine and site search shortcuts
- Función QUERY - Ayuda de Editores de Documentos de Google
- Google Sheets function list - Google Docs Editors Help
- Path to Secrets (2026 Rerun) - Official 100% Orange Juice Wiki
- 100% Orange Juice on Steam
- Characters - 100% Orange Juice Wiki
- Player Plate - Official 100% Orange Juice Wiki
- 100% Orange Juice - Breaker Pack di Steam