Réguler le comportement de l’IA, pas la théorie de l’IA
Les nouvelles lois, SB 243 et AB 489, partagent une hypothèse commune : que les systèmes d'IA rencontreront des cas extrêmes. Les experts et les législateurs constatent des problèmes de fonctionnalité qui font que les conversations dérivent et que les utilisateurs posent des questions émotionnelles, médicales ou à enjeux élevés dans des contextes pour lesquels le système n'a pas été conçu.
Les politiques statiques rédigées des mois plus tôt ne couvriront pas tous les scénarios. Ainsi, plutôt que d’interdire l’IA conversationnelle, l’approche californienne est pragmatique. Si un système d’IA influence les décisions ou établit des relations émotionnelles avec les utilisateurs, il doit disposer de mesures de protection qui résistent à la production, et pas seulement à la documentation. Et c’est un domaine dans lequel de nombreuses organisations sont les moins préparées.
AB 489 : Quand l’IA ressemble à un médecin
L’AB 489 se concentre sur un risque différent : les systèmes d’IA qui impliquent une expertise médicale sans l’avoir réellement. De nombreux chatbots de santé et de bien-être ne prétendent pas explicitement être médecins. Au lieu de cela, ils s’appuient sur un ton, une terminologie ou des éléments de conception qui semblent cliniques et faisant autorité. Pour les utilisateurs, ces distinctions sont souvent invisibles ou indéchiffrables.
Depuis le 1er janvier, l'AB 489 interdit aux systèmes d'IA d'utiliser des titres, des termes ou d'autres représentations suggérant une expertise médicale agréée, à moins que cette expertise ne soit réellement impliquée.
Décrire les résultats comme étant « de niveau médecin » ou « guidés par un clinicien » sans fondement factuel peut constituer une violation. Même de petits indices susceptibles d'induire les utilisateurs en erreur peuvent être considérés comme des violations, l'application de la loi s'étendant aux commissions des licences professionnelles. Pour les équipes qui développent une IA destinée aux patients ou à la santé, cela crée un défi d'ingénierie familier : développer une technologie qui franchit la frontière entre être informatif et utile et faire autorité. Et maintenant, sous AB 489, cette ligne compte.
SB 243 : Quand un Chatbot devient compagnon
Le SB 243, signé en octobre 2025, cible ce que les législateurs appellent « l'IA compagnon », ou des systèmes conçus pour impliquer les utilisateurs au fil du temps plutôt que de répondre à une seule question transactionnelle. Ces systèmes peuvent sembler persistants, réactifs et en phase avec les émotions. Au fil du temps, les utilisateurs peuvent cesser de les percevoir comme des outils et commencer à les traiter comme une présence. C’est précisément le risque que le SB 243 tente de gérer.
La loi établit trois attentes fondamentales.
Premièrement, la divulgation de l’IA doit être continue et non cosmétique. Si une personne raisonnable peut croire qu’elle interagit avec un humain, le système doit clairement révéler qu’il s’agit d’une IA, non pas une seule fois, mais à plusieurs reprises au cours de conversations plus longues. Pour les mineurs, la loi va plus loin, exigeant des rappels fréquents et une incitation aux pauses, visant explicitement à interrompre l'immersion avant qu'elle ne se transforme en dépendance.
Deuxièmement, la loi suppose que certaines conversations deviendront sérieuses. Lorsque les utilisateurs expriment des pensées suicidaires ou des intentions d’automutilation, les systèmes sont censés reconnaître ce changement et intervenir. Cela signifie mettre fin aux modèles de conversation nuisibles, déclencher des réponses prédéfinies et diriger les utilisateurs vers une assistance en cas de crise réelle. Ces protocoles doivent être documentés, mis en œuvre dans la pratique et rapportés au moyen des informations requises.
Troisièmement, la responsabilité ne s’arrête pas au lancement. À partir de 2027, les opérateurs devront signaler la fréquence à laquelle ces mesures de protection sont déclenchées et leur fonctionnement dans la pratique. Le SB 243 introduit également un droit d'action privé, augmentant considérablement les enjeux pour les systèmes qui échouent sous la pression.
Le message de cette gouvernance est clair : les bonnes intentions ne suffisent pas si l’IA dit la mauvaise chose au mauvais moment.
Technologie de la santé
