11 anciens employés d’OpenAI et deux anciens employés de Google DeepMind et Anthropic ont appelé aux entreprises à soutenir « une culture de critique ouverte
Les employés des principales sociétés d’IA tirent la sonnette d’alarme concernant les « risques sérieux » posés par l’évolution à la vitesse de la lumière de l’intelligence artificielle. lettre publiée aujourd’hui, quelque 13 anciens et actuels employés d’OpenAI, GoogleDeepMind et Anthropic — 11 du groupe étaient ou sont affiliés avec OpenAI —a averti que les entreprises de technologie d’IA manquent de surveillance et de transparence.
Ils ont appelé les entreprises qui développent des technologies d’intelligence artificielle de pointe à renforcer la protection des lanceurs d’alerte et à créer des cultures qui encouragent la critique. Leur lettre a été approuvée par les soi-disant « parrains » de l’IA — Yoshua Bengio et Geoffrey Hinton — ainsi que l’informaticien Stuart Russell, qui ont tous contribué à la recherche instrumentale qui a conduit à la création de l’IA moderne, puis est devenu l’un de ses plus grands critiques.
Nous sommes actuels et anciens employés d’entreprises à la frontière de l’IA, et nous croyons au potentiel de la technologie de l’IA à apporter des avantages sans précédent à l’humanité. .
Nous comprenons également les risques sérieux posés par ces technologies. Ces risques vont de l’aggravation des inégalités existantes à la manipulation et à la désinformation, à la perte de contrôle des systèmes d’IA autonomes, pouvant potentiellement entraîner l’extinction de l’humanité. Les sociétés d’IA elles-mêmes ont reconnu ces risques, tout comme les gouvernements. à travers le monde et d’autres experts en IA.
Nous espérons que ces risques pourront être atténués de manière adéquate grâce à des conseils suffisants de la part de la communauté scientifique, des décideurs politiques et du public. Cependant, l’IA les entreprises sont fortement incitées financièrement à éviter une surveillance efficace, et nous ne pensons pas que des structures sur mesure de gouvernance d’entreprise soient suffisantes pour changer cette situation.
Les sociétés d’IA possèdent des informations non publiques substantielles sur les capacités et les limites de leurs systèmes, l’adéquation de leurs mesures de protection et les risques. niveaux de différents types de préjudices. Cependant, ils n’ont actuellement que de faibles obligations de partager certaines de ces informations avec les gouvernements, et aucune avec la société civile. Nous ne pensons pas qu’on puisse compter sur eux pour le partager volontairement.
Actuellement, il existe pas de règlement fédéral régissant l’IA.
Tant qu’il n’y a pas de contrôle gouvernemental efficace sur ces sociétés, les employés actuels et anciens font partie des rares personnes qui peuvent les détenir. responsables au public. Pourtant, de larges accords de confidentialité nous empêchent d’exprimer nos préoccupations, sauf aux entreprises mêmes qui pourraient ne pas respecter aborder ces problèmes.
Les employés d’OpenAI sont lié par des accords de confidentialité stricts. et ceux qui choisissent de ne signer ces accords perdent leurs actions dans OpenAI. Daniel Kokotajlo est l’un des sept auteurs du lettre qui ont signé leurs noms plutôt que d’opter pour l’anonymat. Kokotajlo est un chercheur qui a quitté OpenAI le mois dernier “en raison de la perte de confiance dans le fait qu’elle se comporterait de manière responsable à l’époque de l’AGI [acronyme d’une forme plus avancée d’intelligence artificielle”. appelée « intelligence générale artificielle] ».
Kokotajlo a révélé dans un article sur son site site le mois dernier qu’il s’était retiré de l’accord de confidentialité, perdant ses capitaux propres, afin de pouvoir critiquer ouvertement l’entreprise.
Les protections ordinaires des lanceurs d’alerte sont insuffisantes car elles se concentrent sur les activités illégales, alors que bon nombre des risques qui nous préoccupent ne sont pas encore réglementés. Certains d’entre nous craignent raisonnablement diverses formes de représailles, compte tenu de l’histoire de tels cas dans le secteur. Nous ne sommes pas les premiers à rencontrer ou parler de ces problématiques.
Nous appelons donc les entreprises d’IA avancées à s’engager sur ces principes :
Que la société ne scrira pas ni appliquera tout accord qui interdit le « dénigrement »ou la critique de l’entreprise pour des préoccupations liées au risque , ni de reprendre des critiques liées au risque en entravant tout avantage économique acquis ;
Que l’entreprise facilite un processus anonyme vérifiable pour les employés actuels et anciens de soumettre des préoccupations liées aux risques au conseil d’administration de l’entreprise, aux organismes de réglementation et à une organisation indépendante appropriée avec des informations pertinentes expertise ;
Que l’entreprise soutenira une culture de critique ouverte et permettre à ses employés actuels et anciens de faire part de leurs préoccupations liées aux risques concernant ses technologies au public, au conseil d’administration de l’entreprise et aux régulateurs. , ou à une organisation indépendante appropriée disposant d’une expertise pertinente, à condition que les secrets commerciaux et les autres intérêts de propriété intellectuelle sont protégés de manière appropriée ;
Que l’entreprise n’exercera pas de présailles contre les employés actuels et anciens qui partagent publiquement des informations confidentielles liées aux risques après l’échec d’autres processus. Nous acceptons que tout effort visant à signaler des préoccupations liées aux risques devrait éviter de divulguer des informations confidentielles inutilement. Par conséquent, une fois qu’un processus adéquat pour soulever de manière anonyme des préoccupations au conseil d’administration de l’entreprise, aux organismes de réglementation et à une organisation indépendante appropriée avec une expertise pertinente existe, nous acceptons que les préoccupations doivent être initialement, par un ce processus . Cependant, tant qu’un tel processus n’existe pas, les employés actuels et anciens devraient conserver leur liberté faire part de leurs préoccupations au public.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
