D'ici 2026, les agents d'IA dotés de capacités de raisonnement autonome et d'exécution de tâches seront largement déployés dans les entreprises, ce qui suscite des préoccupations concernant leur imprévisibilité et leurs risques commerciaux. Sam Gloede, responsable de l'IA de confiance chez KPMG, souligne la nécessité de mesures de contrôle solides, de limites opérationnelles claires et d'une surveillance continue pour empêcher les agents de « devenir incontrôlables ». KPMG emploie des identifiants d'agent uniques, des fiches système et un centre opérationnel d'IA pour la gouvernance, complétés par des exercices de simulation d'équipes rouges. Bien que la surveillance humaine et les commutateurs d'arrêt d'urgence restent essentiels, particulièrement pour les tâches à haut risque, une approche multifacette combinant des protections technologiques et la gouvernance est considérée comme clé pour maintenir le contrôle, comme l'ont démontré les récents incidents impliquant des erreurs d'IA et des failles de sécurité chez Amazon et McKinsey.