Biais d'automatisation
Le biais d'automatisation est la tendance à privilégier les suggestions d'un système automatisé et à négliger les informations contraires, même lorsqu'elles sont justes.
Le biais d'automatisation est la tendance à privilégier les suggestions d'un système automatisé et à négliger les informations contraires, même lorsqu'elles sont justes. Il préoccupe là où l'automatisation sert justement à réduire l'erreur humaine : soins intensifs, centrales nucléaires, cockpits d'avion.
Il prend deux formes : suivre aveuglément une directive erronée de la machine (erreur de commission), ou ne pas remarquer un problème que le système n'a pas signalé (erreur d'omission). Plusieurs facteurs y contribuent : notre penchant à économiser l'effort mental, celui de l'avare cognitif, la conviction que la machine analyse mieux que nous, et le relâchement de l'effort quand on partage la tâche avec elle.
Experts comme novices y sont sujets, et une simple formation l'atténue mal. On le rencontre du pilote automatique au correcteur orthographique dont on accepte les suggestions sans vérifier. L'essor de l'intelligence artificielle pose la même question : quelle confiance accorder à des réponses produites par une machine ?