Le comportement dangereux rencontré par l’AMCI incluait le fait de griller un feu rouge et de traverser la voie en sens inverse sur une route sinueuse alors qu’une autre voiture se dirigeait vers la Tesla. Pire encore, le comportement du FSD s’est avéré imprévisible, peut-être une conséquence de la dépendance de Tesla à la boîte noire probabiliste qu’est l’apprentissage automatique ?
« Qu’il s’agisse d’un manque de puissance de calcul, d’un problème de mise en mémoire tampon lorsque la voiture prend du retard dans les calculs ou d’un petit détail d’évaluation environnante, il est impossible de le savoir. Ces échecs sont les plus insidieux. Mais il existe également des échecs continus dus à une simple inadéquation de la programmation, comme le fait de ne commencer les changements de voie vers une sortie d’autoroute qu’à peine un dixième de mile avant la sortie elle-même, ce qui handicape le système et jette le doute sur la qualité globale de sa programmation de base », a déclaré Mangiamele.
Ces défauts du pilote automatique et du FSD ont été bien documentés, les propriétaires signalant que leurs Teslas n’ont pas reconnu tout, des passages à niveau à voitures de police garées. Dans certains cas, les problèmes du FSD lorsqu’il s’agit de reconnaître les obstacles et les dangers sur la route ont conduit à des accidents.
