Искусственный интеллект начал убивать на дорогах. Что произошло, кто виноват и стоит ли теперь бояться ИИ на колесах

Что произошло?

Поздним вечером 18 марта женщина переходила дорогу вместе со своим велосипедом. Ехавший по той же улице автомобиль Uber, оснащенный лидаром (лазерный аналог радара) и иным оборудованием для беспилотного вождения, сбил женщину, после чего ее доставили в больницу, где она умерла. Находившийся в машине инженер Uber не успел вовремя вмешаться, перехватить управление и предотвратить трагедию. По всей видимости, он так же не успел заметить пешехода. Двигался в этот момент автомобиль на скорости 64 км/ч.

Убить пешехода из-за плохой видимости машина не могла: хотя было еще темно, но для лидара это незначимый фактор. В теории на его способность «видеть» мог негативно повлиять дождь или плотный туман, отражающий и рассеивающий лазерные лучи, но в то время в Темпе не наблюдалось ни того ни другого.

Глава полиции Темпе Сильвия Мойр (Sylvia Moir) в интервью San Francisco Chronicle заявила, что скорее всего в случившемся виновна сама велосипедистка. По словам Мойр, та нагрузила на велосипед пластиковые сумки и переходила в стороне от обозначенного пешеходного перехода. Кроме того, она ступила на дорогу с островка безопасности между полосами движения внезапно, прямо перед проезжающей машиной, то есть отреагировать в таких обстоятельствах даже водителю-человеку было бы практически невозможно.

Чтобы полностью понять значение инцидента, стоит напомнить два факта. Во-первых, до сих пор в ДТП со смертельным исходом беспилотники не участвовали ни разу. Во-вторых, беспилотная программа Uber уже подвергалась сильнейшей критике в связи с нарушениями ее автопилотом правил дорожного движения (езды на красный в присутствии пешеходов и так далее).

Случай с Tesla

В 2016 году автомобиль Tesla Model S попал в ДТП, которое в российских СМИ и вообще в русскоязычном сегменте интернета неверно расценили как первое событие с летальным исходом по вине автопилота. Однако на самом деле это не так. Tesla Model S, согласно руководству водителя, на данном этапе предлагает только продвинутую систему круиз-контроля, при пользовании которой водитель должен быть всегда готов перехватить управление и держать руки на руле. Машина погибшего в 2016 году водителя подавала ему звуковые сигналы о том, что он убрал руки с руля, однако тот не реагировал и продолжал смотреть «Гарри Поттера».

Tesla Model S действительно не распознала белый грузовик на фоне неба, отчего машина проехала под ним, убив водителя. Однако даже представители американских властей (NHTSA), обычно скорые на расправу, не смогли утверждать, что в ДТП виноват автомобиль — однозначное указание в руководстве водителя и отсутствие у Tesla рекламы, эксплуатирующей слово «автопилот» (впрочем, у данной компании вообще пока не было коммерческой рекламы), делало такое заявление невозможным.

Дополнительным фактором, не давшим применить санкции к Tesla, была переданная ее менеджерами властям статистика по логам езды в режиме продвинутого круиз-контроля. Оказалось, что к октябрю 2016 года в таком режиме машины Tesla проехали уже 357 миллионов километров, и это летальное ДТП было первым.

Дело в том, что в среднем в США на 357 миллионов километров пробега легкового автомобиля приходится 2,3 смерти, а, например, в России — около семи. Более того, расследование властей показало, что после внедрения на Tesla Model S такого продвинутого круиз-контроля общее число серьезных аварий на километр пробега упало для этих машин на 40 процентов. Под серьезной аварией доклад NHTSA имел в виду такую, при которой от удара раскрываются подушки безопасности. То есть получалось, что даже до развертывания полноценного автопилота уже внедренный «частичный автопилот» резко повысил безопасность водителей.

Странная трактовка происшествия в российских СМИ («первая смерть на счету беспилотного авто») была вызвана слабым знакомством с темой отечественных автомобильных журналистов. Они буквально перевели слово Autopilot (коммерческое наименование продвинутого круиз-контроля Tesla) как «автопилот». Ни в доступное в сети руководство для владельцев электромобилей, ни на сайт компании, описывающей сущность этого «автопилота», никто не заглянул. Также прошел мимо внимания российской прессы и тот факт, что сама Tesla неоднократно отмечала: действительно, беспилотный режим будет доступен на ее машинах лишь после соответствующего программного апдейта, о котором будет сообщено дополнительно (сейчас он планируется на 2018—2019 годы).

Uber über alles?

Программа развертывания беспилотников Uber с самого начала резко отличалась от всех остальных. Например, она была не похожа на Tesla тем, что позиционировала свои машины как беспилотные такси.

Проблемы начались с того, что компания очень поздно — на три-четыре года позже конкурентов, что для этого сектора просто целая эпоха, — пришла на рынок беспилотников. Поэтому Uber сильно технологически отставал от лидеров гонки Waymo (принадлежит Google) и Tesla. Чтобы как-то догнать их, Uber пошел на шаги, не совсем законные с точки зрения американского права. Компания купила стартап Otto, созданный бывшими сотрудниками Google, ушедшими из компании с целью создать свой беспилотник. Waymo ожидаемо подало в суд, обвинив Uber в банальном воровстве технологий. Последний даже не стал судиться — тут же пошел на мировую и отдал Waymo 244 миллионов долларов в качестве компенсации.

Но желание любой ценой догнать уходящий вперед поезд прогресса не оставляло Uber. Компания начала тестировать свои беспилотники на дорогах Калифорнии. Один из них почти тут же попал на камеру едущим на красный свет, причем рядом с пешеходом, переходившим дорогу по всем правилам. Uber попытался спасти лицо, заявив, что в этот момент управление беспилотником перехватил ее инженер и что сама машина «не виновата». Правда, другие источники тут же недвусмысленно указали, что это неправда и разработчики просто выгораживают свое пока еще сырое детище.

Власти Калифорнии немного устали от подобной ситуации — с машинами Waymo у них таких проблем не было, те на красный свет не ездили. Поэтому получить разрешение на испытания своих беспилотников на дорогах общего пользования в данном штате Uber стало затруднительно, и компания перенесла свои испытания в Аризону. Там и случилась первая смерть с участием ее автопилота. Теперь компания вовсе приостановила программу испытаний.

Когда беспилотные автомобили действительно начнут массово убивать людей?

В целом беспилотные машины пока трудно назвать опасными: как ни считай, они убивают намного меньше людей на километр пробега, чем средний водитель-человек. Достаточно напомнить, что автомобили Waymo, например, проехали три миллиона километров в беспилотном режиме уже к 2016 году — и не имели ни одного ДТП со смертельным исходом. Данные по частичному «автопилоту» Tesla мы приводили выше — они еще более впечатляющие. Другое дело, что автопилот автопилоту рознь, и у Uber статистика смертельных ДТП близка к начинающим водителям-людям, то есть радикально хуже.

Однако в самом ближайшем будущем ситуация с числом жертв беспилотников начнет меняться. В 2018—2019 годах Tesla планирует проапгрейдить программное обеспечение на всех своих машинах, которых уже сейчас больше 200 000, а к тому времени будет уже больше 300 000. Апгрейд позволит полностью использовать возможности уже установленного на машинах оборудования для беспилотного вождения. Массовое внедрение, несомненно, будет сопровождаться ошибками, пусть и более редкими, чем у людей. В этот момент летальные ДТП по вине беспилотников будут случаться все чаще и чаще, просто потому, что парк Tesla растет очень быстро. И такая печальная статистика просто неизбежна.

Тот самый часто задаваемый вопрос

Самый частый вопрос в связи с гибелью человека от рук роботов — кто виноват? От ответа зависит и то, кто будет платить по страховке, разоряться в суде и многое другое. С данным конкретным случаем все, кажется, ясно: виновным, скорее всего, определят пешехода. Однако очевидно, что рано или поздно будет и такое событие, в котором причиной гибели будет ошибка беспилотного авто. С юридической точки зрения виновником в этом случае будет производитель оборудования, но только если он не оговорил отказ от ответственности так же, как это делает, например, операционная система Windows.

Если из-за «синего экрана» компьютера под ее управлением отключится свет в больнице и хирург не сможет спасти пациента, то в силу принятия пользовательского соглашения при установке системы Microsoft ответственности не несет. Отраслевые наблюдатели уже давно ожидают подобных превентивных мер юридической защиты от тех, кто создает автопилоты. Вероятно, мы увидим такие соглашения уже в ближайшие пару лет.

Ну, а если обратиться не к праву, а к совести, то конечно же в сложном программном продукте с миллионами строк кода ошибки неизбежны. Конечно же, в ошибках на самом деле — по совести — виноваты программисты компаний-разработчиков автопилотов. Но вот обвинять их всерьез, по той же совести, будет трудновато. Как бы плохо ни работали программисты, мы, водители, судя по статистике, водим все равно хуже.

Александр Березин

Источник Источник http://tass.ru/tech/6820436