риски с которыми уже сталкивается или столкнется человечество при внедрении в жизнь новых технологий
Чем опасно внедрение технологий с искусственным интеллектом
Долги «выбивал робот»
Недавно в Екатеринбурге долги из клиента «выбивал» робот-коллектор (об этом «РГ» писала на прошлой неделе). Причем, мужчина и не догадывался, что больше месяца разговаривал с искусственной интеллектуальной системой, настолько изобретательно были выстроены диалоги. Робот представился руководителем коллекторского агентства, назвав женское имя, фамилию и отчество, и приятным голосом отвечал на все вопросы, задавал уточняющие, и «настоятельно рекомендовал клиенту погасить долги».
При этом общеизвестно, что роботы сегодня могут разговаривать голосом любого из нас.
Почти по Оруэллу
Искусственный разум направил в пике
При этом известно, что даже малейшие просчеты в проектировании интеллектуальных систем могут приводить к катастрофическим последствиям уже сегодня.
Так, выяснилось, что из-за ошибочных показаний датчика и системы контроля полета самолеты Boeing-737 MAX могут сами неожиданно уходить в пике. Получив неверные вводные об обтекании крыла потоком воздуха, самолеты автоматически опускают нос вниз. Этот факт честно признали в компании после того, как Boeing-737 MAX-8 индонезийской авиакомпании Lion Air потерпел крушение в октябре 2018 года над морем у западного побережья острова Ява. На борту находились 189 человек, все погибли.
В Аризоне беспилотное авто от Uber сбило женщину, переходившую улицу в неположенном месте. В кресле водителя находился пилот-человек, но он не успел остановить машину. Эта авария стала первым смертельным ДТП с участием автомобиля, имеющего третий уровень автономности. Оказалось, лазерные радары машины распознали пешехода за целых 5,6 секунды до аварии. Но алгоритм решил не снижать скорость и начал экстренное торможение только за 0,2 секунды до столкновения.
Как переиграть роботов?
Впрочем, эта тема остается сегодня остро дискуссионной: и ученые, и разработчики, вероятно, не скоро придут к единому решению. Вот лишь несколько показательных мнений.
Валерий Карпов, вице-президент Российской ассоциации искусственного интеллекта, начальник лаборатории робототехники НИЦ «Курчатовский институт»:
Олег Кузнецов, председатель научного совета Российской ассоциации искусственного интеллекта, профессор ИПУ РАН:
— Третьей стороной, выступающей между философом и разработчиком, является законодатель. Проблема ответственности решается в правовом режиме. Кто-то должен подать иск об ущербе, и иск подается не разработчику. Ведь пользователь не знает, кто разработчик, и не обязан это знать, а предъявляет претензии тому, кто его обслуживает. При этом интеллектуальная система никогда не будет сама ответственна, в случае ошибки всегда будет виноват тот или иной конкретный человек.
Павел Готовцев, координатор российской Рабочей группы по этике искусственного интеллекта, заместитель начальника отдела биотехнологий и биоэнергетики НИЦ «Курчатовский институт»:
— Как и в любой ситуации, нельзя четко провести границу и сказать: «Всегда виноват пользователь или всегда виноват разработчик». Здесь этого не получится по многим причинам, как в любой другой технической системе. Например, при аварии самолета происходит разбирательство, кто виноват ― производитель, авиакомпания, пилот. И здесь нужна такая же граница. В принципе, когда возникает какая-то сложная, технически обусловленная ситуация, естественно, собирают технических специалистов, анализируют, проводят в сертифицированных центрах исследования, анализ. Аналогично должно быть и с системами искусственного интеллекта.
Роман Душкин, директор по науке и технологиям Агентства искусственного интеллекта:
Андрей Незнамов, исполнительный директор ПАО «Сбербанк»; основатель проекта «Робоправо», старший научный сотрудник Института государства и права РАН:
— У термина «искусственный интеллект» нет единого определения; поэтому достаточно сложно говорить о единых правилах применения искусственного интеллекта во всех сферах. Соответственно, вопрос ответственности также нельзя решить однозначно. На сегодняшний день универсальным можно назвать только одно правило: ответственность несет человек.
— Сейчас во всем мире разворачивается дискуссия о социальных аспектах и последствиях использования искусственного интеллекта, это очень важная тема. Предлагаю профессиональному сообществу, компаниям подумать над формированием свода этических правил взаимодействия человека с искусственным интеллектом.
Искусственный разум убивает
Даже малейшие просчеты в проектировании интеллектуальных систем могут приводить к катастрофическим последствиям уже сегодня. Так, выяснилось, что из-за ошибочных показаний датчика и системы контроля полета самолеты Boeing 737 MAX могут сами неожиданно уходить в пике. Получив неверные вводные об обтекании крыла потоком воздуха, самолеты автоматически опускают нос вниз. Этот факт честно признали в компании после того, как Boeing 737 MAX 8 индонезийской авиакомпании Lion Air потерпел крушение в октябре 2018 года над морем у западного побережья острова Ява. На борту находились 189 человек, все погибли.
Это расширенная версия текста, опубликованного в номере «РГ»
«Он может попасть не в те руки, как и обычное оружие» Искусственный интеллект уже помогает людям, но законы его не контролируют. Чем это опасно?
В 2020 году многим стало очевидно, что грань между реальностью и виртуальностью практически перестала существовать: это показал карантин, во время которого миллионы людей жили полноценной жизнью, практически не выходя из дома. Однако исследователи уже убедились, что технологии несут не только благо. Оказавшись в неправильных руках, они могут превратиться в полную противоположность того, для чего они были задуманы. Как избежать угроз, которые несет развитие технологий, — в материале «Ленты.ру».
«Постбиотическая жизнь»
«Рассуждая об искусственном интеллекте и искусственном сознании, многие полагают, что существует всего два класса систем обработки информации: искусственные и естественные. Это не так», — писал немецкий философ Томас Метцингер. В пример систем, которые не принадлежат ни к одной из этих категорий, он приводил гибридных биороботов или разработку британских ученых из Редингского университета: они научились управлять роботом, используя сеть из трехсот тысяч крысиных нервных клеток. Такие системы Метцингер предлагает называть постбиотической жизнью.
Пока мы не стали существенно счастливее, чем были наши предки, лучше не пытаться перенести нашу психическую структуру на искусственные носители
Философ, однако, сомневается в том, что человеку удастся «пересоздать» себя на небиологическом носителе. Искусственное сознание — это в первую очередь техническая проблема, и никто не может гарантировать, что ее удастся решить. С другой стороны, это проблема этическая. «Пока мы не стали существенно счастливее, чем были наши предки, лучше не пытаться перенести нашу психическую структуру на искусственные носители», — предостерегал Метцингер.
Услышав словосочетание «искусственный интеллект», многие представляют разумных человекоподобных роботов и прочую постбиотическую жизнь, способную осознавать себя. На самом же деле искусственный интеллект — это система, которая способна анализировать данные и обучаться на их основе.
Искусственный интеллект действительно способен выполнять те задачи, которые раньше были доступны только людям, — например, давать рекомендации, какой сериал посмотреть, переводить тексты или играть в шахматы.
Технология — это не замена человека, а его помощник, призванный делать жизнь лучше. Например, искусственный интеллект активно используют в медицине: исследователи создают нейросети, способные предсказывать серьезные заболевания, прогнозировать риски и искать новые лекарства. ИИ также применяют при диагностике, однако опасаться, что машина будет неправильно лечить человека, не стоит: решения принимает врач, а не компьютер. При создании таких технологий много внимания уделяется этическому аспекту. При проектировании ученые всегда ориентируются на то, что технологии существуют для людей, а не наоборот.
Не менее важным для будущего искусственного интеллекта является правовой аспект. Принципы, которым должны следовать ученые при развитии этой технологии, были сформулированы в 2017 году на конференции в американском городе Азиломар. Под ними подписались более 3,5 тысячи ученых, в том числе Стивен Хокинг. Свои подписи поставили и представители Google, Apple, Facebook, IBM, Microsoft и Илон Маск. Первым азиломарским принципом стало то, что цель исследований в области интеллектуальных систем должна заключаться в создании не «бесцельного разума», а систем, способных принести человеку пользу.
Материалы по теме
Терминатор или сверхсущество
«Риски слишком высоки»
Исследователи также согласились с тем, что между разработчиками искусственного интеллекта и правительством необходим диалог. Как модифицировать правовую систему, чтобы учесть все правовые риски, связанные с использованием интеллектуальных систем — этот вопрос пока остался открытым. Однако то, что он поднимался, говорит о назревшей необходимости менять законодательства разных стран с учетом того, как технологии изменили и продолжают менять мир.
Особенно очевидно это стало во время пандемии коронавируса, когда многие страны ввели строгие карантинные меры. Огромное количество людей стало работать и учиться прямо из дома — можно сказать, что грань между реальностью и виртуальностью стерлась окончательно. Тогда же стало ясно, что нормы закона и этики не могут быть разными для онлайна и офлайна — разделить эти две части жизни сегодня невозможно.
Страх перед искусственным интеллектом
О технологии искусственного интеллекта знают около 75 процентов россиян, однако лишь 29 процентов из них понимают ее суть — об этом свидетельствуют данные опроса ВЦИОМ, проведенного в конце 2019 года.
Большинство респондентов отметили, что относятся к внедрению этой технологии положительно или нейтрально. Более половины участников исследований согласились использовать ИИ для получения госуслуг, для решения различных бытовых задач, а также в медицине, образовании и сфере досуга.
Негативно к распространению искусственного интеллекта относится 12 процентов опрошенных. Директор по работе с органами государственной власти ВЦИОМ Кирилл Родин подчеркнул, что с каждым годом их число снижается.
Страх перед ИИ обусловлен опасениями, связанными с утечкой персональных данных, нарушением личного пространства и техническими сбоями. Кроме того, участников опроса заботило то, что предсказать последствия развития технологий пока невозможно.
«С одной стороны — признают неизбежность и необходимость развития искусственного интеллекта как обеспечивающего стратегическое преимущество в технологической революции. С другой — читается настороженность, во многом продиктованная непониманием, как конкретно внедрение технологии повлияет на повседневную жизнь», — прокомментировал результаты опроса Родин.
Технологии во благо
Мы должны учиться использовать новые технологии во благо человечеству, найти правильный баланс между стимулами к развитию искусственного интеллекта и оправданными ограничительными мерами, совместными усилиями прийти к согласию в сфере регулирования, которое исключило бы потенциальные угрозы, причем с точки зрения не только военной, технологической безопасности, но и традиций, права, морали человеческого общения
По его мнению, многие люди опасаются, что технологии поставят под угрозу базовые человеческие права: право на частную жизнь, собственность и безопасность. «Мы должны учиться использовать новые технологии во благо человечеству, найти правильный баланс между стимулами к развитию искусственного интеллекта и оправданными ограничительными мерами, совместными усилиями прийти к согласию в сфере регулирования, которое исключило бы потенциальные угрозы, причем с точки зрения не только военной, технологической безопасности, но и традиций, права, морали человеческого общения», — констатировал президент России.
Первый заместитель председателя комитета Совета Федерации по конституционному законодательству и государственному строительству, член Совета по развитию цифровой экономики при Совете Федерации Ирина Рукавишникова отметила, что угрозы, исходящие от цифрового мира, разнообразны по формам, адресатам и степени опасности. «Одни злоумышленники с помощью вирусов, фальшивых подписных страниц или сайтов и многих других методов стремятся завладеть персональными данными граждан для хищения их денежных средств. Другие — более изощренные — стремятся дестабилизировать работу предприятий и организаций, отраслей и систем жизнеобеспечения, массово ввести население в заблуждение и посеять панику с помощью фейковых новостей», — уточнила Рукавишникова в разговоре с «Лентой.ру».
По ее мнению, противостоять этому можно как минимум на четырех уровнях. «Первый — законодательство. Оно должно оперативно реагировать на все новые возможности и риски, которые несет с собою цифровое пространство. Второй — поддержка и совершенствование отечественных конкурентоспособных продуктов в сферах программного обеспечения, систем сбора, обработки, передачи и хранения данных», — объяснила член Совфеда.
Рукавишникова подчеркнула важность подготовки достаточного количества специалистов по вопросам кибербезопасности, включая узкоотраслевых профессионалов, специализирующихся, к примеру, на медицине или строительстве. Уже сегодня их недостаточно, а в будущем потребность будет только расти. Кроме того, она обратила внимание на повышение уровня цифровой грамотности граждан: «Ведь любое, даже самое совершенное законодательство будет бессильно перед киберугрозами, если пользователи сети будут пренебрегать элементарными требованиями безопасности».
«Далеко не все наши соотечественники внимательно следят за тем, что именно, какие сведения и куда они передают, какие согласия подписывают на автомате, к чему это может привести. Любое право, включая возможность бесплатного пользования социальными сетями, видеохостингами, поисковыми системами и так далее, налагает на гражданина и определенные обязанности, в том числе по обеспечению безопасности информации, которую человек сознательно размещает, например, в социальных сетях. Об этом россияне, к сожалению, часто забывают», — констатировала Рукавишникова.
О важности учитывать этические вопросы при создании искусственного интеллекта говорят и эксперты индустрии. По словам советника по стратегии и развитию в Common Fund for Commodities Андрея Кулешова, технология, не соответствующая этическим критериям, принятым в обществе, вероятно, столкнется с долгим и проблемным процессом внедрения, невзирая на любой позитивный потенциал. С этой точки зрения открытое и прозрачное соблюдение этических принципов всеми участниками производства и внедрения систем ИИ может здорово упростить процесс принятия технологий обществом.
«С другой стороны, инновационные технологии, такие как ИИ, часто вынуждены работать в «серой» зоне неясной ответственности за непредвиденные негативные последствия. ИИ как масштабируемая технология может столкнуться не только с неопределенной ответственностью, но и с неопределенным ее масштабом, что, конечно, не способствует уверенности при внедрении инноваций», — подчеркнул Кулешов и добавил, что соблюдение вопросов этики, по сути, необходимо как условие рационального, взаимоприемлемого баланса между интересами корпораций, ученых, разработчиков, общества, человека, государства.
Изучением того, как можно снизить существующие риски, сегодня занимаются и в Международной организации по стандартизации, в ЮНЕСКО, Совете Европы и ОБСЕ.
Общими подходами для разработчиков Кулешов назвал принципы предосторожности, информированного согласия и ненаделения искусственного интеллекта собственной субъектностью. «Этику должна соблюдать не система (железка не имеет своей этики), а люди, которые за ней стоят», — уточнил специалист. По его словам, кодифицировать общие принципы помогает опыт других профессий с этической нагрузкой — например, медицины и финансов. Он подсказывает, что ИИ должен действовать в интересах развития общества, соблюдать закон, интересы общества и граждан, действовать ответственно и добросовестно, проявлять профессионализм и компетентность, а также укреплять доверие к технологиям и рынкам.
Какие новые технологии несут в себе скрытые опасности
С развитием современных технологий киберпреступникам приходится изобретать все новые и новые методы, чтобы осуществлять хакерские атаки в постоянно меняющейся ситуации. Портал Business Insider совместно с исследователями в области информационной безопасности выделили семь технологий будущего, которые вызывают больше всего опасений.
«Газета.Ru» пообщалась с экспертами и выяснила, чего на самом деле стоит бояться.
Deepfake-фото и видео
Технология, получившая название «deepfake», подразумевает создание фейковых фото или видео, имеющих удивительное сходство с оригиналом. «Дипфейки» могут быть использованы для манипуляции общественным мнением, а также для фишинга — ведь хакер, который может притвориться кем угодно, имеет все шансы обманом заполучить секретную информацию.
Все больше сервисов используют биометрию при работе с пользователем, например, идентификацию по лицу в смартфонах или идентификацию по лицу и голосу в единой биометрической системе банковского сектора, рассказал «Газете.Ru» эксперт направления информационной безопасности ИТ-компании КРОК Александр Черныхов.
«Казалось бы, подделать изображение и голос обычного человека достаточно сложно, но это не совсем так. Биометрические данные становятся публичными, так как почти у всех есть опубликованные фотографии в социальных сетях или общее видео на YouTube с друзьями.
Такие программы, как deepfake, могут в реальном времени подменить изображение лица на любом видео или подделать голос человека. Причем для их работы достаточно всего лишь несколько аудио- и видеофайлов длиной в минуту.
Это становится платформой для деятельности мошенников», — сообщил эксперт.
Как отметила заместитель директора по разработке технологий ABBYY Татьяна Даниэлян, необходимо понимать, что ни одна технология не приносит вред человеку сама по себе. Решения и алгоритмы создают люди, и именно они определяют, в каких целях их будут использовать.
«Первые deepfakes появились меньше трех лет назад, но некоторые подобные видеофрагменты уже почти невозможно отличить от реальности — по крайней мере, когда на них смотрят не-специалисты. Как и любую другую технологию, ее можно использовать во благо и во вред. При этом создание и обучение таких нейросетей требует значительных ресурсов. Для этого нужны большие вычислительные мощности, видео- и голосовые фрагменты хорошего качества, время на доработку архитектуры нейросети и анализ ошибок.
Если цели разработчиков незаконные, достать необходимые для обучения данные им вдвойне труднее.
Именно поэтому случаи мошенничества с поддельными видео пока единичны. Крупные компании инвестируют значительные средства в разработку технологий, которые будут автоматически отличать подделки: выявлять малейшие неестественные движения лица или рук, определять склейки и изменения тона голоса, настроение человека и так далее. Общий принцип такой же, как с антивирусами: технологии развиваются очень быстро, но на каждое вредоносное ПО тут же начинают создавать «противоядие», — пояснила собеседница «Газеты.Ru».
Искусственный интеллект
Предполагается, что в будущем хакеры будут активно использовать искусственный интеллект, чтобы перехитрить системы кибербезопасности.
Как указывает директор департамента информационной безопасности компании Oberon Андрей Головин, искусственный интеллект (ИИ) уверенно развивается с целью широкого применения в IT-индустрии. Он позволяет автоматизировать и исследовать кибербезопасность «жертвы» быстрее и качественнее, чем это сделал бы сам злоумышленник.
«Одним из популярных направлений применения ИИ является имитация голоса руководителя компании, который просит перевести деньги на счет. В 2019 году произошел первый в истории случай кражи денежных средств с помощью ИИ.
Очевидно, что подобные случаи будут учащаться и хакеры будут искать все более изощренные способы использования ИИ», — считает Головин.
Квантовые компьютеры
Согласно мнению экспертов, традиционные методы криптографии станут неактуальны через 5-10 лет ввиду широкого распространения квантовых вычислений. Это представляет серьезную угрозу банковским транзакциям и цифровым валютам, таким как Bitcoin, поясняет Андрей Головин. Используя квантовый компьютер, можно будет легко вычислить приватный ключ по связанному с ним публичному ключу, что позволит злоумышленникам завладеть финансовыми активами пользователей.
«Хакеры смогут быстро проникать в защищенные сегменты вычислительных сетей и получать доступ к конфиденциальной информации.
Но не все так плохо: параллельно с развитием квантовых вычислений идет развитие квантовой криптографии, которая является устойчивой к методам подбора ключей шифрования.
Ряд цифровых валют уже используют устойчивые к квантовым вычислениям алгоритмы, а вычислительные сети с квантовым шифрование запущены в ряде стран, таких как США, Китай и Россия», — напомнил эксперт.
Интернет вещей
Интернет вещей, который является сетью цифровых устройств, имеющих доступ к сети и возможность передавать данные, уже сейчас широко используется в разных сферах жизни современного общества. Эта технология привлекает большое внимание со стороны хакеров, которые находят в ней уязвимости, позволяющие скомпрометировать всю систему.
С одной стороны, интернет вещей упрощает жизнь, но с другой — порождает новую волну угроз информационной безопасности, соглашается Александр Черныхов.
«Никого уже не удивляют новости о том, что «умный» холодильник отправляет тысячи спам-писем, а его хозяин не имеет об этом представления. И объем угроз, связанных с интернетом вещей, будет только расти. Все больше производителей выходит на этот рынок, каждый использует собственные стандарты и протоколы безопасности, которые еще не верифицированы экспертами и могут содержать в себе десятки уязвимостей», — считает эксперт.
При этом защититься от таких ситуаций самостоятельно достаточно трудно — необходимо привлекать высококвалифицированных специалистов, способных построить мощную систему защиты и разработать соответствующие процедуры и инструкции по использованию таких технологий, обращает внимание Черныхов.
По словам ведущего аналитика Infosecurity a Softline company Александра Вураско, злоумышленники пользуются тем, что люди в большинстве своем не вникают в суть того, как работает та или иная технология, впрочем, детальное понимание этих процессов рядовому пользователю и не требуется. В то же время следует уделять должное внимание вопросам безопасности, например, изучать инструкцию или описание сервиса, устанавливать сложные пароли, в том числе и для доступа к различным «умным» вещам.
Все, что сейчас происходит вокруг нас, так или иначе связано с цифровым миром. В будущем еще больше устройств будет подключено к интернету. Количество и скорость информации растет по экспоненте, и скоро нас ждет 5G, говорит «Газете.Ru» технический директор Check Point Software Technologies в России и СНГ Никита Дуров.
«Это стократное ускорение скорости передачи данных. Все наши системы, которые сейчас имеют задержки, смогут общаться между собой практически с неограниченной скоростью. Главный вопрос: как выживать в таких скоростях, как охранять свои данные?
Это действительно актуальная проблема, которая затронет всех пользователей сети.
Всемирный экономический форум поставил киберриски в топ-5 актуальных угроз человечеству в ближайшее время. Для киберпреступников развитие технологий — это такие же новые возможности, но только для мошенничества. И наряду с разработкой новых решений разрабатываются новые технологии защиты, например, защита облачных инфраструктур, которая, в том числе, защищает и «умные» устройства», — описывает проблему Дуров.
Однако, по мнению архитектора бизнес-решений VMware Артема Гениева, некорректно говорить о том, что именно с появлением 5G у хакеров станет больше возможностей для киберпреступлений, так как появление технологии не связано с этим напрямую.
«Распространение сетей 5G приведет к появлению все большего количества сервисов — начиная с проектов безопасного и «умного» города и заканчивая новыми подходами в здравоохранении. Их, как и любые другие сервисы, нужно обеспечивать высоким уровнем безопасности — потому что все, что подключено к сети, потенциально можно взломать, используя уязвимость. И не важно, 4G это или 5G», — заключает эксперт.
Технологии на аутсорсе
По мере того как компании передают высокотехнологичные функции на аутсорс, количество хакерских атак возрастает. В современном мире большая часть сложных и высокотехнологичных продуктов появляются в результате коллаборации целого ряда предприятий. Это утверждение справедливо как для аппаратных, так и для программных средств, рассказывает «Газете.Ru» Александр Вураско.
«Так, многие программные продукты используют библиотеки, написанные сторонними разработчиками, а электронные сервисы «привязаны» к дата-центрам, осуществляющим хранение и обработку информации.
Таким образом, безопасность организации и ее конечного продукта в значительной степени зависит в том числе и от безопасности компонентов, предоставляемых компаниями-партнерами, а также каналов связи между участниками глобальных бизнес-процессов», — отмечает собеседник издания.
Этот фактор нужно непременно учитывать при построении системы обеспечения информационной безопасности и контроля качества продукции.
Онлайн-операции
Государства и компании стараются максимально использовать возможности интернета, постепенно перенося все возможные операции в онлайн. Разумеется, у удобства есть своя цена, поэтому все, что попадает в сеть, может стать потенциальной целью для хакеров, включая важные платежные документы и банковские реквизиты.
Кроме того, чем больше устройств в компании подключено к интернету, тем больше возможностей у злоумышленника обнаружить уязвимость и проникнуть в корпоративную сеть: одно уязвимое устройство может стать точкой входа.
Увеличение количества операций, проводимых через интернет, вероятно, приведет к тому, что компании будут хранить больше данных в сети, указывает старший инженер-программист в Avast Войтех Бочек. Это может сделать организации привлекательными целями, с одной стороны, для хакеров, которые хотят получить максимальную прибыль, и, с другой стороны, для стран, которые планируют шпионские атаки.