На пленарном заседании «ИИ: Применение,
перспективы и вызовы» директор Института системного программирования им. В.П.
Иванникова РАН академик Арутюн Аветисян рассказал об обеспечении доверия и
безопасности искусственного интеллекта, особенно при использовании в
критической информационной инфраструктуре. Выступление математика прошло 22
сентября в Университете «Сириус», в ходе первого дня работы форума
«Микроэлектроника 2025».
Говоря о вызовах безопасности, Арутюн Аветисян
привёл примеры уязвимостей: от взлома систем распознавания лиц до аварий с
автономными автомобилями и психологического воздействия ИИ на людей. «По
данным ВОЗ, каждый восьмой из нас психологически нестабилен. Говорят, уже
тысячами исчисляются случаи, когда большие модели приводят к самоубийству»,
— констатировал он. Особую опасность, по его словам, представляют сложные
мошеннические схемы с использованием дипфейков, которые подрывают доверие к
цифровой информации.
При этом угрозы в ИИ носят принципиально новый,
комплексный характер, сочетая кибербезопасность и социо-гуманитарный
аспект. «В отличие от традиционного IT, искусственный интеллект имеет
два измерения — это кибербезопасность традиционная, конечно же, и вторая —
социо-гуманитарная. И вот это уже новый вызов, с которым мы должны иметь дело»,
— подчеркнул он.
Исключить возможность подмены информации возможно
путём формирования инфраструктуры доверенных баз данных. Даже незначительное
искажение данных (менее 1 %) может привести к «отравлению» информации и, как
следствие, к обучению системы на некорректных данных, которые потенциально
позволят взломать всю систему.
Разработкой безопасных, этичных и надёжных
технологий искусственного интеллекта в России занимается Консорциум
исследований безопасности технологий искусственного интеллекта, основанный
Институтом системного программирования РАН, АНО «Национальный технологический
центр цифровой криптографии» и Академией криптографии Российской Федерации. По
словам академика, инструменты уже нашли десятки уязвимостей в популярных
фреймворках. Кроме того, планируется скорый выход первого отечественного
стандарта по безопасной разработке для машинного обучения.
Вопрос безопасности данных потенциально снимает
федеративное обучение — метод машинного обучения, при котором модель обучается
на данных, хранящихся на множестве децентрализованных устройств без
необходимости собирать эти данные в одном месте. Федеративное обучение особенно
актуально для критических инфраструктур, которым необходимы данные для
машинного обучения.
«Важно подчеркнуть, что это не
обязательно означает открытость в общепринятом смысле, речь может идти о
закрытых версиях внутри определённого конгломерата»,
— пояснил учёный.
Ключевой компонент безопасного ИИ — технологическая
платформа на отечественном оборудовании, подчеркнул академик. «Обеспечить
безопасность без своего „железа“ невозможно», — резюмировал Арутюн
Аветисян.
Российский форум «Микроэлектроника 2025» проходит с 21 по
27 сентября на площадке Научно-технологического университета «Сириус»
(федеральная территория Сириус). Это важнейшее отраслевое мероприятие входит в
план мероприятий Десятилетия науки и технологий и объединяет специалистов
микро- и радиоэлектронной отрасли, создания и применения электронной
компонентной базы и программно-аппаратных комплексов. За семь дней работы в
мероприятии примут участие более 3500 человек и прозвучат больше 1100 докладов.