Почему важно работать над безопасностью искусственного интеллекта?
2-5 августа в Праге пройдет Human-aligned AI Summer School — мероприятие, в котором примут участие эксперты в области машинного обучения (МО) и искусственного интеллекта (ИИ), работающие над безопасным развитием этих технологий. Туда поедет и российский программист Ашот Варданян. С ним встретился представитель сообщества эффективного альтруизма (ЭА) в России и расспросил о его деятельности и интересе к безопасности ИИ.
— Над чем ты сейчас работаешь?
Я занимаюсь написанием фреймворка для высокопроизводительных вычислений для задач МО. Есть много библиотек для МО, предназначенных для открытого использования и создания черновых версий прототипирования любых нейронных сетей “на коленках”. Я же делаю сильно оптимизированную систему для конкретных задач. На таких задачах мой код работает в 10 раз быстрее, чем библиотеки Facebook/Microsoft.
И это не удивительно. Создавая публичный продукт, ты вынужден сохранять обратную совместимость: чтобы пользователи старой версии твоего продукта могли обновиться до новой, не меняя свои наработки. Но это ограничивает тебя и ты не можешь внести революционные изменения в старую версию. Мой же код как живой организм – все клетки перерождаются. За 2,5 года проект был переписан 5-6 раз. Дизайн становится все лучше и не приходится составлять совместимость.
— Почему ты решил поехать в Прагу?
В первую очередь, это удобно совпадало с другой поездкой. У меня не было миссии ехать на конференцию по безопасности ИИ. Я не боюсь сильного ИИ, который придет и всех поработит: более слабый разум не способен осознать мысли более сильного. Если сильный ИИ будет намного умнее человека (очевидно так и будет), то мы не сможем даже представить, на что он способен, и дискутировать на эту тему бессмысленно.
Меня скорее беспокоят сильные модели МО — назовем их слабым ИИ. В каждом из нас живет маленький параноик. Мой параноик боится того, что организации смогут использовать слабый ИИ для того, чтобы более эффективно решать свои задачи. Задачи у всех звучат по разному, но по сути, заключаются в увеличении собственной власти:
- Государства хотят больше контроля над своими гражданами и доминирования над другими странами.
- Религия хочет больше прихожан и контроля над ними.
- Бизнес хочет максимизировать свои прибыли. Для этого нужно, либо поднять цены, либо увеличить число клиентов, выдавив конкурентов с рынка.
И проявляться это может как угодно. Реклама, шантаж, спекуляции: выбирайте сами.
Более того, вред можно нанести и не намеренно.
— Сейчас уже такое происходит
Сложно дать определение для МО. Я бы просто назвал это разделом статистики или статистикой на стероидах, смотря как посмотреть. Ты собираешь информацию о работе окружающего мира, а потом используешь результаты анализа, чтобы делать прогнозы о будущем. Вероятно, наше сознание работает таким же образом.
Огромная проблема, о которой мало кто говорит — любая статистика, которую ты накапливаешь, имеет область применения. В окружающем нас мире далеко не все величины можно описать равномерным распределением. Но очень многие подчиняются Гауссовскому. При таком распределении малая доля примеров будет по краям, но именно они обычно важны.
Любая модель МО будет плохо справлять с тем, чтобы прогнозировать свою целевую функцию для попадающих в края распределения. Для необычных входных данных. И это не хорошо и не плохо. Это факт.
Чтобы обойти эти проблемы нужно много качественных данных. У некоторых корпораций они есть. Но и это не все.
Бизнес не так категоричен и требователен, как наука. В науке побеждает лучшее решение, но все требует доказательства. В бизнесе люди часто идут на компромиссы. Даже если появится более оптимальная модель, которая в среднем дает такие же результаты для бизнеса, то новое решение применять не будут.
Менеджер пишет задание, аналитик создает модель, программист пишет библиотеку, системный администратор настраивает кластер. Но никто из них понятия не имеет как это все работает вместе. Сложно сказать где и что может пойти не так. Но пострадают в итоге все.
Приходится начинать с самого нуля. Это звучит совсем нереально для большинства специалистов в ИИ.
Самая большая глупость – это делать тоже самое и надеяться на другой результат.
(Альберт Эйнштейн)
Большая часть МО – сложные и многослойные модели, которые скрывают большое количество логики. В итоге, даже программисты плохо понимают что происходит внутри.
С исторической точки зрения это выглядит так:
- Появляются новые отрасли и в них первым делом стекаются энтузиасты. Так было с компьютерами лет 40 назад: только гики в них разбирались. Первооткрыватели — чаще всего это люди с отличными от общей массы показателями интеллекта, уровня знаний и тп.
- Они строят основание для всей индустрии привлекая внимание организаций, смотрящих в будущее.
- Отрасль становится зрелой, в ней уже много людей. Очевидно, они распределяются по уровню навыков по Гауссу.
ИИ уже лет 5 — большая область. Многие программисты не понимают, как работают их же модели. И продукты, выпускаемые крупными компаниями, только усугубляют ситуацию, так как очень сильно упрощают реализацию нейронных сетей и понижают порог входа. Сейчас любой может скачать библиотеку (tensorflow, caffe, torch) и начать экспериментировать.
Это подход, свойственный западной культуре — игровой. Ты можешь с чем-то поиграть перед тем, как пользоваться. Мне больше нравится советский поход: перед тем, как что-то начинать делать, ты должен хорошо понимать что ты делаешь и в чем твоя ответственность. Этот процесс намного сложнее и скучнее, но он очень сильно ограждает от рисков.
Что делать со стажером на атомной станции? Можно ли ему разрешить играть со всеми кнопками и реагировать по ситуации? Нет. ИИ — еще более сильный инструмент, чем ядерная энергетика. Настолько более сильный, что мы даже не можем осознать его потенциал. Поэтому, я считаю, что лучше иметь высокий порог входа, чем высокие риски.
— Может ли быть так, что кто-то уже создал сильный ИИ, а мы об этом не знаем?
— Если бы полноценный ИИ появился, то, вполне возможно, мы бы все об этом узнали. Либо — никто бы не узнал, включая его создателя. Сценарий, когда его кто-то разработал и об этом знает только он — маловероятен. Либо — никто, либо — вдруг все.
Я не боюсь компьютера, который пройдет тест Тьюринга. Я боюсь компьютера, который его намеренно завалит.
(цитата неизвестного)
— Существуют 2 основных сценария с ИИ: 1. ИИ изначально разработан с разрушительной целью и выходит из-под контроля, 2. ИИ изначально разработан для положительной задачи, однако в процессе ее исполнения избирает деструктивный метод достижения цели. Какой из них наиболее вероятен?
— Опять же, если речь идет о сильном ИИ, то гадать о его планах не имеет смысла. Это все равно что надеяться, что червяку дано понять мысли человека.
— Читал ли ты книгу Ника Бострома «Искусственный Интеллект»?
— Я практически не читаю художественную литературу, в основном – научные статьи.
— Oк. На эту тему есть статья Concrete Problems in AI Safety. Там рассматривают несколько проблем, когда, например, добавление нескольких пикселей категорически меняет результаты модели. Что ты думаешь по этому поводу?
— Да, есть целый класс моделей Generative Adversarial Networks. Это обычно сверточные нейронные сети, используемые для анализа изображений и видео. Они хорошо борются с такими проблемами. Обучается две нейросети. Одна решает исходную задачу, вторая ей мешает.
Всегда можно к чему то придраться. Когда всплывает очередная проблема, вскоре появляется решение. И обычно оно просто убирает симптомы, а не лечит.
Современные модели МО зачастую многослойны. И даже если каждый слой по отдельности не может сильно исказить сигнал, то вся сеть может изменить его до неузнаваемости. И маленькие изменения входных данных могут вызывать большие изменения выходных данных.
Раньше в МО в основном использовали очень примитивные классификаторы на основе линейной алгебры, которые редко могли дать большие скачки при маленьких изменениях. Но теперь мы используем нейронные сети и между слоями нейронов мы используем нелинейные операции. С ними намного проще аппроксимировать сложные распределения.
— То есть раньше программы были более понятными, но решали более простые задачи?
— Да. Глубокие Нейронные Сети были основным инструментом в мире МО последние 5 лет. И мы столкнулись с тем, что ты описал выше. Задача усложнилась. Нужно противостоять пиксельным атакам. И мы надстроили еще один уровень сложности. Теперь у нас есть много понятий: регуляризация, dropout… Вроде как, стало работать точнее.
Это классический сценарий развития событий — эволюционный. Автомобили с двигателями внутреннего сгорания (ДВС) за последние 50 лет качественно не изменились. В них стало намного больше деталей, они стали более хрупкими, но зато более эффективными — по сравнению со старыми моделями. Вместо того, чтобы десятилетиями усложнять ДВС, можно просто перейти к электрической тяге. Мне ближе такой подход.
— Я упомянул книгу Бострома, так как после ее выхода внимание к безопасности ИИ увеличилось. Ее прочитал Илон Маск. В 2015 году сотни ученых подписали открытое письмо с призывом к более серьезному изучению безопасности ИИ.
— Люди очень любят прислушиваться к Илону Маску. Он очень грамотный человек, но не стоит слепо дублировать его мнение по каждому вопросу. Я не разделяю его опасения на эту тему.
Я сомневаюсь, что создание дополнительных организаций по контролю над ИИ кому-либо поможет. Бюрократия пока никого не спасла. Любой ученый и изобретатель задумывается о будущем применении своих технологий и о высшем благе. А вот надзирающие органы далеко не всегда благоразумны. История знает множество случаев, когда власти использовали наработки ученых против их воли.
Многие предприниматели, включая Цукерберга и Брина куда более позитивно относятся к ИИ. Google выкупил DeepMind несколько лет назад — одну из самых нашумевших компаний в ИИ. Они добились больших успехов с обучением с подкреплением (Reinforcment Learning). Это перспективный подход, так как подразумевает постоянное обучение.
— Чем ты планируешь заниматься в области безопасности ИИ?
Эта отрасль привлекает много внимания сегодня. Я бы продолжил заниматься самим ИИ. Лучшее, что я могу сделать для продвижения безопасности — агитировать всех заниматься скучными и тяжелыми вещами. Только труд дает глубокое понимание. Такой путь займет много времени и сил. В итоге до конца дойдут только лучшие. Это может звучать неприятно для большинства, но в итоге все мы от этого выиграем.
Любой человек на Земле сейчас живет лучше, чем короли 400 лет назад. И все это благодаря научно-техническому прогрессу. И пока вокруг есть люди готовые сутки напролет сидеть за кодом или решать уравнения в тетради, у нас все будет хорошо!
С чего начать, если вы заинтересованы в работе в сфере безопасности ИИ: https://80000hours.org/career-reviews/artificial-intelligence-risk-research/