Вам приходит отказ. Но почему? Какие критерии оценки? Что не подошло? Может быть, у вас недостаточно квалификации, или тестовое задание подвело, или просто вы  не того пола? Об этом вы никогда не узнаете. Потому что это Black Box AI. Он не раскрывает своих критериев, вы не знаете, как он устроен и как работает, а вы и не должны этого знать.

‍

Но и у него есть противовес – White Box AI. Своего рода Ангел против Демона на плечах. И как вы понимаете, в White Box все максимально открыто.

‍

Концепция Black Box таит в себе не только тайны, но и проблемы, которые особенно активно обсуждают регуляторы. Обо всех ящиках и о том, что внутри, мы и поговорим сегодня. По крайней мере, расскажем все, что нам позволено знать.

‍

Больше про Black Box

Ради целостности повествования будем использовать именно англоязычный термин. Black Box – это ИИ-система, где все внутренние механизмы работы остаются тайной для пользователей. Вы, как пользователи, можете видеть входные данные, те, что вводите сами, а также – ответ от сервиса. Но весь процесс, который происходит внутри, что именно делает нейронка, чтобы прийти к этим результатам, остается неизвестным.

Пример из вступления – отличное, по нашему скромному мнению, описание происходящего.

Если вам кажется, что данная концепция – нишевая история, то вы не совсем правы. Знаете ли вы, как ChatGPT приходит к своим умозаключениям? Нет. Это потому, что нейросеть от OpenAI – и есть Black Box. То же самое касается и других передовых сервисов. Можно решить, что все это из-за угрозы воровства конкурентами. Но об этом чуть позже.

Изначально эти модели обучаются на монументальных наборах данных при использовании сложных процессов deep learning, что иногда приводит к тому, что сами создатели порой не понимают, как они работают.

Такие сервисы выдают впечатляющие результаты, но пользователи не всегда могут понять правильность ответов, ведь они не знают, что происходит внутри. Это может привести к уязвимостям в безопасности, предвзятости и нарушению конфиденциальности. Например, ChatGPT расскажет о чем угодно, если сообщить ему, что это для вашей умирающей бабушки.

‍

Зачем вообще нужны Black Box AI?

Все достаточно прозаично, такие модели возникают по одной из двух причин: либо их разработчики намеренно делают их таковыми, либо они становятся таковыми невольно, в результате побочки в процессе обучения.

Самая очевидная причина – сокрытие интеллектуальной собственности. Вы годами работали над ИИ, зачем вам просто сливать результат конкурентам? Ради безопасности планеты? Да ни за что! Конечно большинство создателей знают, как устроено их создание, но осознанно скрывают исходный код и механизм принятия решений. Большая часть черных ящиков именно таковы. Секретный рецепт крабсбургера, но из мира технологий.

Но есть еще один интересный термин: органический Black Box. Создатели не скрывают свою работу специально, просто у них лапки. Системы глубокого обучения настолько сложные, что в точности понять их процесс мышления – тяжело. И это не мы вам говорим, а IBM.  

Алгоритмы обучения многослойны. Если традиционные могут быть двуслойными или однослойными, то при глубоком обучении эти слои увеличиваются в геометрической прогрессии. Сотни, тысячи слоев, где каждый содержит N-ное количество нейронов, блоков кода, которые и имитируют работу человеческого мозга.

При таком формате обучения нейронные сети способны обрабатывать и анализировать необработанные, неструктурированные наборы данных практически без участия человека. Они воспринимают и выявляют закономерности, а также обучаются самостоятельно. А в конце вы получаете сгенерированный текст или картинку/видео. Например эту:

‍

‍

‍

‍

Эта способность к масштабному обучению без надзора позволяет системам ИИ выполнять самые сложные задачи, которые в итоге кажутся близкими к человеческим.

Непрозрачность процессов – это их природа. Пользователи, как и разработчики, могут отследить, что происходит лишь на видимых слоях. Там, где вы вводите запрос и там, где получаете ответ. Все, что происходит в промежуточных слоях, – загадка. На то они и называются скрытыми слоями. Не поймите неправильно, у разработчиков есть понимание того, как данные перемещаются через слои сети, а также представление о том, что происходит с поступающей информацией, но они не знают всех деталей.

Третий вариант – вам просто не нужно это знать. Как в случае с приемом на работу. Конечно, было бы здорово узнать причины отказа, но компания приняла решение, что это будет лишним. Отказ – достаточный аргумент.

‍

Интерпретируемость

В тысячный раз рекомендуем прочесть текст об этике в мире искусственного интеллекта.

Мощность передовых моделей ИИ напрямую связана со снижением интерпретируемости. Базовый пример:

У вас есть четкие правила по созданию котов: два ушка, носик, хвостик, рыжий цвет, в домашней обстановке. Насколько интересно будет создать даже вторую картинку при таких правилах? Конечно, это условности, но чем меньше правил, тем более мощная нейронка. Чем легче объяснить, как что-то создается, тем более базовым это будет являться. Еще можно подумать об искусстве, если посмотреть на картины в разрезе 500 лет, то вы увидите, как люди нарушали правила и создавали новые. Это процесс вечного поиска. А ограничения и ясность его останавливают.

‍

‍

Вот вам картинка по запросу: самая сумасшедшая картинка кота. Почему ChatGPT решил, что самый сумасшедший кот – тот, что в реке на моноколесе в костюме супергероя, а его окружение – иллюстрация с банданы Джими Хендрикса, мы не знаем. Вряд ли вы сам Альтман объяснит, как так вышло. Но это по-своему круто. Ведь вас не устроит, если самый сумасшедший кот – это тот, что просто оказался вне квартиры.

Чем проще объяснить, чем примитивней правила, тем менее гибкой будет модель.Но и не всем моделям нужна такая гибкость. В основном это касается генеративных моделей.

‍

Связанные с этим проблемы

Меньшее доверия

Выводы могут быть верными, но без четкого объяснения можно усомниться в долгосрочной перспективе. Иногда нейронные сети могут приходить к правильным результатам по неправильным причинам. Такой эффект называется эффектом умного Ганса – в честь лошади, которая якобы умела считать и выполнять простые арифметические действия, постукивая копытом. Но на самом деле Ганс реагировал на подсказки в языке тела своего хозяина, по ним понимая, когда нужно прекратить стучать.

Это становится настоящей проблемой в мире здравоохранения. Однажды новый экспериментальный сервис натаскивали на снимках легких людей, болеющих COVID. Сервис показывал отличные результаты, только строил их на отметках/аннотациях, которые оставляли врачи. Потому что в то время, врачи часто оставляли аннотации для выделения важных особенностей на снимках, чтобы их коллеги тоже обращали внимание.

Сложности в корректировке

Если вдруг ваша модель озлобилась или начала галлюцинировать, то вам будет сложнее ее поправить. Не зная, что происходит внутри модели, пользователи не могут точно определить, где она ошибается.

Кстати, эту проблему интересно решают в ИИ-такси или машинах. Они просто добавляют что-то понятное и объяснимое. Например – радары и датчики.

Проблемы безопасности

Возникают из-за того, что сама сеть может пропустить скрытые уязвимости. Генеративные модели ИИ уязвимы к атакам, таким как внедрение вредоносных запросов и отравление данных, где тайно меняется поведение модели без ведома пользователей.

Этические вопросы

Любой ИИ может воспроизводить присущую человеку предвзятость, если она присутствовала в данных для обучения. Примером все еще служит случай с Amazon.

‍

Стеклянный ящик

Как вы поняли, это и есть White Box – система искусственного интеллекта с прозрачным внутренним миром. Все просто – ваш сервис работает с четкой структурой и ею же ограничивается. Такие стеклянные ящики ставят там, где на кону человеческая жизнь (по возможности).

Традиционные модели ИИ часто можно сделать прозрачными, предоставив доступ к их исходному коду. Почему так не получается со сложными, мы объясняли выше. Просто знать исходный код – недостаточное условие.

Сегодня создаются нейронные сети для понятия принципа принятия решений нейронными сетями. Где ученые и исследователи определяют комбинации нейронов. В эту сторону движутся и гиганты. Пусть и условно, но o1 от OpenAI делится информацией о том, что делает, для получения выводов. Это именно та сеть, которая “размышляет” и делится своими размышлениями, а также тем, как она к ним пришла. Но и это не совсем прямой взгляд внутрь.

Посмотрим, что будет дальше.