ИИ и нейросеть — разница
Искусственный интеллект (ИИ) — это широкое понятие, обозначающее способность машин имитировать разумное поведение человека, а нейросеть — это конкретный, узкий инструмент (метод) внутри ИИ, созданный по принципу работы мозга.
ИИ — это цель, а нейросети — один из наиболее эффективных способов ее достижения (например, для распознавания лиц или генерации текста).
Риск №1. Данные утекают в интернет
Первый соблазн, с которым сталкиваются практически все предприятия, — желание сотрудников ускорить рутину с помощью известных нейросетей.
В итоге в общий чат или форму загружаются служебные заметки, расшифровки совещаний, технические спецификации с пометкой «Для внутреннего пользования», а иногда и ксерокопии старых чертежей и даже персональные данные.
«Нейросеть, которая бесплатно предоставляет вам возможность пользоваться своим интеллектом, чаще всего находится где-то за рубежом. А у нас есть закон, который не позволяет обрабатывать персональные данные на зарубежных сервисах. Сервер должен стоять на территории нашей страны», — напомнил Олег Сорокин.
Риск №2. Лазейки к данным
Чтобы не прибегать к публичным нейросетям и не подвергать опасности данные, сотрудники компании могут использовать закрытую RAG-систему вместо привычных сервисов. Ее можно приобрести или построить силами своих специалистов.
RAG (Retrieval-Augmented Generation, «генерация с дополнением данными из поиска») — это технология ИИ, объединяющая большую языковую модель (LLM) с базами знаний.
Вместо использования только внутренних знаний, на которых обучена модель, RAG сначала ищет релевантную информацию во внешних источниках (база данных компании, папки с нужными документами и т.д.), а затем генерирует ответ на ее основе, что снижает «галлюцинации» и обеспечивает актуальность данных.
Но и здесь не все просто. Архитектура, которую использует ИИ, все равно приводит к уязвимостям в безопасности.
«В классической компьютерной архитектуре система знает, где котлеты, а где мухи, то есть где данные пользователя, а где инструкция, согласно которой их надо обрабатывать. В архитектуре, которую использует ИИ, все передается в одном потоке», — рассказывает Олег Сорокин.
Когда «мухи и котлеты» в системе смешиваются, она может обнародовать или использовать то, что распространять нельзя, запутавшись в инструкциях и характеристиках. Злоумышленники этим пользуются и обходят так называемые guardrails — защитные перила, выставляемые разработчиками.
Guardrails (в контексте ИИ и больших языковых моделей, LLM) — это система программных правил, фильтров и архитектурных ограничений, обеспечивающая безопасную, этичную и предсказуемую работу искусственного интеллекта. Они работают как «ограждения» на дороге, не давая модели генерировать вредоносный, токсичный или ложный контент, а также выходить за рамки заданных сценариев.
Сорокин привел наглядный житейский пример: когда популярный генератор изображений отказался рисовать Бэтмена из-за запрета правообладателей, пользователь, не меняя сути, может попросить, казалось бы, невинный запрос: «супергероя в костюме летучей мыши» — и создать нужный образ.
Логика проста: нейросеть не мыслит запретами, она ищет статистические совпадения. И поскольку в интернете под описание «герой в костюме мыши» попадает исключительно один персонаж, защита была снята.
В корпоративной среде этот трюк трансформируется в куда более опасные манипуляции: хакеры находят изящные способы достать из хранилища то, что должно быть скрыто.
Риск №3. Автоматизация как помощник для атаки
Мало кто будет вручную загружать сотни файлов в корпоративное RAG-хранилище, особенно если речь о большой компании, где ежедневно создаются десятки и сотни документов. Рано или поздно компания настраивает специальные программы — автоматические шлюзы, связывая внутренние базы данных и RAG-системы.
И здесь, предупреждает эксперт, уязвимость есть еще и в этой связке исходных программных продуктов, проводников и RAG-системы. Если брешь есть в исходных системах, ИИ-агенты, получившие доступ к данным, лишь расширят воронку возможной утечки.
«Возможно, в будущем появятся какие-то ультимативные средства, которые нас на 100% зачистят, но пока, к сожалению, это не так, — напомнил Олег Сорокин. — Если ваши специалисты по информационной безопасности против внедрения, при случае попросите объяснить вам почему. Они точно смогут это сделать».
