"Инфобез, ИИ - значимые кейсы и уязвимости"
В ходе обсуждения были рассмотрены актуальные кейсы и проблемы в области обеспечения информационной безопасности и искусственного интеллекта. Основное внимание уделено новым угрозам, связанным с использованием ИИ, и влиянию этих угроз на практику защиты информации. Ключевые моменты и кейсы: Злоупотребление инструментами ИИ: Атаки через общедоступные модели (GPT, Cloud, Microsoft Copilot) для получения доступа к данным или платформам. Пример: использование Salesforce Einstein для перенаправления данных клиентов. Prompt log (Ransomware 3.0): Агенты, взаимодействующие с локальными LLM для генерации вредоносного ПО. Высокий потенциал для атак внутри компаний, использующих локальные модели. Slack IE: Уязвимость в корпоративном мессенджере Slack, позволяющая получать данные из приватных каналов. Проблема в недооценке угрозы и расширение уязвимости после обновлений. Атаки через посредника: Использование вируса для эмуляции человеческих запросов к внутренним LLM. Генерация запросов и получение ответов за пределы защищенного периметра. Prompt-инъекции: Злоупотребление для изменения поведения LLM при анализе данных. Пример: сокрытие команд в изображениях или документах для обмана систем. OSINT и анализ уязвимостей: Использование инструментов ИИ для поиска информации и выявления уязвимостей в веб-ресурсах компаний. Indirect Prompt Injection: Фундаментальная проблема современных LLM: неспособность отличить текст от данных. Примеры: атаки на веб-агентов, смещение в электронной коммерции. Атаки на системы обнаружения вторжений (NIDS): Взлом коммерческих систем на основе доступа к тренировочным данным. Важность защиты информации о датасетах, используемых для обучения моделей. Основные выводы: Использование ИИ открывает новые векторы атак, требующие переосмысления подходов к защите. Актуальны атаки через злоупотребление общедоступными моделями, prompt-инъекции и уязвимости в программном обеспечении. Необходимо учитывать потенциальную угрозу от локальных LLM и атак через посредников. Важно защищать информацию о тренировочных данных, используемых для обучения моделей. Необходимо уделять внимание безопасности как при планировании использования генеративных компонентов, так и при осуществлении защиты периметров. Сессия "ИИ в информационной безопасности и Инфобез в ИИ". ХVIII конференция BIS SUMMIT 2025 – ключевое событие в сфере информационной безопасности в России. Организатор - ассоциация BISA при стратегическом партнерстве InfoWatch. На протяжении многих лет BIS SUMMIT остается важнейшей площадкой, где объединяются регуляторы, лидеры и эксперты ИТ- и ИБ-отрасли, а в результате дискуссий формируются конкретные предложения для повышения уровня информационной безопасности страны. Тема «Технологический суверенитет: новая эра ответственности» затронет ряд важных тем и острых вопросов: насколько государство и бизнес готовы к новым вызовам, какие следующие шаги планируются для повышения уровня технологической независимости и безопасности страны, как новые регуляторные требования влияют на ИТ- и ИБ-ландшафт в России.
В ходе обсуждения были рассмотрены актуальные кейсы и проблемы в области обеспечения информационной безопасности и искусственного интеллекта. Основное внимание уделено новым угрозам, связанным с использованием ИИ, и влиянию этих угроз на практику защиты информации. Ключевые моменты и кейсы: Злоупотребление инструментами ИИ: Атаки через общедоступные модели (GPT, Cloud, Microsoft Copilot) для получения доступа к данным или платформам. Пример: использование Salesforce Einstein для перенаправления данных клиентов. Prompt log (Ransomware 3.0): Агенты, взаимодействующие с локальными LLM для генерации вредоносного ПО. Высокий потенциал для атак внутри компаний, использующих локальные модели. Slack IE: Уязвимость в корпоративном мессенджере Slack, позволяющая получать данные из приватных каналов. Проблема в недооценке угрозы и расширение уязвимости после обновлений. Атаки через посредника: Использование вируса для эмуляции человеческих запросов к внутренним LLM. Генерация запросов и получение ответов за пределы защищенного периметра. Prompt-инъекции: Злоупотребление для изменения поведения LLM при анализе данных. Пример: сокрытие команд в изображениях или документах для обмана систем. OSINT и анализ уязвимостей: Использование инструментов ИИ для поиска информации и выявления уязвимостей в веб-ресурсах компаний. Indirect Prompt Injection: Фундаментальная проблема современных LLM: неспособность отличить текст от данных. Примеры: атаки на веб-агентов, смещение в электронной коммерции. Атаки на системы обнаружения вторжений (NIDS): Взлом коммерческих систем на основе доступа к тренировочным данным. Важность защиты информации о датасетах, используемых для обучения моделей. Основные выводы: Использование ИИ открывает новые векторы атак, требующие переосмысления подходов к защите. Актуальны атаки через злоупотребление общедоступными моделями, prompt-инъекции и уязвимости в программном обеспечении. Необходимо учитывать потенциальную угрозу от локальных LLM и атак через посредников. Важно защищать информацию о тренировочных данных, используемых для обучения моделей. Необходимо уделять внимание безопасности как при планировании использования генеративных компонентов, так и при осуществлении защиты периметров. Сессия "ИИ в информационной безопасности и Инфобез в ИИ". ХVIII конференция BIS SUMMIT 2025 – ключевое событие в сфере информационной безопасности в России. Организатор - ассоциация BISA при стратегическом партнерстве InfoWatch. На протяжении многих лет BIS SUMMIT остается важнейшей площадкой, где объединяются регуляторы, лидеры и эксперты ИТ- и ИБ-отрасли, а в результате дискуссий формируются конкретные предложения для повышения уровня информационной безопасности страны. Тема «Технологический суверенитет: новая эра ответственности» затронет ряд важных тем и острых вопросов: насколько государство и бизнес готовы к новым вызовам, какие следующие шаги планируются для повышения уровня технологической независимости и безопасности страны, как новые регуляторные требования влияют на ИТ- и ИБ-ландшафт в России.