AbavaNet technical corner

Водит как подросток

2026-06-08T11:04:00.000+03:00

Компания Waymo, демонстрирующая впечатляющие статистические данные, показывающие, что её беспилотные автомобили намного безопаснее, чем автомобили с водителями-людьми, развернула тысячи компьютеризированных роботакси по всей стране, которые не могут управлять автомобилем в нетрезвом виде, отвлекаться на телефоны или проявлять агрессию на дороге.

Однако анализ CNN данных местных и федеральных органов власти, а также видеороликов в социальных сетях показывает, что та же самая особенность, которая делает роботакси Waymo менее склонными к опасным столкновениям — отсутствие водителя-человека — также создает совершенно новые проблемы безопасности, которые беспокоят правительственных чиновников, поскольку компания стремится расширить свою деятельность за пределы 11 городов, где она в настоящее время работает.

CNN выявила сотни инцидентов, в которых роботакси якобы совершали опасные маневры и испытывали трудности с препятствиями, с которыми люди инстинктивно справляются. Они проезжали на красный свет, выезжали на встречную полосу и на места преступлений, не соблюдали правила дорожного движения и приближались на расстояние нескольких сантиметров к пешеходам, законно переходящим улицу — ошибки, которые роботизированные автомобили должны быть запрограммированы избегать.

За последние два месяца компания Waymo отозвала тысячи автомобилей и приостановила работу в нескольких городах после того, как роботакси выехали на затопленные улицы, в том числе в Сан-Антонио, где пустой автомобиль Waymo был смыт бурным потоком воды. А недавно компания объявила о приостановке работы на всех автомагистралях в таких городах, как Лос-Анджелес и Майами, после того, как один из пассажиров из Сан-Франциско рассказал на форуме X, что его роботакси устроило высокоскоростную погоню с полицией через зону активных дорожных работ. - ‘Driving like teenagers’: Waymo robotaxis have run red lights and nearly hit pedestrians, CNN finds

ИИ и судебная практика

2026-06-08T10:55:56.466+03:00

Российиская судебная практика по делам, связанным с ИИ. В России впервые вынесли приговор за публикацию порно, сгенерированного ИИ. В России осудили подростка, который занимался распространением сгенерированной искусственным интеллектом порнографии. Молодой человек сказал, что разослал созданные нейронной сетью кадры, чтобы пошутить над потерпевшей. Суд назначил ему наказание в виде двух лет лишения свободы условно с испытательным сроком один год.

Аппаратная безопасность

2026-06-06T12:26:00.000+03:00

Конфиденциальные вычисления решают проблемы безопасности и конфиденциальности данных для организаций, переносящих конфиденциальные рабочие нагрузки в облако. Это важнейший шаг вперед, позволяющий шифровать данные как во время их обработки в памяти, так и во время активного использования. По мере роста внедрения облачных технологий конфиденциальные вычисления будут играть ключевую роль в повышении безопасности и конфиденциальности в облачных средах. В этом отчете описывается эффективный подход к защите данных, обрабатываемых рабочими нагрузками искусственного интеллекта в облачной инфраструктуре, чтобы защитить наборы данных от вредоносных программ, кражи данных и других уязвимостей, связанных с безопасностью - Hardware-Enabled Security: Confidential Computing of Data in Cloud Workloads

Не до законов - 2

2026-06-05T10:00:00.000+03:00

Европейский союз ослабил некоторые положения своего знакового Закона об искусственном интеллекте и отложил принятие других после того, как представители бизнеса и политики заявили, что закон снижает конкурентоспособность европейских компаний.

Что нового: Европейский парламент и государства-члены договорились внести поправки в Закон об искусственном интеллекте, чтобы отложить ограничения, направленные на приложения, которые, по мнению союза, представляют значительную угрозу безопасности, здоровью или правам человека, а также внести другие изменения. Поправки ожидают официального принятия Советом и парламентом союза. ЕС охарактеризовал поправки как «более безопасные и простые правила как для граждан, так и для бизнеса».

Как это работает: Поправки в целом упрощают надзорные и правоприменительные обязанности Управления ЕС по искусственному интеллекту. Они также продлевают сроки для разработчиков ИИ по соблюдению определенных положений и упрощают другие.

Требования к системам искусственного интеллекта, считающимся «высокорисковыми» — включая системы, используемые в правоохранительных органах, критической инфраструктуре, сфере занятости, миграции и идентификации личности — отложены до декабря 2027 года с ранее установленного срока в августе 2026 года. Разработчикам будет предоставлено время до августа 2027 года для внедрения контролируемых тестовых сред, позволяющих изолировать новые модели от внешнего мира во время тестирования. Сроки для продуктов, использующих ИИ, включая оборудование и игрушки, также продлены до августа 2028 года, а требования к водяным знакам для результатов работы ИИ и другие требования к прозрачности — примерно до декабря 2026 года.

Изменения коснутся способов использования персональных данных при обучении и развертывании систем ИИ. В соответствии с действующим законодательством ЕС, некоторые категории персональных данных могут использоваться только в случае «строго необходимого» применения. Изменения позволят использовать персональные данные для выявления и смягчения предвзятости.

Также были внесены или уточнены исключения для некоторых продуктов. Например, Закон об ИИ не затронет промышленное оборудование, которое уже регулируется законами о безопасности продукции. Кроме того, в некоторых случаях к малым компаниям (менее 50 сотрудников с годовым мировым доходом до 10 миллионов евро или совокупными активами до 10 миллионов евро) и компаниям «малой средней капитализации» (примерно от 250 до 749 сотрудников с годовым мировым доходом до 150 миллионов евро или совокупными активами до 129 миллионов евро) будут применяться более мягкие требования к соблюдению нормативных требований и административные издержки.

Поправки усиливают Закон об ИИ в одной важной области: они запрещают создание изображений сексуального характера с участием детей и изображений обнаженных людей без их согласия.

За кулисами новости: В 2024 году ЕС принял самый строгий в мире закон о регулировании ИИ. Закон вступил в силу в том же году, при этом некоторые положения будут вводиться поэтапно в последующие годы. Он подвергся критике за наложение необоснованных требований без повышения безопасности практически с момента начала законодательного процесса.

В 2023 году руководители 163 компаний подписали письмо, в котором утверждалось, что законодательство носит «бюрократический характер». В 2025 году 110 компаний призвали политиков отложить разработку графика внедрения, поскольку правила были «неясными, дублирующими друг друга и все более сложными». Такие компании, как немецкие промышленные и программные фирмы Siemens и SAP, лоббировали пересмотр, заявляя, что правила сдерживают их развитие.

Два ранних отчета повлияли на поправки. В отчете, опубликованном в апреле 2024 года бывшим премьер-министром Италии Энрико Леттой, утверждалось, что ЕС фрагментирован на 27 национальных рынков, что препятствует масштабированию европейских компаний так же, как это могут делать американские и китайские компании. В отчете за сентябрь 2024 года о конкурентоспособности Европы стагнация роста ВВП региона была представлена как «экзистенциальный вызов», и основное внимание уделялось сокращению инновационного разрыва, декарбонизации и снижению зависимости.

В начале 2025 года Европейская комиссия — исполнительный орган ЕС — объявила о своем намерении снизить регуляторную нагрузку, упростить правила и повысить экономическую конкурентоспособность.

В феврале 2026 года Европейская комиссия отозвала предложенную ею Директиву об ответственности за использование ИИ — спорный законопроект, отдельный от Закона об ИИ, который предусматривал введение общеевропейских стандартов для судебных исков, связанных с вредом, причиненным ИИ.

Реакция общественности: Непосредственная реакция на поправки была неоднозначной. Индустрия ИИ в целом приветствовала дополнительную гибкость, в то время как группы потребителей выразили обеспокоенность по поводу потенциального ослабления стандартов безопасности. Некоторые сообщения в СМИ представили их как смягчение закона в угоду интересам бизнеса. Европейская организация потребителей заявила, что соглашение делает цифровую среду менее безопасной и создает опасные лазейки для компаний, занимающихся ИИ.

Почему это важно: Как в первоначальной, так и в обновленной версиях, Закон об ИИ направлен на смягчение «системных рисков», вызванных ИИ. Эта концепция заимствована из регулирования в сфере финансов и инфраструктуры и относится к сбоям, способным распространяться на различные отрасли или значительные части экономики. Идея о том, что ИИ представляет собой системные риски, остается спекулятивной, в то время как чрезмерное регулирование создает экономический риск подавления инноваций и блокировки полезных технологий. Поправки направлены на баланс рисков и преимуществ за счет снижения нагрузки на разработчиков, предоставления компаниям дополнительного времени для понимания и соблюдения требований, а также создания условий для дальнейших инноваций в критически важных отраслях, таких как производство и полупроводники.

Многие положения первоначального Закона об ИИ были неясными, чрезмерно широкими или излишне обременительными. Эти поправки, по-видимому, делают закон менее обременительным, сохраняя при этом полезные элементы. Это хороший шаг для повышения конкурентоспособности Европы.

Отсюда

Не до законов

2026-06-04T10:00:00.000+03:00

Президент США Дональд Трамп в заявил, что отложил подписание указа об искусственном интеллекте, поскольку ему не нравятся некоторые его аспекты, и он не хочет предпринимать никаких шагов, которые могли бы подорвать позиции США в конкуренции с Китаем в области ИИ. Трамп планировал подписать указ на церемонии, на которой должны были присутствовать руководители компаний, занимающихся ИИ.

Американские СМИ, включая Semafor и Washington Post, сообщили, что планы администрации были приостановлены после настойчивых просьб основателя xAI Илона Маска и генерального директора Meta Марка Цукерберга, а также бывшего советника Трампа по вопросам ИИ Дэвида Сакса.

В ответ на сообщение на X о сообщениях в СМИ, Маск сказал: «Это ложь», добавив: «Я до сих пор не знаю, что было в этом указе, и президент поговорил со мной только после того, как отказался его подписать».

«Я думаю, это помешает, знаете ли, мы лидируем в Китае, мы лидируем во всех, и я не хочу делать ничего, что помешало бы этому лидерству», — сказал Трамп журналистам в Овальном кабинете. Указ создаст добровольную структуру для взаимодействия разработчиков ИИ с правительством США до публичного выпуска передовых моделей ИИ, сообщили Reuters в среду два источника, знакомые с указом.

Трамп не уточнил, против каких именно частей исполнительного указа он возражает. Представители технологической индустрии опасаются, что положения указа могут нанести ущерб прибыли отрасли, если они замедлят внедрение новых моделей или побудят компании изменить работу этих моделей для решения проблем безопасности. По словам другого источника, президент также планировал поручить правительству США использовать передовые модели для улучшения кибербезопасности государственных систем, а также сетей, принадлежащих секторам, имеющим жизненно важное значение для экономики, таким как банки и больницы. В правительстве США и частном секторе растет обеспокоенность по поводу рисков кибербезопасности, создаваемых мощными новыми системами искусственного интеллекта, включая Mythos от Anthropic. Anthropic предупреждала, что Mythos может значительно ускорить сложные кибератаки, хотя эксперты по кибербезопасности заявили Reuters, что опасения по поводу бесконтрольного взлома преувеличены.

После возвращения к власти Трамп занял более мягкую позицию по отношению к крупным технологическим компаниям, чем администрация его предшественника Джо Байдена, в связи с появлением искусственного интеллекта и его огромной ролью на американских фондовых рынках. Однако некоторые видные сторонники Трампа призывают к ужесточению мер контроля.

отсюда

100 таксистов

2026-06-03T10:00:00.000+03:00

На улицах китайского города Ухань роботакси Apollo Go компании Baidu остановились посреди дороги, заблокировав пассажиров и вызвав столкновения.

Автономный транспорт сегодня сделать безопасным можно только декларативно. То есть объявить безопасным и все. Обосновать (формально подтвердить) это нельзя.

Лучше не надеяться

2026-06-02T10:00:00.000+03:00

Anthropic опубликовал разбор безопасности свои продуктов. Цитата: "Первый способ обеспечения безопасности — это контроль поведения агента с помощью участия человека. Ранее Claude Code защищал агентов от непреднамеренных действий, запрашивая у пользователей разрешение на каждом шагу. Теоретически это работает, но мы обнаружили, что такой подход несовершенен. Наши телеметрические данные показали, что пользователи одобряли примерно 93% запросов на разрешение. Чем больше подтверждений видит пользователь, тем меньше внимания он уделяет каждому из них, со временем становясь гораздо менее внимательным к контролю.

Адаптивные косвенные инъекции подсказок

2026-06-01T10:00:00.000+03:00

Агенты на основе LLM все чаще используются для сложных задач, требующих планирования, использования инструментов, и взаимодействия с внешними сервисами. Их зависимость от ненадежного внешнего контента делает их уязвимыми для косвенной инъекции подсказок (IPI), при которой враждебные инструкции, встроенные в полученные данные, перехватывают поведение агента. Существующие атаки основаны на статических полезных нагрузках, которые не могут адаптироваться к специфическим для агента средствам защиты; даже в современных адаптивных методах отсутствует структурированная обратная связь для управления оптимизацией. Мы представляем IterInject, итеративную структуру с обратной связью, которая замыкает цикл между инъекцией, диагностикой и уточнением: диагност, основанный на правилах, генерирует структурированные метки результатов с описаниями поведения, а оптимизатор на основе LLM уточняет полезные нагрузки с учетом полной истории оптимизации. Этап синтеза генерирует новые начальные значения маскировки из шаблонов ошибок, позволяя пространству стратегий самостоятельно развиваться. На AgentDojo и InjectAgent IterInject значительно превосходит статические базовые модели и существующие адаптивные методы по четырем моделям жертв. Эксперименты по расширению на примере Claude Code, агента кодирования производственного уровня, обладающего многоуровневой защитой, показывают, что оптимизированные полезные нагрузки достигают полного успеха на 5 из 9 целей; даже те, которые сопротивляются полной эксплуатации, демонстрируют измеримое улучшение в результате итеративного уточнения. Мы также представляем механистический анализ IPI, выявляющий механизм порогового значения, опосредованный вниманием, на средних и поздних уровнях; три причинно-следственных вмешательства подтверждают это открытие и указывают на конкретные направления защиты. - IterInject: Indirect Prompt Injection Against LLM Agents via Feedback-Guided Iterative Optimization

См. также другие публикации, посвященные агентам

ИИ в кибербезопасности - хроника событий

2026-05-31T10:30:00.000+03:00

Данная публикация представляет собой открывает очередной, восьмой по счёту, выпуск периодического аналитического обзора использования Искусственного интеллекта (ИИ) в кибербезопасности. Цикл этих материалов направлен на углублённое исследование стремительно эволюционирующей сферы, возникающей на стыке искусственного интеллекта и кибербезопасности. Ключевая цель данного проекта — планомерное отслеживание мировых тенденций и обобщение наиболее примечательных событий. Помимо сбора информации, в рамках инициативы проводится тщательный разбор законодательных инициатив, резонансных происшествий и передовых технологических новшеств, которые формируют контуры современной кибербезопасности под влиянием ИИ. Каждый номер серии имеет унифицированную структуру, состоящую из трёх разделов, что гарантирует всестороннее освещение рассматриваемой тематики. Первый раздел фокусируется на разборе базы инцидентов и существующих вызовов безопасности: здесь исследуются реальные сценарии атак, обнаруживаются свежие уязвимости и даётся оценка угрозам, порождаемым внедрением алгоритмов ИИ как в оборонительные механизмы, так и в арсенал злоумышленников. Второй раздел даёт характеристику текущему состоянию нормативно-правовой среды и векторам её изменений. Осознание этих процессов имеет первостепенное значение, поскольку именно они задают правовые и эксплуатационные рамки, в которых должны будут развиваться надёжные и безопасные системы на базе ИИ. Третий раздел освещает хронику научно-технологических достижений. Каждый выпуск включает в себя аннотированный перечень наиболее весомых — с точки зрения авторов — научных работ, экспертных докладов ведущих организаций и описаний новаторских разработок. - отсюда

Китайский исследователь

2026-05-30T10:00:00.000+03:00

Быстрое развитие базовых моделей катализировало сдвиг парадигмы от систем ИИ, которые помогают исследователям, к агентам, способным проводить исследования автономно. Однако этой новой области не хватает единой аналитической структуры: агенты, работающие с кодом, системы научных открытий и многоагентные исследовательские платформы развивались в значительной степени изолированно, с непоследовательной терминологией и несравнимой оценкой. Данный обзор восполняет этот пробел четырьмя важными вкладами. Во-первых, мы предлагаем пятиуровневую таксономию автономности (L1–L5) — от автозаполнения кода до полностью самоуправляемых исследовательских программ — которая предоставляет точный словарь для характеристики и сравнения систем. Во-вторых, мы выявляем и анализируем четыре доминирующих архитектурных шаблона (циклы с одним агентом, многоагентное сотрудничество, иерархическая оркестровка и выполнение с использованием инструментов) с помощью сравнительной структуры, оценивающей компромиссы между масштабируемостью, стоимостью, надежностью и человеческим контролем. В-третьих, мы проводим подробный анализ 17 основных систем в рамках шестимерной матрицы признаков, показывая, что современные передовые системы работают на уровне L4 (многоэтапное автономное выполнение в ограниченных областях), в то время как уровень L5 остается желаемым. В-четвертых, мы выявляем шесть фундаментальных открытых проблем — когнитивные циклы, ограничения контекста, оценка новизны, воспроизводимость, безопасность и стоимость — и предлагаем конкретные направления исследований для каждой из них. Наш анализ показывает, что наиболее критическими барьерами на пути к автономности уровня L5 являются не столько собственные возможности, сколько постоянное накопление знаний, надежная самооценка и принципиальное масштабирование архитектуры агентов. Мы рассматриваем более 95 статей в области машинного обучения, разработки программного обеспечения и научных открытий, предоставляя первое единое рассмотрение автономных исследовательских агентов как целостной области исследований. - From Copilots to Colleagues: A Survey of Autonomous Research Agents

INJOIT vol. 14, no. 6

2026-05-29T16:09:55.073+03:00

Вышел шестой номер журнала INJOIT в 2026 году. И четырнадцатый год издания журнала.

Темы статей:

Sleeper Channels and Provenance Gates: Persistent Prompt Injection in Always-on Autonomous AI Agents
Метод слияния данных и фильтрации аномалий на основе расстояния Махаланобиса для обеспечения целостности информации в группах автономных транспортных средств
Эквивалентность порога метода Оцу решающему правилу MAP-классификатора в задаче обнаружения аномалий сетевого трафика
Повышение эффективности состязательных атак на модель прогнозирования трафика TGC-LSTM
Состязательные атаки на модели обнаружения фишинга на основе URL-адресов
Устойчивость сессионных рекомендательных систем к атакам отравления обучающей выборки
Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 8
No-Op-Aware Training and Quantization Framework for Outlier Robust Transformer based Language Models
Синтез арифметико-логических выражений с использованием SMT-решателя
Direct adaptive output-feedback control for unstable linear multidimensional systems with distinct input delays
Оценка распространения искажений в Data-продуктах реляционной архитектуры Data Mesh
Проблема полноты поиска в B2B-каталогах DIY-товаров: ограничения семантических эмбеддингов и сущностно-ориентированный подход
Исследование интерпретируемости моделей детектирования пешеходов на основе векторов активации концептов (TCAV): межархитектурный эмпирический анализ
Методология структурного синтеза хранилища гетерогенных данных технической диагностики высоковольтного оборудования объектов электроэнергетики
О некорректности ветвящейся программы и цикла
Методы синтеза промежуточных представлений программ для высокоуровневого проектирования специализированных вычислителей
Revolutionizing navigation: Deep Learning for lane detection in mobile robots
An easy way to boost home calculation performance with HGRID
Разработка механизма динамического доверия для защиты веб-сессий в архитектуре ZeroTrust
Реактивное управление идентификацией и контролем доступа в контейнерных средах на базе прокси-сервера Envoy
Использование геймификации и искусственного интеллекта в образовательном процессе при изучении логистики

Архив журнала находится здесь.

/via Лаборатория ОИТ

Еще о галлюцинациях

2026-05-29T10:00:00.000+03:00

Библиографическая ссылка в статье: Куприяновский, В.П. Умные дома как основа умных городов / В.П. Куприяновский, С.А. Тищенко // International Journal of Open Information Technologies. - 2016. - Т. 4, № 2. - С. 16-23.

Такой статьи не существует. Работа, которая это "цитирует", была написана генеративной моделью. Библиотека Elibrary не проверяет мусор, который в нее загружают

Отсюда

См. также другие публикации по теме elibrary

Контекстные атаки в агентах

2026-05-28T10:00:00.000+03:00

Появление агентов на основе больших языковых моделей (LLM), дополненных использованием инструментов, навыками, и внешними знаниями, породило новые риски безопасности. Среди них основной угрозой стали атаки с внедрением подсказок, когда злоумышленники внедряют вредоносные инструкции в рабочий процесс агента. Однако существующие бенчмарки и средства защиты принципиально ограничены, поскольку они предполагают контекстно-независимые условия, в которых агент работает в соответствии с полностью заданной инструкцией пользователя, а атаки являются простыми и контекстно-независимыми. В результате они не позволяют оценить реальные условия эксплуатации, где поведение агента обычно зависит от динамического контекста, а не только от подсказки пользователя, и злоумышленники могут адаптировать свои атаки к различным контекстам. Аналогично, существующие средства защиты, построенные на этой узкой модели угроз, игнорируют природу реального делегирования агентам. В этой статье мы представляем AgentLure, бенчмарк, который позволяет выявлять контекстно-зависимые задачи и атаки с внедрением подсказок с учетом контекста. AgentLure охватывает четыре агентных домена и восемь векторов атак на различных поверхностях атаки. Наша оценка показывает, что существующие средства защиты часто испытывают трудности в этой среде, демонстрируя низкую эффективность против таких атак в агентных системах. Для решения этой проблемы мы предлагаем ARGUS, механизм защиты, который обеспечивает аудит решений с учетом происхождения информации для агентов LLM. ARGUS строит граф происхождения влияния, чтобы отслеживать, как недостоверный контекст распространяется на решения агентов, и проверяет, оправдано ли решение достоверными доказательствами до его выполнения. Наша оценка показывает, что ARGUS снижает вероятность успешной атаки до 3,8%, сохраняя при этом 87,5% полезности задачи, значительно превосходя существующие средства защиты и оставаясь устойчивым к адаптивным противникам типа «белый ящик». - ARGUS: Defending LLM Agents Against Context-Aware Prompt Injection

См. также другие публикации, посвященные агентам

Состязательное машинное обучение сегодня

2026-05-27T10:00:00.000+03:00

Состязательное машинное обучение (СМО) представляет собой существенное препятствие для крупномасштабного внедрения искусственного интеллекта (ИИ) в критически важных с точки зрения безопасности средах. Хотя ранние исследования были сосредоточены на надежности алгоритмов, эта область превратилась в сложное пересечение вопросов безопасности, обеспечения и политики. В данной статье представлен всесторонний междисциплинарный обзор ландшафта СМО, охватывающий более 250 рецензируемых работ. Мы используем таксономию, ориентированную на жизненный цикл, которая сопоставляет векторы атак и механизмы защиты с конкретными этапами конвейера ИИ от сбора данных до развертывания, расширяя традиционную триаду конфиденциальности, целостности и доступности (CIA) за счет включения управления и регулирования. Мы выявляем критические пробелы в исследованиях, включая сертифицированную надежность для обработки естественного языка (NLP) и возникающие угрозы в генеративном ИИ. Для обоснования этих теоретических выводов на практике мы анализируем пять конкретных тематических исследований: автономные транспортные средства, медицинский ИИ, финансовые системы, обработка естественного языка (NLP) и Интернет вещей (IoT). Уникальность этого обзора заключается в том, что он преодолевает разрыв между академической литературой и промышленной практикой, сопоставляя технические результаты исследований в области противодействия отмыванию денег с новыми стандартами, включая структуру управления рисками в области ИИ NIST (RMF), MITRE ATLAS и ISO/IEC 42001. В заключение мы предлагаем дорожную карту для исследователей, практиков и регулирующих органов по созданию проверяемых, заслуживающих доверия и соответствующих требованиям систем ИИ. - Adversarial Machine Learning: A 20-Year Survey of Attacks, Defenses, and Standards

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Архитектура безопасных ИИ-агентов

2026-05-26T10:00:00.000+03:00

Агенты ИИ, преимущественно работающие на основе больших языковых моделей (LLM), уязвимы для косвенного внедрения подсказок, когда вредоносные инструкции, встроенные в недоверенные данные, могут запускать опасные действия агента. В этом документе излагается наше видение защиты на системном уровне от атак с косвенным внедрением подсказок. Мы формулируем три позиции: (1) динамическое перепланирование и обновление политики безопасности часто необходимы для динамических задач и реалистичных сред; (2) некоторые контекстно-зависимые решения в области безопасности по-прежнему потребуют использования LLM (или других обученных моделей), но должны приниматься только в рамках системных проектов, которые строго ограничивают то, что модель может наблюдать и решать; (3) в случаях с изначально неоднозначной ситуацией персонализация и взаимодействие с человеком должны рассматриваться как основные проектные соображения. В дополнение к нашим основным позициям мы обсуждаем ограничения существующих бенчмарков, которые могут создавать ложное ощущение полезности и безопасности. Мы также подчеркиваем ценность системной защиты, которая служит основой для агентных систем, структурируя и контролируя поведение агентов, интегрируя проверки безопасности на основе правил и моделей, а также позволяя проводить более целенаправленные исследования устойчивости моделей и взаимодействия с человеком. - Architecting Secure AI Agents: Perspectives on System-Level Defenses Against Indirect Prompt Injection Attacks

См. также другие публикации, посвященные агентам

ТГ каналы

2026-05-25T10:55:27.672+03:00

Каналы в Telegram, посвященные безопасности ИИ

Подсудные галлюцинации

2026-05-25T10:00:00.000+03:00

Компанию из Кемерово оштрафовали на 50 тысяч рублей за ссылки на несуществующую судебную практику — их могла сгенерировать нейросеть.

Решение принял Арбитражный суд Западно-Сибирского округа. Как следует из постановления, компания «ЦСС» была ответчиком в процессе о взыскании задолженности. В кассационной жалобе представители компании сделали несколько ссылок на судебные акты с цитатами, которых не существует и информации о них нет ни в одной базе. Однако впоследствии они попросили суд не принимать эти ссылки во внимание, признав, что таких решений нигде нет.

Суд посчитал, что компания предоставила ему заведомо ложные сведения и сфальсифицировала источники. Это посчитали неуважением к правосудию и надеждой на то, что аргументы будут изучаться поверхностно. В суде заявили, что оправданий этому быть не может — даже подготовка жалобы через нейросеть, поскольку в таком случае ответственность за достоверность сгенерированного текста несет лицо, которое использовало эту технологию. Компании выписали судебный штраф в 50 тысяч рублей.

Отсюда

Публикации по теме Искусственный интеллект в кибербезопасности 24.05.2026

2026-05-24T10:00:00.000+03:00

Вопросы безопасности систем ИИ рассматриваются в двух магистерских программах факультета ВМК МГУ имени М.В. Ломоносова: Искусственный интеллект в кибербезопасности и Кибербезопасность. Ниже приведен список публикаций, подготовленных в процессе реализации этих программ по состоянию на 24.05.2026

Ильюшин Е. А., Намиот Д. Е. An approach to the automatic enhancement of the robustness of ml models to external influences on the example of the problem of biometric speaker identification by voice // International Journal of Open Information Technologies. — 2021. — Vol. 9, no. 6. — P. 11–19.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Текущие академические и индустриальные проекты, посвященные устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 10. — С. 35–46.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Основания для работ по устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 11. — С. 68–74.

Намиот Д. Е., Ильшин Е. А., Чижов И. В. Военные применения машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 1. — С. 69–76.

Ильюшин Е. А., Намиот Д. Е., Чижов И. В. Атаки на системы машинного обучения – общие проблемы и методы // International Journal of Open Information Technologies. — 2022. — Т. 10, № 3. — С. 17–22.

Namiot D., Ilyushin E. On monitoring of machine learning models // Distributed Computer and Communication Networks: Control, Computation, Communications (DCCN-2022) : материалы XXV международной научной конференции: Москва, 26–30 сентября 2022 года / под общ. ред. В. М. Вишневского и К. Е. Самуйлова. — РУДН Москва: 2022. — P. 150–157.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 30–34.

Huayu L., Namiot D. A survey of adversarial attacks and defenses for image data on deep learning // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 9–16.

Намиот Д., Ильюшин Е., Пилипенко О. Доверенные платформы искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 119–127.

Намиот Д., Ильюшин Е. Порождающие модели в машинном обучении // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 101–118.

Биджиев Т. М., Намиот Д. Е. Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 21–31.

Намиот Д. Е., Ильюшин Е. А. Об устойчивости и безопасности систем искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 126–134.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Искусственный интеллект и кибербезопасность // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 135–147.

Stroeva E., Tonkikh A. Methods for formal verification of artificial neural networks: A review of existing approaches // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 10. — P. 3.

Намиот Д., Ильюшин Е. Мониторинг сдвига данных в моделях машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 12. — С. 84–93.

Костюмов, Василий Владимирович. "Обзор и систематизация атак уклонением на модели компьютерного зрения." International Journal of Open Information Technologies 10.10 (2022): 11-20.

Намиот Д. Е., Ильюшин Е. А. О причинах неудач проектов машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 1. — С. 60–69.

Намиот Д. Е. Введение в атаки отравлением на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 3. — С. 58–68.

Namiot D. E., Ilyushin E., Chizhov I. On the practical generation of counterfactual examples // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 73–81.

Junzhe S., Namiot D. E. A survey of model inversion attacks and countermeasures // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 82–93.

Junzhe S., Namiot D. A survey of the implementations of model inversion attacks // Communications in Computer and Information Science. — 2023. — Vol. 1748. — P. 3–16.

Намиот Д. Е. Схемы атак на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 5. — С. 68–86.

On the evasion attack detector / L. Huayui, V. Kostyumov, O. Pilipenko, D. Namiot // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 183–188.

Junzhe S., Namiot D. On the machine learning models inversion attack detector // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 194.

Lozinskii I., Kostyumov V., Stroeva E. Extraction of trigger and mask from poisoned data using modified activation clustering and neural cleanse methods // International Journal of Open Information Technologies. — 2023. — Vol. 11, no. 7. — P. 1

Чехонина, Екатерина Андреевна, and Василий Владимирович Костюмов. "ОБЗОР СОСТЯЗАТЕЛЬНЫХ АТАК И МЕТОДОВ ЗАЩИТЫ ДЛЯ ДЕТЕКТОРОВ ОБЪЕКТОВ." International Journal of Open Information Technologies 11.7 (2023): 11-20.

Пришлецов Д. Е., Пришлецов С. Е., Намиот Д. Е. Камуфляж как состязательные атаки на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 9. — С. 41–49.

Намиот Д. Е., Зубарева Е. В. О работе ai red team // International Journal of Open Information Technologies. — 2023. — Т. 11, № 10. — С. 130–139.

Намиот Д. Е., Ильюшин Е. А. Доверенные платформы искусственного интеллекта: сертификация и аудит // International Journal of Open Information Technologies. — 2024. — Т. 12, № 1. — С. 43–60.

Киржинов Д. А., Ильюшин Е. А. Сравнительный анализ алгоритмов атак и защиты на графовые архитектуры ИНС // International Journal of Open Information Technologies. — 2024. — Т. 12, № 2.

Намиот Д. Е., Романов В. Ю. Об улучшении робастности моделей машинного обучения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 3. — С. 88–98.

Junzhe S., Namiot D. On real-time model inversion attacks detection // Lecture Notes in Computer Science. — 2024. — Vol. 14123. — P. 56–67.

Мударова Р. М., Намиот Д. Е. Противодействие атакам типа инъекция подсказок на большие языковые модели // International Journal of Open Information Technologies. — 2024. — Т. 12, № 5. — С. 39–48.

Намиот Д. Е., Ильюшин Е. А. Искусственный интеллект в кибербезопасности: поиск вредоносного программного обеспечения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 6. — С. 143–149.

Lebed, S. V., et al. "Large Language Models in Cyberattacks." Doklady Mathematics. Vol. 110. No. Suppl 2. Moscow: Pleiades Publishing, 2024.

Селевенко Р. М., Строева Е. Н. Исследование и разработка алгоритма формальной верификации и метрики оценки качества на основе методов понижения размерности ИНС // INJOIT. — 2024. — Т. 12, № 6. — С. 2.

Биджиев Т. М., Намиот Д. Е. Атаки на модели машинного обучения, основанные на фреймворке pytorch // Автоматика и телемеханика. — 2024. — № 3. — С. 38–50.

Намиот Д. Е., Ильюшин Е. А. О сертификации систем искусственного интеллекта // Физика элементарных частиц и атомного ядра. — 2024. — Т. 55, № 3. — С. 530–536.

Намиот Д. Е., Куприяновский В. П., Пичугов А. А. Состязательные атаки для автономных транспортных средств // International Journal of Open Information Technologies. — 2024. — Т. 12, № 7. — С. 139–149.

Намиот Д. Е. О кибератаках с помощью систем Искусственного интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 9. — С. 132–141.

Воробьев, Егор Александрович. "Анализ состязательных атак на системы сегментации изображений." International Journal of Open Information Technologies 12.10 (2024): 1-25.

Намиот Д. Е., Ильюшин Е. А. О киберрисках генеративного Искусственного Интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 10. — С. 109–119.

Порывай, Максим Викторович. "Сравнительное исследование методов естественной аугментации изображений." International Journal of Open Information Technologies 12.10 (2024): 26-33.

Герасименко, Денис Валерьевич, and Дмитрий Евгеньевич Намиот. "Извлечение тренировочных данных: Риски и решения в контексте безопасности LLM." International Journal of Open Information Technologies 12.11 (2024): 9-19.

Костиков, Егор Вячеславович. "Методы анализа логов Sysmon для обнаружения киберугроз." International Journal of Open Information Technologies 12.11 (2024): 25-34.

Намиот Д. Е., Ильюшин Е. А. Архитектура LLM агентов //International Journal of Open Information Technologies. – 2025. – Т. 13. – №. 1. – С. 67-74.

Воробьев Е. А., Намиот Д. Е. Состязательное тестирование моделей сегментации изображений // Программная инженерия. — 2025. — Т. 16, № 4. — С. 190–198.

Намиот, Д. Е., and Е. А. Ильюшин. "Об оценке доверия к системам Искусственного интеллекта." International Journal of Open Information Technologies 13.3 (2025): 75-90.

Хамзаева, М. А., and О. Р. Лапонина. "Повышение устойчивости к состязательным атакам моделей машинного обучения для обнаружения межсайтового выполнения сценариев." International Journal of Open Information Technologies 13.6 (2025): 25-33.

Бербер, Д. В., and О. Р. Лапонина. "Разработка подходов к увеличению устойчивости моделей машинного обучения для обнаружения распределенных атак отказа обслуживания." International Journal of Open Information Technologies 13.6 (2025): 16-24.

Егорова, Е. С., and О. Р. Лапонина. "Состязательное тестирование моделей машинного обучения, предназначенных для обнаружения SQL-инъекций." International Journal of Open Information Technologies 13.6 (2025): 34-41.

Лапонина, О. Р., and Р. Н. Костин. "Разработка программного обеспечения моделирования угроз для систем на базе LLM-агентов." International Journal of Open Information Technologies 13.6 (2025): 132-146.

Намиот, Д. Е. "Что LLM знает о кибербезопасности." International Journal of Open Information Technologies 13.7 (2025): 37-46.

Намиот, Д. Е. "Искусственный Интеллект в. Кибербезопасности. Хроника. Выпуск 1." International Journal of Open Information Technologies 13.9 (2025): 34-42.

Намиот, Д. Е., and Е. А. Ильюшин. "О кибербезопасности ИИ-агентов." International Journal of Open Information Technologies 13.9 (2025): 13-24.

Егоров, М. Э., et al. "Объяснения моделей машинного обучения и состязательные атаки." International Journal of Open Information Technologies 13.9 (2025): 50-59.

Намиот, Д. Е., and Е. А. Ильюшин. "Уязвимости экосистемы MCP." International Journal of Open Information Technologies 13.10 (2025): 74-82.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 2." International Journal of Open Information Technologies 13.10 (2025): 58-67.

Poryvai, Maxim, and Dmitry Namiot. "On Natural Image Augmentation to Increase Robustness of Machine Learning Models." 2025 International Russian Automation Conference (RusAutoCon). IEEE, 2025.

Namiot D., Zubareva E. On open datasets for llm adversarial testing // Communications in Computer and Information Science. — 2025. — Vol. 2641. — P. 137–148.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 3." International Journal of Open Information Technologies 13.11 (2025): 169-179.

Maloyan, Narek, Bislan Ashinov, and Dmitry Namiot. "Investigating the Vulnerability of LLM-as-a-Judge Architectures to Prompt-Injection Attacks." arXiv preprint arXiv:2505.13348 (2025).

Maloyan, Narek, and Dmitry Namiot. "Adversarial Attacks on LLM-as-a-Judge Systems: Insights from Prompt Injections." arXiv preprint arXiv:2504.18333 (2025).

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 4." International Journal of Open Information Technologies 14.1 (2026): 81-94.

Maloyan, Narek, and Dmitry Namiot. "Prompt Injection Attacks on Agentic Coding Assistants: A Systematic Analysis of Vulnerabilities in Skills, Tools, and Protocol Ecosystems." arXiv preprint arXiv:2601.17548 (2026).

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 5." International Journal of Open Information Technologies 14.2 (2026): 47-57.

Maloyan, Narek, and Dmitry Namiot. "Breaking the Protocol: Security Analysis of the Model Context Protocol Specification and Prompt Injection Vulnerabilities in Tool-Integrated LLM Agents." arXiv preprint arXiv:2601.17549 (2026).

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 6." International Journal of Open Information Technologies 14.3 (2026): 76-86.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 7." International Journal of Open Information Technologies 14.5 (2026): 43-56.

Евграфов, Владимир Андреевич, Маратович Нутфуллин Булат, and Дмитрий Евгеньевич Намиот. "Методы атак и защиты в агентных системах на основе больших языковых моделей." International Journal of Open Information Technologies 14.5 (2026): 1-8.

Namiot, Dmitry. "On the AI Agents Audit Model." 2026 International Russian Smart Industry Conference (SmartIndustryCon). IEEE2026.

Namiot, Dmitry Evgenyevich, and Valery Alexandrovich Vasenin. "Осведомленность о фишинге–вопросы обучения." Современные информационные технологии и ИТ-образование 21.2 (2025): 221-229.

Kuzmenko, Ilya Dmitrievich, Dmitry Evgenyevich Namiot, and Valery Alexandrovich Vasenin.. "Методы обнаружения дипфейков в видеоконференциях в реальном времени." Современные информационные технологии и ИТ-образование 21.2 (2025): 204-220.

Атаки на VLM

2026-05-23T10:00:00.000+03:00

Модели визуально-языкового анализа (VLM) все чаще используются в качестве авторитетных источников информации — для проверки фактов на изображениях в социальных сетях, сравнения товаров и модерации контента. Пользователи неявно доверяют этим системам, полагая, что они воспринимают тот же визуальный контент, что и они. Мы показываем, что состязательные примеры нарушают это предположение, позволяя осуществлять «отмывание авторитета ИИ»: злоумышленник незаметно искажает изображение таким образом, чтобы VLM выдавала уверенные и авторитетные ответы о «неправильном» вводе. В отличие от взлома или внедрения подсказок, наши атаки не нарушают согласованность модели; атака действует исключительно на уровне восприятия. Мы демонстрируем, что стандартные атаки на общедоступные модели CLIP надежно переносятся на используемые в производстве VLM, включая GPT-5.4, Claude Opus~4.6, Gemini~3 и Grok~4.2. На четырех типах поверхностей атаки мы показываем, что «отмывание авторитета» может усиливать дезинформацию, дискредитировать отдельных лиц, обходить модерацию контента и манипулировать рекомендациями товаров. Наши атаки демонстрируют высокую вероятность успеха: в сотнях атак, направленных на манипулирование идентификацией и обход защиты от контента непристойного характера, мы измерили показатели успешности для шести моделей. Не требуется никаких новых алгоритмов атаки: достаточно базовых методов, известных более десяти лет, что устанавливает нижний предел возможностей злоумышленника, который должен вызывать беспокойство у защитников. Наши результаты показывают, что устойчивость к визуальному противодействию теперь является практической — и до сих пор во многом нерешенной — проблемой безопасности. - Laundering AI Authority with Adversarial Examples

См. также другие публикации, посвященные LLM

Агентские долги

2026-05-22T10:00:00.000+03:00

Сегодня любой может создать локального агента с минимальными усилиями. С помощью нескольких вызовов LLM, командной строки и нескольких определений инструментов этот агент начнет выполнять реальную работу в течение нескольких минут. Но что произойдет, когда этого агента нужно будет запустить в производство и использовать всему инженерному отделу с реальными данными и реальными последствиями? - Скрытые технические долги агентов

См. также другие публикации, посвященные агентам

Как использовать Gen AI

2026-05-21T10:00:00.000+03:00

Google опубликовал 1300+ примеров использования генеративного ИИ

Состязательная устойчивость LLM

2026-05-20T11:18:00.000+03:00

Большие языковые модели достигли замечательных успехов, но остаются крайне уязвимыми для атак типа «взлом системы», когда враждебные подсказки заставляют модели генерировать вредоносные, неэтичные или нарушающие правила выходные данные. Такие атаки представляют собой реальные риски, подрывая безопасность, доверие и соблюдение нормативных требований в приложениях с высокими ставками. Хотя было предложено множество методов атаки и защиты, существующие методы оценки неадекватны, часто опираясь на узкие метрики, такие как процент успешности атаки, которые не отражают многомерный характер безопасности LLM. В этой статье мы представляем систематическую таксономию атак и методов защиты типа «взлом системы» и представляем Security Cube — единую многомерную структуру для всесторонней оценки этих методов. Мы приводим подробные сравнительные таблицы существующих атак и методов защиты, выделяя ключевые выводы и открытые проблемы в литературе. Используя Security Cube, мы проводим сравнительные исследования 13 репрезентативных атак и 5 методов защиты, создавая четкое представление о текущей ситуации, охватывающей атаки типа «взлом системы», методы защиты, автоматизированные системы проверки и уязвимости БЛМ. На основе этих оценок мы обобщаем важные выводы, выявляем нерешенные проблемы и намечаем перспективные направления исследований для повышения устойчивости LLM к атакам с использованием джейлбрейка. Наш анализ призван проложить путь к созданию более надежных, интерпретируемых и заслуживающих доверия систем LLM. Наш код доступен на Code. - SoK: Robustness in Large Language Models against Jailbreak Attacks

См. также другие публикации, посвященные LLM

Об оценке ответов LLM

2026-05-19T16:57:34.635+03:00

Как создать легковесную систему оценки, которая измеряет достоверность, выявляет галлюцинации и преобразует субъективные результаты LLM в воспроизводимые метрики — и всё это на чистом Python.

См. также другие публикации, посвященные LLM

Патчи с произвольной геометрией

2026-05-19T10:42:00.011+03:00

Глубокие нейронные сети (DNN) уязвимы для атак с использованием состязательных патчей, что вызывает опасения по поводу безопасности систем распознавания лиц, использующих DNN. Предыдущие методы генерации состязательных патчей обычно оптимизируют возмущения в областях, которые максимально влияют на критически важные черты лица. Однако эти существующие методы в основном ограничены фиксированными формами, такими как прямоугольники или квадраты. Это ограничивает последующую оптимизацию текстуры патча этими четырехугольниками, что приводит к неоптимальной адаптации к сложным геометрическим формам критически важных черт лица, что может ограничить эффективность и переносимость состязательных атак. Для решения этой проблемы в данной статье предлагается метод генерации состязательных патчей (PAP) на основе алгоритма роевой оптимизации частиц (PSO) для создания динамического патча, который будет внедрен в лицо. В предлагаемом методе PAP, используя алгоритм роевой оптимизации частиц (PSO) с целью определения состязательного сходства, алгоритм осуществляет поиск внутри базового круга для определения оптимальной формы и положения предопределенного патча. Этот подход позволяет патчу демонстрировать экстраполяцию полигональных деформаций, обеспечивая оптимальный баланс местоположения, текстуры и геометрии, что повышает переносимость патча при атаках с использованием подмены личности. Для оценки уязвимости моделей распознавания лиц мы исследуем атаки с использованием подмены личности в условиях «черного ящика». Обширные эксперименты показывают, что предложенный PAP улучшает эффективность атак на различные модели распознавания лиц и наборы данных. Более того, PAP обеспечивает лучшую переносимость на коммерческих системах распознавания лиц, чем существующие методы. - PSO-based Black-box Adversarial Patch Attack against Face Recognition

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Майские ресурсы: безопасность Gen AI

2026-05-18T11:57:21.103+03:00

Top Agentic AI security resources — May 2026

Top MCP security resources — May 2026

Top GenAI security resources — May 2026

/via Adversa.ai