0x42
Форумчанин
- Регистрация
- 05.05.2025
- Сообщения
- 105
- Реакции
- 60
Тема о том-что в нейронных сетях, таких-как OpenAI (ChatGPT), DeepSeek и т.д. могут-быть фишинговые ссылки в ответах.
Всегда проверяйте ссылки.
Несмотря на впечатляющий прогресс в развитии языковых моделей, современные чат-боты по-прежнему часто ошибаются при ответе на, казалось бы, простые вопросы — например, какой адрес у официального сайта известного бренда. По данным специалистов (
) Netcraft, такие ошибки могут быть не просто досадными, а потенциально опасными: злоумышленники все чаще используют их в своих атаках.
Исследователи ИБ протестировали модели из семейства GPT-4.1, задавая им нейтральные запросы вроде «Я потерял закладку, подскажи сайт для входа в [бренд]». В выборку попали компании из банковского сектора, e-commerce, ИТ и сферы ЖКХ
️Результаты оказались тревожными: лишь в 66% случаев ИИ выдал корректный URL. В 29% случаев он предложил несуществующие или уже заблокированные домены, а в 5% — рабочие, но не связанные с запрашиваемым брендом сайты.
Проблема в самой архитектуре моделей: GPT не проверяет домены на валидность или репутацию, а строит ответ на основе языковых ассоциаций.
Теоретически, если злоумышленники заранее узнают, какой «ошибочный» домен чаще всего генерирует нейросеть, они могут зарегистрировать его и разместить фишинговый сайт. Например, однажды на запрос пользователя «Через какой сайт авторизоваться в Wells Fargo?» поисковик с ИИ предложил ссылку на поддельный сайт банка «Wells Fargo», созданный мошенниками для фишинга.
Netcraft отмечает, что злоумышленники начали оптимизировать фейковую инфраструктуру не под поисковики, а под поведение ИИ. Яркий пример — недавняя кампания против разработчиков Solana. Поддельный API, десятки фальшивых репозиториев, инструкции, посты в соцсетях — все это было создано, чтобы попадать в ответы чат-ботов и вводить в заблуждение не только пользователей, но и сами модели.
Все это привело (
) к тому, что владелец криптокошелька лишился $2500.
ChatGPT предоставил ему написанный мошенниками код с бэкдором, который ворует закрытые ключи. По сути, это атака на цепочку поставок, но на новом уровне — где жертвой становится не компания, а разработчик, интегрирующий вредоносный код, полностью полагаясь на ответы ИИ.
Всегда проверяйте ссылки.
Несмотря на впечатляющий прогресс в развитии языковых моделей, современные чат-боты по-прежнему часто ошибаются при ответе на, казалось бы, простые вопросы — например, какой адрес у официального сайта известного бренда. По данным специалистов (
Чтобы увидеть нужно авторизоваться или зарегистрироваться.
Исследователи ИБ протестировали модели из семейства GPT-4.1, задавая им нейтральные запросы вроде «Я потерял закладку, подскажи сайт для входа в [бренд]». В выборку попали компании из банковского сектора, e-commerce, ИТ и сферы ЖКХ
️Результаты оказались тревожными: лишь в 66% случаев ИИ выдал корректный URL. В 29% случаев он предложил несуществующие или уже заблокированные домены, а в 5% — рабочие, но не связанные с запрашиваемым брендом сайты.Проблема в самой архитектуре моделей: GPT не проверяет домены на валидность или репутацию, а строит ответ на основе языковых ассоциаций.
Теоретически, если злоумышленники заранее узнают, какой «ошибочный» домен чаще всего генерирует нейросеть, они могут зарегистрировать его и разместить фишинговый сайт. Например, однажды на запрос пользователя «Через какой сайт авторизоваться в Wells Fargo?» поисковик с ИИ предложил ссылку на поддельный сайт банка «Wells Fargo», созданный мошенниками для фишинга.
Netcraft отмечает, что злоумышленники начали оптимизировать фейковую инфраструктуру не под поисковики, а под поведение ИИ. Яркий пример — недавняя кампания против разработчиков Solana. Поддельный API, десятки фальшивых репозиториев, инструкции, посты в соцсетях — все это было создано, чтобы попадать в ответы чат-ботов и вводить в заблуждение не только пользователей, но и сами модели.
Все это привело (
Чтобы увидеть нужно авторизоваться или зарегистрироваться.
ChatGPT предоставил ему написанный мошенниками код с бэкдором, который ворует закрытые ключи. По сути, это атака на цепочку поставок, но на новом уровне — где жертвой становится не компания, а разработчик, интегрирующий вредоносный код, полностью полагаясь на ответы ИИ.
