Как студенты ИТМО поставили русским LLM непробиваемый щит

Ваш чат-бот - шпион? Студенты создали щит для нейросетей

За 12 минут обсуждаем:

Пока все играют с чат-ботами, хакеры нашли в них "открытую дверь" для кражи данных. Но, кажется, студенты из ИТМО оказались хитрее! Наши ведущие, мужчина и женщина, обсуждают, как вчерашние магистранты создали "фейс-контроль" для нейросетей, который уже тестируют крупные компании в России.

Что вы узнаете из диалога:

• Что такое H-trace - объясняем, как работает "умный охранник", который не пускает вредные запросы к нейросетям.

• Неожиданный поворот - почему этот "непробиваемый щит" создали не гуру кибербезопасности, а студенты, и как им это удалось.

• Спорный момент - студенты против гигантов. Ведущие спорят, кому бы вы доверили свою безопасность: гибкому стартапу или корпорации с именем?

• Практическая польза - как это защищает лично вас, когда вы общаетесь с ботом вашего банка или интернет-магазина.

• Забавный факт - как компании раньше защищали свои нейросети "цифровым колхозом" и почему это больше не работает.

Самые интересные моменты обсуждения:

 * Разбираем "промпт-инъекцию" - как в безобидный вопрос "какая погода?" хакер может спрятать команду "отдай мне базу клиентов".

 * Ведущая восхищается смекалкой студентов, а ведущий напоминает, что в кибербезопасности не бывает 100% гарантий.

 * Аналогия "Шерифы в городе AI" - почему эпоха Дикого Запада для нейросетей подходит к концу и наступает время наводить порядок.

Упомянутые в выпуске:

 * Разработка: H-trace от студентов ИТМО.

 * Угрозы: Промпт-инъекции, джейлбрейк (список OWASP Top 10 для AI).

 * Российские нейросети: GigaChat от Сбера, YandexGPT.

🎧 Включайте прямо сейчас!

Всего 12 минут - и вы поймете, почему милый помощник на экране может быть опасен и кто нас от этого защитит.

Слушайте, как наши ведущие спорят, шутят и выясняют, можно ли доверять нейросетям.

💬 Делитесь мнением в комментариях на нашем канале Дзен

https://dzen.ru/id/67b32972c1e9cc7bfefb3174

🔔 Подписывайтесь, чтобы не пропустить новые выпуски!