Косвенные промпт-инъекции в ИИ: новые риски для судопроизводства

Помимо всех преимуществ, ИИ несет в себе много рисков, с которыми мы скоро столкнемся.Недавно общался с разработчиками ИИ-систем. Кроме уже привычных проблем (этика, конфиденциальность, "галлюцинации") , мне рассказали еще об одной потенциальной угрозе - косвенных промпт-инъекциях. Что это такое?Косвенная промпт-инъекция - это системная инструкция для ИИ, вшитая в документ невидимым шрифтом, прозрачным текстом, в метаданных или даже в изображениях.

Человек глазами ее не увидит, а ИИ- прочитает и выполнит, как приказ.Проблема в том, что большие языковые модели не всегда различают системные инструкции и обычный текст. Все, что попадает в их «контекстное окно», воспринимается как единая команда. А значит, это открывает возможности для манипуляций. Реальные кейсы в HRПервыми с этой проблемой столкнулись HR-специалисты, которые начали отбирать резюме с помощью ИИ.Недобросовестные соискатели встраивают в свое резюме скрытые инструкции, чтобы ИИ игнорировал все изучаемые резюме и отдал предпочтение именно этому кандидату.В итоге ИИ-скрининг выделяет эти резюме с инъекциями как лучшие, несмотря на реальный опыт кандидатов и их скиллы.Системы, которые обрабатывают весь текст документа, включая скрытые элементы, легко попадаются на такие трюки. Почему это критично для судопроизводстваТеперь представьте, что подобные "хакерские" техники начнут использовать в судебных процессах.Например, недобросовестные юристы начнут встраивать в свои процессуальные документы системные инструкции, чтобы ИИ проигнорировал позицию процессуального оппонента, а их требования наоборот признал законными и обоснованными.Если суд или адвокат используют ИИ для анализа материалов, система может поддержать сторону, внедрившую скрытый промпт. В автоматизированных системах анализа дел и прогнозирования исходов это открывает путь к манипуляциям.Косвенные промпт-инъекции - это не теория, а реальная угроза для судопроизводства в эпоху ИИ. Эта проблема потребует комплексного..