Риски искусственного интеллекта в образовании

# Риски искусственного интеллекта в образовании: регламент для школы

Главные риски искусственного интеллекта в образовании возникают не из-за самого слова «нейросеть», а из-за конкретных действий: сотрудник загрузил персональные данные, ученик выдал чужой текст за свой, модель придумала факт, а решение приняли без проверки. Для каждого риска можно заранее назначить запрет, контроль и ответственного.

Какие риски ИИ должна контролировать образовательная организация

Основные риски искусственного интеллекта в образовании связаны с передачей персональных данных, вымышленными фактами и ссылками, подменой самостоятельной работы и автоматическими решениями о человеке. До массового использования организация определяет разрешённые сервисы, запретные данные, обязательную проверку и порядок сообщения об ошибке. Во внешнюю модель нельзя без правового основания передавать сведения, по которым можно определить ученика, родителя или сотрудника. Нейросеть не должна самостоятельно выставлять итоговую оценку, назначать дисциплинарную меру или влиять на допуск и трудовые решения. Для сотрудников и обучающихся нужны короткие примеры разрешённых и запрещённых действий. При инциденте фиксируют сервис, данные, получателя, время и принятые меры, а затем корректируют инструкцию и обучение.

Запреты, проверки и порядок действий при ошибке

Материал не предлагает запрещать всё. Он помогает отделить безопасные учебные сценарии от решений, где нужны персональные данные, профессиональная оценка и ответственность человека.

Пять рисков, которые надо разобрать до запуска

Этот список лучше разбирать на реальных процессах организации. Абстрактный запрет сотрудники обойдут, если работа всё равно требует результата к пятнице.

• Передача персональных данных ученика, родителя или сотрудника во внешний сервис.

• Правдоподобная ошибка модели в документе, учебном материале или аналитической сводке.

• Автоматическое решение, которое влияет на оценку, дисциплинарную меру или право человека.

• Подмена самостоятельной работы ученика или педагога готовым сгенерированным текстом.

• Зависимость от сервиса: изменение условий, блокировка доступа, потеря истории или невозможность выгрузить результат.

Сколько студентов уже используют ИИ и с каким мотивом

Разговор о рисках обычно начинают с гипотез, хотя данные по своей аудитории собрать несложно. Показательное измерение приводила В. В. Мантуленко (Самарский государственный экономический университет) по итогам исследования, проведённого с октября 2024 по февраль 2025 года: половина студентов использует искусственный интеллект в обучении регулярно.

Важнее самой доли оказался разбор мотива. Автор ставит вопрос ребром: за использованием стоит экономия времени или нежелание думать — и это два принципиально разных случая, требующих разной реакции организации. В первом инструмент снимает механическую часть работы, во втором подменяет само обучение.

Из того же разбора следует практический вывод для руководителя: запрет не разделяет эти два случая, а регламент и построение заданий — разделяют. Отсюда и рабочая рамка: разрешить вспомогательное использование с указанием, что и как применялось, и перенести вес оценки на то, что нельзя сгенерировать — собственные данные, эксперимент, устную защиту.

Красные линии

Красные линии должны читаться за минуту. Их размещают в инструкции, на странице внутреннего портала и в материалах обучения.

• Не вводить в открытые генеративные сервисы ФИО, контакты, оценки, медицинские сведения, характеристики и другие данные, позволяющие определить человека.

• Не принимать автоматически итоговые решения об оценке, допуске, дисциплинарной мере, приёме или увольнении.

• Не публиковать сгенерированный факт, ссылку или цитату без проверки первоисточника.

• Не использовать личный аккаунт сотрудника для служебных данных и документов.

• Не скрывать инцидент. Ошибочную передачу данных надо быстро остановить и передать ответственному по внутреннему порядку.

Структура локального регламента

1. Цель документа и круг пользователей: сотрудники, педагоги, обучающиеся или отдельные группы.

1. Разрешённые сервисы и процедура добавления нового инструмента.

1. Разрешённые задачи и перечень запрещённых данных.

1. Обязательная проверка результата человеком и ответственность за финальный документ.

1. Правила авторства и указания помощи ИИ в учебных и методических работах.

1. Порядок сообщения об ошибке, утечке или спорном решении.

1. Срок пересмотра регламента и ответственный за обновление.

Как проверять ответ модели

Проверка зависит от задачи. Для нормативного текста открывают первоисточник и сверяют номер, дату и содержание нормы. Для учебного материала решают задачу отдельно или сравнивают с учебником. Для аналитики пересчитывают выборку и несколько исходных записей.

Фраза «ответ выглядит разумно» не считается проверкой. У каждой задачи должен быть способ подтвердить результат без помощи той же модели.

Что делать при инциденте

1. Остановить работу с сервисом и сохранить сведения о времени, аккаунте, запросе и переданных данных.

1. Сообщить руководителю процесса и ответственному за персональные данные или информационную безопасность.

1. Определить круг затронутых данных и пользователей, не расширяя доступ к материалам.

1. Действовать по внутреннему плану реагирования и применимым требованиям, включая уведомления, если они обязательны.

1. После разбора изменить доступ, инструкцию или процесс обучения, а не ограничиваться разговором с одним сотрудником.

Пять ситуаций, из-за которых регламент пишут задним числом

Регламент почти всегда появляется после конкретного случая. Типовые пять: педагог загрузил работы с персональными данными в бесплатный сервис; ученик сдал работу, сделанную нейросетью, и школа не смогла ни доказать, ни опровергнуть; ИИ-справка с ошибочными цифрами ушла в министерство; материал, созданный моделью, использовали в конкурсной заявке; родители обвинили школу в том, что решение о ребёнке принимала программа.

Каждая из этих ситуаций закрывается заранее — коротким документом на две страницы: где ИИ уместен, какие данные никогда не выходят за пределы школы, кто проверяет результат, кто отвечает за ошибку, что делать при инциденте. Дальше документ живёт только вместе с обучением: правила, которых коллектив не понимает, не соблюдаются.

Отдельно стоит держать в поле зрения работы учеников: в программе ноябрьской конференции есть блок о допустимой ИИ-помощи, проверке самостоятельности, авторском праве и закреплении правил в локальных актах.

Как обучить коллектив без формальной лекции

Возьмите четыре ситуации из обычной работы: письмо родителю, характеристика ученика, подготовка задания и протокол совещания. Пусть сотрудники решат, что можно передавать модели, что надо обезличить и как проверить результат.

После такого разбора правила запоминаются лучше, чем после часа общих слов об этике. Заодно выясняется, где инструкция расходится с реальной нагрузкой.

Что делает правила работающими

Регламент соблюдается, когда коллектив понимает технологию, а не боится её. По ограниченной акции* зарегистрированному участнику может быть предоставлен онлайн-курс «Базовый специалист по ИИ», который не входит в пакет конференции. Полученные знания можно использовать для объяснения правил коллективу; при успешном прохождении выдаётся диплом Фонда развития государственного и муниципального управления.

Это дешевле, чем нарабатывать собственные инциденты.

Частые вопросы

Можно ли полностью запретить ученикам использовать ИИ?

Организация может устанавливать правила выполнения и проверки работ, но один общий запрет плохо управляет реальными сценариями. Практичнее определить разрешённую помощь, обязательное указание использования и способы проверки самостоятельности.

Кто отвечает за ошибку в документе, подготовленном нейросетью?

Ответственность за служебный документ остаётся у сотрудника и должностных лиц, которые его подготовили, проверили и утвердили. Поэтому обязательная человеческая проверка закрепляется в регламенте.

Достаточно ли удалить фамилию перед загрузкой текста?

Не всегда. Человека могут определить по совокупности школы, класса, события, диагноза, должности и других деталей. Обезличивание оценивают по всему набору данных.

Источники

• Федеральный закон № 152-ФЗ, статья 5 — принципы обработки персональных данных

• Федеральный закон № 152-ФЗ, статья 7 — конфиденциальность персональных данных

• UNESCO: Guidance for generative AI in education and research — защита данных, возрастная уместность и человеческий контроль