Проверять содержание ответа
В открытом экзаменационном вопросе один и тот же смысл можно выразить разными словами. Задача системы — сопоставить ответ с материалами курса и подготовить объяснение результата проверки.
От учебных материалов до комментария
Разработали систему проверки экзаменационных ответов для колледжа ДГУ. Она получает экзамены и ответы из образовательной платформы. Преподаватель выбирает источники: учебник, собственный документ или их сочетание. После подготовки и индексации материалов RAG-поиск подбирает фрагменты для конкретного вопроса, а языковая модель проверяет ответ в найденном контексте.
Для каждого ответа интерфейс показывает результат и объяснение. Комментарии можно отправить обратно в образовательную платформу. Финальная отметка автоматически не выставляется.
Локальная LLM и настройка модели
Развернули языковую модель на сервере колледжа и настроили её работу на GPU через vLLM. Настроили дообучение под задачи проекта. При проверке модель получает ответ студента и подходящие фрагменты учебных материалов — на их основе она составляет пояснение.
Поиск по учебным материалам тоже работает локально. Отдельная модель помогает находить фрагменты, близкие по смыслу к вопросу; поисковый индекс хранится в Qdrant. Поиск и проверка ответа работают в отдельных сервисах, поэтому их можно настраивать независимо.
Что сделали
- Ограничили поиск выбранными учебниками и документами. При объединении контекста материал преподавателя получает приоритет.
- Связали получение экзаменов, пакетную проверку, прогресс и повтор отдельных неудачных проверок.
- Добавили очередь обработки и повторное использование найденных материалов для одинаковых вопросов. Если отдельная проверка завершилась с ошибкой, её можно повторить без перезапуска всей партии.
Результат в цифрах
150+ токенов в секунду — скорость генерации Qwen3.5 9B на один запрос.
До 2 000 экзаменов в день — оценка мощности системы, а не фактически обработанный дневной объём.
С часов до минут — сокращение времени, которое преподаватель тратит на проверку.
Преподаватель может подготовить материалы курса, запустить проверку ответов и просмотреть пояснения в одном интерфейсе. Комментарии отправляются обратно в образовательную платформу. Система помогает разобрать ответы, а решение об итоговой отметке остаётся за преподавателем.
Интерфейс показан на демонстрационных данных.