Тесты были зелёными, а задача — неправильной: как я проверял 27 генераторов геометрии
Так выглядит задача на сайте: условие, варианты ответа и разбор.
Представьте пятиклассника, который открывает задачу: «Может ли существовать треугольник со сторонами 3, 4 и 8?» Варианты — «да» и «нет». Если генератор ошибся и считает, что может, ребёнок выбирает «да», получает зелёную галочку и уходит с уверенностью, что 3 + 4 = 8.
Это не абстрактный баг. Это момент, после которого ребёнок может решить, что геометрия — не его. И именно такой баг обычные тесты не видят.
В прошлой статье я разбирал, как устроен генератор школьных задач: seed, Task, 1 809 проверенных заданий, сокращение sitemap с 1 547 до 453 URL. После неё я добавил 27 тем геометрии для 7–11 классов. Код писался быстро. А потом началось самое неприятное — проверка того, что каждая задача не врёт ребёнку.
Зелёные тесты не значат «правильно»
Самый простой тест проверяет форму: генератор вернул задачу, ответ не пустой, правильный вариант есть среди вариантов, шаги решения заполнены. Такой тест полезен. Он ловит падения, пустые ответы и потерянные варианты.
Но он не отвечает на главный вопрос: а задача вообще имеет смысл?
Если генератор уверенно запишет «треугольник существует» для сторон 3, 4 и 8, тест пройдёт. Ответ есть, шаги есть, вариант есть. Всё зелёное. А ребёнок получает ложь.
Поэтому для геометрии пришлось проверять не только программу, но и математику. И делать это так, чтобы проверка не была копией того же кода, который сгенерировал задачу.
Проверка, которая смотрит на задачу глазами учителя
Для треугольника всё просто: сумма двух меньших сторон должна быть строго больше третьей. Если в условии 3, 4 и 8, то 3 + 4 = 7, а 7 меньше 8. Треугольника нет, и никакие варианты ответа этого не изменят.
Для углов при параллельных прямых правило другое: соответственные и накрест лежащие равны, а односторонние в сумме дают 180°. Если генератор говорит «65°», а на чертеже это односторонний угол при исходных 65°, ответ неверный, хотя выглядит правдоподобно.
Для медиан работает отношение 2:1. Для окружности — связь радиуса и диаметра. Для уравнения окружности — знак перед координатой центра.
Это не «ещё один тест на всякий случай». Это отдельный взгляд: не «программа не упала», а «учитель бы это принял».
Ошибка, которую видит ребёнок, а тест — нет
Одна из таких ошибок была у меня в уравнении окружности. Генератор подставлял отрицательную координату в шаблон с минусом и выдавал:
(x − -3)² + (y − 2)² = 25
Математически всё верно. Но ребёнок видит «минус минус три» и останавливается. Это уже не задача на окружность, а задача на расшифровку записи.
Формально ответ есть, варианты на месте, тест зелёный. А объяснение начинается не с геометрии, а с того, почему в скобке два знака.
Пришлось отдельно проверять, что в тексте нет двойных знаков, пустых скобок и конструкций, которые взрослый прочитает, а ребёнок — нет.
Ошибка, которая не про математику, а про возраст
Была и другая история, ещё до геометрии. Генератор для 5 класса мог выдать вычитание дробей с отрицательным ответом. Формально пример решался правильно. Но отрицательные дроби в 5 классе ещё не проходят.
Ребёнок видел −17/15, не понимал, откуда взялся минус, и терял уверенность. Родитель видел то же самое и закрывал вкладку. Ни один тест на «ответ входит в варианты» этого не поймает, потому что ответ действительно входит.
Возраст — не тип данных. Это предметное ограничение, которое нельзя проверить регуляркой. Для него нужна отдельная проверка: какие темы и какие числа допустимы в этом классе.
Ошибка, которую не видит даже учитель
Есть третий тип — неоднозначность. Формулировка «найди угол» может относиться к двум разным углам на рисунке. В коде есть один правильный ответ, в голове ученика — другой. Оба по-своему правы, но система принимает только один.
Такую ошибку не ловит ни тест, ни быстрый просмотр страницы. Её видно только тогда, когда садишься и решаешь задачу так, как её прочитает ребёнок.
Поэтому после автоматических проверок я всё равно беру несколько задач с каждого уровня и решаю их на бумаге. Медленно. Но иначе проверяешь не задачу, а её наличие.
Что я понял про генераторы
Генератор задач — это не «контент, который делает себя сам». Это инструмент, который создаёт много вариантов, и каждый вариант кто-то должен проверить.
Сейчас в проекте 227 тестов. Для 27 новых тем есть отдельный набор: он проверяет регистрацию, уникальность текстов, варианты ответа, воспроизводимость по seed и связанные темы. Для части геометрических тем добавлены проверки по смыслу: неравенство треугольника, углы при параллельных прямых, знаки в уравнении окружности.
Но я не считаю, что этого достаточно. Тест может подтвердить, что ответ есть. Он не может подтвердить, что задача не отбивает у ребёнка желание учиться.
Именно поэтому в статьях про образовательный продукт меня больше интересует не «сколько страниц сгенерировано», а «что увидит ребёнок, когда ошибётся». Если он увидит понятное объяснение и сможет исправиться — генератор работает. Если увидит (x − -3) и закроет вкладку — не работает, сколько бы тестов ни было зелёным.
Вместо вывода
В первой статье я заканчивал на том, что генератор можно написать за вечер, а доверие к нему набирается дольше. После 27 тем геометрии это стало ещё заметнее.
Код может быть аккуратным, тесты — зелёными, страницы — быстрыми. Но если задача не существует, условие не по классу или запись пугает ребёнка, всё это не помогает. Проверять нужно не только программу, но и человека, который останется с задачей один на один.
Теги:
- python
- django
- тестирование
- образование
Хабы:
- Python
- Django