A quick note first: this is the one and only post here in Bulgarian. I realize a tool built around Bulgarian school exams is of little use to most of my technical readers, and the few people it could actually help – parents and students in Bulgaria – will be searching for it in Bulgarian. Apologies to everyone else; normal service resumes with the next post.
Тази пролет дъщеря ми се готвеше за НВО по български език и литература. Проблемът в подготовката никога не беше самото писане на есе, а оценяването му. Можем аз или майка ѝ да прочетем есето ѝ и да кажем „става“; да го оценим по трите официални критерия на МОН, есе след есе, е учителска работа – а учител под ръка всяка вечер нямаше. Затова ѝ направих оценител – приложение, което проверява всяко есе по същите критерии. Споменах го за пръв път още през май – сега е ред на подробностите.
„Тези“ е малък уеб тренажор за есета, който върви на същия сървър като този блог. Името идва от тезата – гръбнакът на всяко изпитно съчинение. Покрива 256 теми от програмата по литература за 8.–12. клас – 188 литературни, 68 аргументативни – от НВО в 10. до матурата в 12. клас. Всички изучавани автори са вътре – от Ботев, Вазов и Алеко до Вапцаров, Талев и Димов. Приложението пуска 20-минутен изпитен таймер, после праща текста към AI, който връща оценка от 2 до 6 на стъпки от 0.25, точки по трите критерия (общо 30) и подробна обратна връзка. Десетокласник вижда само темите до своя клас, а критериите, по които се оценява, също са съобразени с класа.
Имах и как да проверя самия оценител: оценките, които даваше на есетата на дъщеря ми, съвпадаха с тези, които тя получаваше в реалния живот. НВО е изпит от няколко компонента и есето е само един от тях – но поне за него имаше сверка.
Родителите получават пълната оценка по имейл след всяко есе и могат да възлагат теми за домашно. Има и игрови елементи: нива, постижения и брояч на поредните дни писане – защото потребителите са тийнейджъри.
Проблемът, който не очаквах, беше модерацията. Съвсем разумно е да искаш филтър там, където тийнейджъри пращат свободен текст, но българският литературен канон е мрачен: Ботев зове към въстание, Бай Ганьо е ходещ каталог от предразсъдъци. Когато е по темата, това трябва да мине; същите думи извън темата обаче трябва да бъдат спрени. Да блокираш добросъвестен анализ на Ботев е по-голяма беда, отколкото да пропуснеш някоя грубост, затова филтърът знае зададената тема, при съмнение пропуска и само грубо съдържание без връзка с темата смъква оценката до 2.
Към всяка тема има и бутон „Виж пример“: подбрано примерно есе с оценка поне 5.75, по едно за всяка от 256-те теми. Една 4.25 боли по-малко, когато веднага можеш да прочетеш как изглежда почти шестица по същата тема – разликата се превръща в нещо, от което да се учиш, а не просто в число.
Темите не се изчерпват с каталога: ученици и родители могат да добавят свои, а най-бързият начин е бутонът с камерата – снимаш разпечатан тест, модел за разпознаване на изображения извлича темата и преписва ръкописното есе под нея, а снимката изобщо не се записва на диск. Друга битка беше „Подобри есето ми“, което пренаписва текста към по-висока оценка, като пази гласа на ученика, и показва дума по дума какво е променено: едно подобрение минава през няколко кръга генериране и преоценяване и отнема 60–90 секунди.
Това никога не е било замисляно като комерсиален проект – съществува, за да помага на дъщеря ми с ученето. По-голямата част от кода не съм писал на ръка; моята част са решенията за критериите, правилата за модерация и подборът на примерите. Самото приложение обаче е отворено и безплатно: tezi.harizanov.com вече приема всеки Google акаунт – избери тема и виж какво ще каже AI-оценителят. Използването на моделите е за моя сметка – всичко минава през външни API-та, без локални модели, а всяка функция е с лимит на заявките, за да не може някой да завърти сметката за една вечер. Отварям го, защото може да свърши работа и на други ученици; ако разходите пораснат, просто ще огранича регистрацията отново. Така или иначе, приложението остава онлайн и за следващия изпитен сезон.
Накрая – едно уточнение. „Тези“ не замества учителя и няма такива претенции: никое приложение не може да даде онова, което дава добрият преподавател. То е помощник за вкъщи – за вечерите, в които есе има, а кой да го провери няма. Оценката му е ориентир; последната дума винаги е на учителя.