БЪЛГАРИЯ Апробация на прилагането на статистически модели за оценка на добавената стойност използващи резултатите от националните оценявания на учениците Основни резултати и изводи юни 2013 СВЕТОВНА БАНКА РЕГИОН ЕВРОПА И ЦЕНТРАЛНА АЗИЯ СЕКТОР „ЧОВЕШКО РАЗВИТИЕ“ 0 Благодарности Настоящото резюме обобщава основните резултати и изводи от пилотната апробация на статистически модели за оценка на добавената стойност на българските училища на основата на резултатите от външните оценявания след четвърти и седми клас. Пилотната апробация бе осъществена по молба на Министерството на образованието, младежта и науката (МОМН) с финасовата и експертна подкрепа на Световната банка (СБ) в рамките на тригодишната програма (2010 г. - 2013 г.) за безвъзмездна техническа помощ на СБ в областта на образованието. Докладът е изготвен под ръководството на Пламен Данчев (Специалист в сферата на образованието, СБ) и под общите насоки на Алберто Родригес (Директор на сектор „Образование“, регион „Европа и Централна Азия“, СБ) от експертен екип на Българското дружество за измерване и оценяване в образованието (БДИОО) в състав Кирил Банков (водещ консултант), Весела Стоименова (консултант, статистически анализ) и Димитър Атанасов (консултант, статистически анализ. Обхватът на пилотното апробиране, ключовите параметри за дейността и необходимите данни за анализа бяха определени от работна група от експерти от МОН, водена от г -н Красимир Вълчев, главен секретар на МОН и включваща Евгения Костадинова (МОН), Орлин Кузов (МОМН), Димитър Енчев (МОН), Любка Груева (МОН), Румяна Томова (МОН), Стела Мицова (МОН), Неда Кристанова (ЦКОКУО), Светла Петрова (ЦКОКУО), Сашко Арабаджиев (ЦКОКУО) и Радосвета Дракева (АдминСофт). 1 Съдържание Резюме ....................................................................................................................................... 1 Увод ........................................................................................................................................... 1 Налични данни.......................................................................................................................... 1 Обработка на данните .............................................................................................................. 1 Дескриптивна статистика ........................................................................................................ 3 Регресионни модели ................................................................................................................. 6 Следващи стъпки .................................................................................................................... 16 Използване на моделите за добавена стойност ................................................................... 16 Анекс 1. Въпросник за контекстални характеристики на учениците ............................... 18 Анекс 2: Добавена стойност на училищата в една българска община ............................. 23 0 Резюме Предистория: 1. Докладът е втора поред разработка (в рамките на програмата за техническа помощ на СБ), посветена на оценката на добавената стойност на училищата. През април 2011 Световната банка изготви и представи на МОМН обзорния материал: „Използване на резултатите от външното оценяване за определяне на добавената стойност на училищата: техники и приложения за подобряване на учебния процес и отчетността на училищата“). Неговата цел беше да представи същността на анализа на добавената стойност на училищата, международния опит в прилагането и употребата на такива анализи, както и описание на основните класове статистически модели и подходи използвани в практиката досега за оценка на добавената стойност на училища. Ръководството на МОМН взе решение за апробиране на модели на добавената стойност в България и сформира работна група от експерти на МОМН, която участва в подготовката на техническото задание за пилотното приложение на модели за оценка на добавената стойност на българските училища. Цели на доклада: 2. Целта на настоящата разработка е да документира процесите и резултатите от пилотно апробиране на набор от статистически модели за оценка на добавената стойност на училища. Докладът описва спецификациите на статистическите модели и извършените статистическия анализи. Получените резултати за добавената стойност са представени в Анекс 1 на база извадка от включените в анализа училища (включени са резултатите на 177 училища на територията на Столична община). Докладът набелязва и основните ограничения и препоръки за последващи анализи и работа по изготвянето на оценки за добавената стойност на българските училища. Същност на моделите на добавената стойност на училищата: 3. Моделът на добавената стойност представлява анализ на резултатите на едни и същи ученици в две времеви точки, коригирани с набор от показатели за социално-икономическия статус на всеки ученик, в резултат на което се изолира приносът на училището към резултатите на учениците от действието на фактори извън контрола на училищата. Този изолиран принос представлява добавената стойност на училището. 4. Концепцията за „добавена стойност на училищата“ е израз на разбирането, че придаването на особено значение на данните от външното оценяване за определяне на качествата на дадено училище би било несправедливо, ако липсват точни показатели, измерващи приноса на училището към наученото от учениците, тъй като резултатите на учениците зависят както от фактори, пряко свързани с процесите в класната стая, така и и с редица фактори извън контрола на училището. 5. Моделите за добавената стойност придобиват все по-голяма популярност и се считат за прецизни индикатори за оценка на ефективността на образованието. Редица развити образователни системи рутинно прилагат модели на добавената стойност /например САЩ, Англия, Нидерландия, Полша, Чехия, Норвегия, Чили и др./, но те се различават както по отношение на употребата им, така и като анализ и подход. Различните модели за определяне на добавената стойност, 1 разработени досега, обслужват конкретни политики и специфични цели, заложени в образователните системи на страните, в които се прилага, затова е невъзможно да се определи „истински“, „най-добър“ или универсално приложим модел. Данни, включени в анализа на добавената стойност на училищата в България: 6. За нуждите на анализа са използвани данни от външните оценявания по български език и литература /БЕЛ/ и математика на едни и същи ученици в две времеви точки – резултатите от външните оценявания след 4 клас /2009 г. / и след 7 клас /2012 г. /, допълнени от набор от контекстуални характеристики на учениците. В анализът участват всички училища, предлагащи образование от 4 до 7 клас. Данните от двете години и от различните предметни тестове са свързани посредством уникални идентификационни кодове, анонимизиращи ЕГН на включените в анализа ученици. След преглед на наличните данни за учениците в информационните системи на МОМН бе установено, че единствената променлива, която би могла да се използва в качеството си на контекстуална характеристика, описваща социално икономическия статус на учениците, е „език, говорен у дома“. Тази информация е събрана за учениците по време на външното оценяване в 4 клас през 2009 г. 7. За по-прецизното изчисление на добавената стойност е необходим по -богат набор от контекстуални характеристики, влияещи върху представянето на учениците. МОМН изготви анкетна карта /Анекс 2/ с богат набор от въпроси са за набиране на информация за социално икономическия статус на учениците . Практическото приложението на въпросника имаше като резултат твърде нисък дял на учениците с пълен набор отговори и съществен дял непопълнени анкетни карти, поради което данните от него не бяха включени в анализа. В резултат на това анализът на добавената стойност борави само с променливите „език, говорен у дома“ и „вид училище“. Силно ограничаващо анализа обстоятелство е, че е налице същественото разминаване между броя на учениците с данни от външното оценяване в 4 и 7 клас, като броят на учениците, за които е възможно да се свържат данните от двете години и двата изследвани предмета е едва около 48000 /7 клас/ спрямо над 64000 ученика /4 клас/ в изследвания випуск. Апробирани модели: 8. За анализа на добавената стойност са използвани линеен регресионен модел и многостепен модел. Сходните резултати от двата модела на база налични данни показва, че за предпочитане е използването на по-опростен модел /линейно регресионен/ при условие че (i) се пристъпи към евентуално бъдещо рутинно приложение на модел на добавената стойност на училищата и (ii) същото сходство на резултатите между двата класа модели се получава и при използването на по-голям набор от контекстуални данни на учениците. Основни изводи 9. На основата на корелационен анализ между резултатите за добавената стойност на училищата и обикновените усреднени резултати от външните оценявания се получава висок корелационен коефициент 0.8241, което, най -общо казано, означава, че принципно по-високите усреднени резултатите от националното оценяване в края на 7 клас съответстват на по-високи добавени стойности на училищата и обратно, по-ниски средни стойности на резултатите от националното оценяване в края на 7 клас съответстват на по -ниски добавени стойности на училищата. 2 10. При преглед на данните за отделните училища все пак се наблюдават различия в позициите на едно и също училище от гледна точка на добавена стойност и усреднени резултати, което потвърждава полезността на анализа на добавената стойност /Анекс 1/. 11. Необходимо е да се преразгледат и хармонизират целите на външните оценявания след 4 и 7 клас, което включва и промени в дизайна на самите тестовете. Понастоящем те не са достатъчно съпоставими за получаването на достатъчно валидна и надеждна преценка на добавената стойност на училищата. Критериите за успешно покриване на стандартите в теста след 4 клас са занижени и множеството от тестваните ученици показват високи постижения с нетипично разпределение на резултатите. Тестът след 7 клас съдържа два модула и не всички ученици решават втория модул, но за разлика от теста за 4 клас, нивото на трудност е по високо и се постига по-нормално разпределение на резултатите. Необходимо е да се преразгледат i. тестовите материали с цел да се повиши способността им да дават обективно отражение на знанията на учениците и да регистрират както много ниски нива на знания и умения, така и на много високи. ii. скалата за оценяване iii. елиминирането на възможностите за подсказване, преписване и др. По време на външните оценявания 12. Изключително важно за евентуално бъдещо рутинно прилагане на модел на добавената стойност на училищата е да се разшири набора от контекстуални променливи за учениците. Може да се очаква, че това ще повиши стойността на коефициента R 2 в линейния модел, тъй като ниска стойност на R 2 може да се дължи и на изпускането на важни предикатори, които могат да окажат влияние на отклика. 13. Необходимо е да се направи допълнителен анализ с цел да се установи:  какво е количеството на липсващите данни,  достатъчно голям ли е процентът на учениците, които може да се включат в оценката на добавената стойност за всяко училище, за да се гарантира валидна оценка на ниво училище  правило за моделиране на добавената стойност при наличието на ученици, които сменят училището си или напускат системата /например, ученик може да бъе включен в оценката на добавената стойност на дадено училище ако се е обучавал в него поне 150 дни преди датата на външното оценяване/  Стабилност по отношение на статистическите модели. До колко използването на различни статистически модели за добавена стойност влияе върху крайния резултат?  Стабилност през годините. До колко повтарянето на оценката на добавена стойност е стабилна ако изследването се повтаря всяка година? Следващи стъпки: 14. Ако се окаже, че с наличните данни от допълнителния въпросник има „голяма“ група от училища с висок процент отговорили на въпросника ученици, би могло да направи оценка на добавената стройност на тази група училища с и без използване на данните на въпросника. След това да се сравнят изводите. Така може да се прецени дали включването на допълнителни контекстуални данни съществено влияят на резултатите. 3 15. Анализът на добавената стойност може да се повтори с данни за следващия випуск, този, който е имал национално оценяване в края на 4 клас през 2010 и в края на 7 клас през 2013 година. Това е смислено и би имало положителен ефект върху подобен род изследвания, стига наличните данни от оценяванията да са в по-добър вид. В процеса на подготовка на подобен допълнителен анализ би следвало да бъдат намерени решения на следните проблеми, идентифицирани в рамките на пилотната апроация: 4 Увод 16. Моделите за добавената стойност се считат за прецизни индикатори за оценка на ефективността на образованието. Те стават все по-популярни и се използват в редица развити образователни системи, като например САЩ, Англия, Нидерландия, Полша, Чехия, Норвегия, Чили и др. 17. Целта на този проект е да апробира методиката за изследване на ефективността на училищата в България, основана на моделите за добавена стойност, като се използват резултати от националните оценявания. 18. Резултатите от националните оценявания за последните няколко години се представят в така наречения „суров тестов бал“ (брой точки) и таблица за превръщане на точките в „шестобална“ оценка. Като се използват тези данни, за всяко училище може да се пресметне средния му бал, което дава възможност за сравняване на училищата помежду им. 19. Оказва се, че този начин за сравняване на училищата и за оценка на тяхната ефективност не е добър, понеже не се вземат пред вид важни фактори, влияещи върху успеваемостта на ученици, като например: вродените качества на учениците, социално-икономическата им среда, влиянието на извънучилищната среда, придобитите знания и умения до постъпване в конкретно училище и др. Използването на модели за добавена стойност дава възможност да се изследва и да се вземе пред вид влиянието на такива фактори (наречени „контекстуални характеристики“) върху оценката на ефективността на всяко училище. Налични данни 20. За да се приложат модели за добавената стойност, трябва да имаме данни от оценяване на знанията на едни и същи ученици в два различни момента от тяхното обучение. В случая за този проект за използвани данни от национални оценявания на едни и същи ученици когато те са завършвали 4 клас през пролетта на 2009 година и когато същите ученици са завършвали 7 клас през пролетта на 2012 година. Данните са предоставени от МОМН е три файла със следната структура: 21. Първият файл съдържа данни от националното оценяване в края на 4 клас през 2009 година плюс данни за пола на учениците и езика, който се говори в къщи. Вторият файл съдържа данни от националното оценяване в края на 7 клас през 2012 година. Третият файл съдържа номенклатурни данни за училищата. Обработка на данните 22. При обработката на данните бяха забелязани следните проблеми:  Три реда в оригиналната база данни бяха с грешен формат. Тези редове бяха изтрити.  Файла с данни за 4 клас съдържа информация за 64808 ученици. При съединяването му с файла с данни за 7 клас, се получиха 48529 съвпадения на, 1 т.е. толкова ученици имат записи едновременно и в дават файла. Това показва известна несъвместимост в оригиналната база данни. Анализите са направени с тези 48529 ученици в 1918 училища, за които може да пресметнем добавената стойност.  Открити са липсващи данни, които са под 1%, което не дава повод да се счита, че липсата им е систематична. Количествените липсващи данни са заменени с средната стойност на наличните, а категорните – с модата на наличните. 23. За нуждите на статистическия анализ е направен следната структура от данни: 1. Резултати от теста по математика в 4 клас, 2. Резултати от теста по български език и литература в 4 клас, 3. Резултати от теста по математика в 7 клас, 4. Резултати от теста по български език и литература в 7 клас, 5. Код за езика, който се говори в къщи, 6. Код за пола на ученика, 7. Код на училището в 4 клас, 8. school type1 за училището в 4 клас (виж Таблица 1), 9. school type2 за училището в 4 клас, 10. Код на за училището в 7 клас, 11. school type1 за училището в 7 клас (виж Таблица 1), 12. school type2 за училището в 7 клас, 24. Кодовете за езика, който се говори в къщи, са: Език Код Български 1 Ромски 2 Турски 3 Друг 4 25. За техническо удобство е направена следната обединяване на номеклатурните номера на училищата в променлива type1 code: Номенклатурен код Type1 code 2, 6 1 3, 7 2 4, 10 3 8, 71 4 21, 32 5 50, 51, 52, 53, 54, 55, 56, 57, 58 6 26. Променливата type2 code показва дали училището е частно или не (1 – частно, 0 – не е частно). Номенклатурните кодове на училищата са дадени в таблица 1. 2 Дескриптивна статистика 1.1. Характеристики на ниво ученик 27. Използвани са следните такива характеристики: резултатите от националните оценявания по български език и литература и по математика в 4 и в 7 клас; езика, който се говори в къщи; пола на ученика. 28. На фигурите 1 и 2 са представени разпределенията съответно на езика, който се говори в къщи, и пола на учениците. 29. Таблица 1. Номенклатурен код на училището Номенклатурен код Наименование 1 начално (I – IV клас 2 основно (I – VIII клас) 3 СОУ (I – XII клас) 4 професионално училище 5 начално с (присъединена) група в детска градина 6 основно с (присъединена) група в детска градина 7 СОУ с (присъединена) група в детска градина 8 спортно 10 ОУ с професионални паралелки 21 прогимназия (V – VIII клас) 32 V – XII клас 50 помощно (за деца с умствена изостаналост) 51 оздравително 52 болнично 53 за деца с увреден слух 54 за деца с нарушено зрение 55 логопедично 56 социално-педагогически интернат 57 възпитателно училище-интернат (ВУИ) 58 към местата за лишаване от свобода 71 по изкуствата 3 Фигура 1. Разпределение на Фигура 2. Разпределение езика, който се говори в къщи на пола на учениците 30. Вижда се, че за децата, представени в извадката, основният език, говорен у дома, е българският, следван от турския и ромския. Момичетата са повече от момчетата. 31. Хистограмите (графиката на честотата на срещанията на баловете) на резултатите от националните оценявания по математика и по български език и литература (БЕЛ) и в 4 клас са представени съответно на фигурите 3 и 4. Забелязва се, че голям брой чуеници са получили висок резултат от двата изпита, като броят на слабите оценки е незначителен. Разпределението на точките не е нормално (Гаусово), тъй като не се характеризира с така наречената „камбановидна крива“, имаща максимум в средния бал и бързо намаляваща към нулата в най-ниските и най-високите точки. Нормалното разпределение на резултатите е очаквано за всички тестове, които могат да разграничават „знаещите“ от „незнаещите“ ученици. На графиките от фигурите 3 и 4 разпределенията имат бързо (експоненциално) нарастване. Това показва, че тестът е бил лесен за повечето ученици. Фигура 3. Хистограма на Фигура 4. Хистограма на резултатите по математика, 4 клас резултатите по БЕЛ, 4 клас 4 32. Средната стойност и дисперсията (разпръскването, разсейването около средната стойност) на тези параметри са дадени в Таблица 2. Очевидно е, че тези разпределения не са „близки до нормалното“ с твърде голямо разсейване на резултатите в сравнение със средния брой точки. Това не е сериозен проблем за качествата на регресионните модели, защото тези параметри са предиктори. Таблица 2. Средна стойност и дисперсия, 4 клас Математика БЕЛ Средна стойност 15.7552 16.3228 Дисперсия 13.0218 12.8130 33. По аналогичен начин са представени с хистограми (фигури 5 и 6) и таблица (Таблица 3) резултатите от националните оценявания по математика и по български език и литература (БЕЛ) и в 7 клас. Фигура 6. Хистограма на резултатите по БЕЛ, 7 клас Фигура 5. Хистограма на резултатите по математика, 7 клас 34. Трябва да се отбележи, че разпределението на резултатите по математика и български език и литература в 7 клас няма ясно изразени опашки (няма рядко срещащи се балове, а всичките са с честоти приблизително равни на честотата на средния бал) и е с дисперсия много по-голяма от очакваната (това е дисперсията на нормално разпределение със същия размах (обхват) на данните). Този факт е причина за ниската стойност на коефициента R 2 в регресионните модели, тъй като за разлика от разпределението на предикаторите, разпределението на отклика е от съществено значение за тяхната пълна идентификация. Интересен е фактът, че разпределението на точките от изпита по математика има изразен бимодален вид (има две максимални стойности), което говори за нехомогенност на данните (т.е. данните могат да се разглеждат като данни на две различни извадки с различни характеристики). Този факт 5 може да се дължи на участието или неучастието на всички ученици в двата модула. Таблица 3. Средна стойност и дисперсия, 7 клас Математика БЕЛ Средна стойност 35.5989 35.4081 Дисперсия 289.0382 212.3981 Характеристики на ниво училище 35. Използвани са следните две такива характеристики: Type1 code, който е обяснен в Таблица 1, и индикатор за това дали училището е частно или не е. Разпределението на тези два параметъра са дадени съответно на фигурите 7 и 8. Фигура 7. Разпределение Фигура 8. Разпределение на school type1, 7 клас на school type2, 7 клас 36. Преобладаващият брой на училищата в изследването са държавни, основни и средни общообразователни. Регресионни модели Линеен регресионен модел 37. Основният линеен модел в това изследване разглежда резултатите на учениците от националното оценяване в 7 клас като линейна комбинация от резултатите на националното оценяване в 4 клас, характеристиките на ниво ученик и характеристиките на ниво училище. 6 2    Yij1  1 X ij1  Xij2  2  Zi1 1   2 Zi 2   ij Yijmat mat ' ' (1) 38. В уравнението Xij2 е вектор с индикаторите за език, който се говори в къщи,  2' е вектор с параметрите за езика. Аналогично, Z i1 е вектор с индикаторите за school type1, представени в Таблица 1 и  1' е съответния вектор с параметрите. Променливата X ij1 е индикатор за пола на ученика, а Z i 2 е индикатор за това дали училището е частно или не е. 39. Получените оценки за параметрите са дадени в Таблица 4. Втората колона е стойността на получената оценка, а третата и четвъртата – съответно долната и горната граница на 95% доверителен интервал. Всички параметри са статистически значими (т.е. оказват влияние на модела), с изключение на  23 и  24 , понеже техните доверителни интервали съдържат нулата (и може да се предположи, че тяхната стойност е 0). Положителните стойности показват положително влияние върху ученическите постижения, а отрицателните стойности – отрицателно влияние. Стойността на коефициента на детерминация R 2 , показващ какъв процент от данните описват модела, е R2  0.2961 . Ниската му стойност се дължи на вида на разпределенията на резултатите от националното оценяване в 7 клас. То почти няма опашки и е с голяма дисперсия. Това оказва влияние върху квантилното разпределение на остатъците (normal probability plot of the residuals), представена на фигура 9. (Остатък се нарича разликата между истинския резултат на ученика и оценения, т.е. този, който се получава след като в оценения модел заместим характеристиките на ученика и училището му.) Таблица 4. Получени оценки за параметрите от уравнение (1) 95% гор 95% долна на параметър стойност гран обяснение на параметъра гра ица ни ца  6.4759 4.5542 8.3975 свободен коефициент  2.0579 2.0200 2.0958 ефект на теста от 4 клас 1 1.0500 0.7951 1.3048 ефект на пола (1 – момче) 2 1 4.5588 2.8331 6.2845 ефект на български език  22 -3.5199 -5.2965 -1.7432 ефект на ромски език  23 -1.2140 -2.9780 0.5501 ефект на турски език  24 0 0 0 ефект на „друг“ език  11 -7.3172 -7.9581 -6.6762 ефект на type1 училище – код 1  12 -7.1268 -7.7726 -6.4810 ефект на type1 училище – код 2  13 -12.6446 -14.3030 -10.9861 ефект на type1 училище – код 3  14 -14.4907 -15.5329 -13.4485 ефект на type1 училище – код 4 7  15 -7.2046 -8.7632 -5.6459 ефект на type1 училище – код 5  16 -7.5115 -11.0925 -3.9305 ефект на type1 училище – код 6 2 7.1163 5.5123 8.7204 ефект на type2 училище (1 – частно) Фигура 9. Normal probability distribution plot (уравнение (1)) 40. Ако разпределението е нормално (Гаусово), всички точки от графиката трябва да лежат приблизително върху права линия (в случая пунктираната линия на графиката). Разпределението от горната графика не е нормално, защото се отклонява от правата в двата си края. То е по-скоро разпределение с тежки опашки. 41. Същият модел е приложен и за резултатите по български език и литература. 2    Yij1  1 X ij1  Xij2  2  Zi1 1   2 Zi 2   ij Yijbel bel ' ' (2) 42. Оценките на параметрите са представени в Таблица 5. Всички параметри са статистически значими с изключение на  16 . Стойността на коефициента R 2 е R2  0.4319 – тя е по-голяма от тази в модела за математика. Това се дължи на една ясно изразена мода в разпределението на резултатите по български език и литература в 7 клас. Квантилното разпределение на остатъците, представен на фигура 10, е по-близко до нормалното разпределение. 8 Таблица 5. Получени оценки Фигура 10. Normal probability plot (уравнение (2)) за параметрите от уравнение (2) 95% долна 95% горна параметър стойност гран гран обяснение на параметъра ица ица  2.9583 1.4743 4.4423 свободен коефициент  2.0211 1.9906 2.0516 ефект на теста от 4 клас 1 3.9328 3.7350 4.1307 ефект на пола (1 – момче) 2 1 3.3546 2.0248 4.6844 ефект на български език  22 -5.4834 -6.8516 -4.1153 ефект на ромски език  23 -2.8116 -4.1701 -1.4531 ефект на турски език  24 0 0 0 ефект на „друг“ език  11 -4.4447 -4.9381 -3.9513 ефект на type1 училище – код 1  12 -4.4936 -4.9905 -3.9966 ефект на type1 училище – код 2  13 -11.8883 -13.1654 -10.6112 ефект на type1 училище – код 3  14 -10.0912 -10.8934 -9.2889 ефект на type1 училище – код 4  15 -6.2648 -7.4652 -5.0643 ефект на type1 училище – код 5  16 -1.7285 -4.4874 1.0304 ефект на type1 училище – код 6 2 6.3130 5.0776 7.5458 ефект на type2 училище (1 – частно) 43. Полученото за общия резултат от математика и български език и литература 2    Yij1  1 X ij1  Xij2  2  Zi1 1   2 Zi 2   ij Yijtot tot ' ' (3) е представено в Таблица 6 и фигура 11. Стойността на коефициента R 2 е R2  0.4415 . 9 Таблица 6. Получени оценки за параметрите от уравнение (3) 95% долна 95% горна гра гра параметър стойност обяснение на параметъра ниц ниц а а  -3.1193 -6.1076 -0.1311 свободен коефициент  2.4434 2.4104 2.4764 ефект на теста от 4 клас 1 4.4311 4.0381 4.8242 ефект на пола (1 – момче) 2 1 6.1654 3.5139 8.8168 ефект на български език  22 -7.3737 -10.1025 -4.6448 ефект на ромски език  23 -3.6692 -6.3781 -0.9603 ефект на турски език  24 0 0 0 ефект на „друг“ език  11 -10 5454 -11.5305 ефект на type1 училище – код 1  12 -10.5784 -11.5704 -9.5864 ефект на type1 училище – код 2  13 -22.6714 -25.2189 -20.1238 ефект на type1 училище – код 3  14 -23.1396 -24.7405 -21.5388 ефект на type1 училище – код 4  15 -12.8293 -15.2230 -10.4356 ефект на type1 училище – код 5  16 -6.0858 -11.5870 -0.5846 ефект на type1 училище – код 6 2 12.7191 10.2557 15.1825 ефект на type2 училище (1 – частно) Фигура 11. Normal probability plot (уравнение (3)) 44. Под „общ резултат“ се разбира сборът от точките получени по математика и по български език и литература. Хистограмата му е показана на Фигура 12. 10 Фигура 12. Хистограма на общия резултат Мерки за добавената стойност с използване на остатъците 45. Остатъците при оценяване на общия резултат с регресионния модел се използват за пресмятане на добавената стойност на училищата VAj : 1 nj  iSc j ij  1   Yij 2  Yij 2 n j iSc j  46. Тук Sc j е множеството на всички ученици в j-тото училище, n j е номера на ученика в съответното училище и Yij 2 е оценката на предиктора. Фигура 13 представя хистограмата на добавените стойности на училищата, Вижда се, че разпределението е близко до нормалното. 11 Фигура 13. Разпределение на добавените стойности на училищата Мерки за добавената стойност с използване на остатъците от регресията 47. Обобщение на последния модел е моделът със смесени ефекти (the mixed effect model или the multilevel model) 2    Yij1  1 X ij1  Xij2  2  Zi1 1   2 Zi 2  u j   ij Yijtot tot ' ' (4) който включва случайния ефект u j , представляващ случайния ефект на училището (в модела се предполага, че представените училища са случайна извадка от безкрайна популация от училища). Фигура 14. Разпределение на ефекта на училището 48. Получените оценки на параметрите са дадени в таблица 7. Дисперсиите на случайните компоненти и на грешката са съответно  u 2  99.8815 и  2  23.5768 . Хистограмата на разпределението на променливата, указваща ефекта на училището, е представена на фигура 14. Разпределението е близко до нормалното. Таблица 7. Получени оценки за параметрите от модела със случайни ефекти (уравнение (4)) параметър стойност обяснение на параметъра  -2.3582 свободен коефициент  2.0353 ефект на теста от 4 клас 1 4.2371 ефект на пола (1 – момче) 2 1 5.8462 ефект на български език 12  22 -7.3670 ефект на ромски език  23 -3.9434 ефект на турски език  24 0.0721 ефект на „друг“ език  11 -9.4099 ефект на type1 училище – код 1  12 -8.9013 ефект на type1 училище – код 2  13 -21.1540 ефект на type1 училище – код 3  14 -18.3575 ефект на type1 училище – код 4  15 -11.1989 ефект на type1 училище – код 5  16 -5.8928 ефект на type1 училище – код 6 2 12.7297 ефект на type2 училище (1 – частно) Опростен модел 49. Опростеният модел 2    Yij1  u j   ij Yijtot tot (5) дава подобни резултати, които са представени в Таблица 8. Фигура 15. Разпределение на ефекта на училището (уравнение (5)) Таблица 8. Получени оценки за параметрите от опростения модел (уравнение (5)) параметър стойност обяснение на параметъра  -6.0984 свободен коефициент  1.0854 ефект на теста от 4 клас 50. Хистограмата е представена на Фигура 15. Разпределението е близко до нормалното. Оценките на дисперсиите с  u 2  85.6895 и  2  23.2660 . 13 51. Първата препоръка е свързана с обогатяване на базата с повече данни за учениците и училищата (така наречените контекстуални данни). Подготвеният въпросник би могъл да се попълва от учениците по време на националните оценявания. Това значително ще повиши процента на попълнените въпросника и ще даде възможност повече контекстуални данни да се използват в модела. 52. От направената апробация на различни модели с наличните данни, изглежда че най-подходящ е класическият линеен регресионен модел с използване на следните две контекстуални променливи: вида училище и езика, който се говори в къщи. 53. Моделът със смесени ефекти (the multilevel model) дава подобни резултати когато началната точка на оптимизационния процес е векторът, съставен от максимално правдоподобните оценки на линейния модел. Малки промени на началната точка водят до нестабилност на резултата. Процесът на сходимост изисква много време и е много чувствителен към избор на начална точка. Често не е възможно да се получи резултат, т.е. не може да се намери максимума или да се намери втората производна на обратната функция. Възможна причина за това е вида на разпределенията на резултатите от националното оценяване след 7 клас, които описахме по-горе (няма ясно изразени опашки и е с дисперсия много по-голяма от очакваната). Чувствителността от началната точка прави този метод ненадежден. 54. Примерите по-долу са направени с класическия линеен регресионен модел. 55. Получените резултати изглеждат смислени за България. Например, потвърждава се предимството на българския език като език за общуване в къщи; ефикасността на някои видове училища, когато се направи списък с добавената стойност и др. Разбира се, допълните анализи биха прибавили още щрихи в тази картина. Примери Първи пример – представяне чрез регресионна права 56. На Фигура 16 всяко училище е представено с точка в координатна система, на която абсцисата е средната стойност на резултатите от националното оценяване по математика и български език и литература в края на 4 клас, а ординатата е същата средна стойност в края на 7 клас. 57. Червената (горната) права представя очакваната средна стойност на резултатите от националното оценяване в края на 7 клас за момчетата, които говорят български в дома си в училища от вида type1 = 1 и type2 = 0. Зелената (долната) права представя очакваната средна стойност на резултатите от националното оценяване в края на 7 клас момчетата, които говорят ромски в дома си в същия тип училища. 58. Разстоянието по вертикал (по ординатната ос) между точката, представяща училището, и съответната права е добавената стойност на училището. 59. Така, точките между двете линии представят училища, за които говоренето на български език в къщи при момчетата има отрицателно влияние върху постиженията им, а говоренето на ромски език в къщи – положително влияние. 14 Фигура 16. Две регресионни прави Втори пример – корелация между тестовия резултат и добавената стойност 60. С корелационен анализ са сравнени средните резултатите от националното оценяване в края на 7 клас (сборът от точките от математика и български език и литература) и оценките за добавената стойност за всички училища. Полученият корелационен коефициент е 0.8241, което показва много добра линейна корелация между двата параметъра. Това означава, че (най-общо казано) по- високи средни стойности на резултатите от националното оценяване в края на 7 клас съответстват на по-високи добавени стойности на училищата и обратно, по- ниски средни стойности на резултатите от националното оценяване в края на 7 клас съответстват на по-ниски добавени стойности на училищата Фигура 17. Добавени стойности на училищата 15 61. На Фигура 17 всяко училище е представено с точка в координатна система, на която абсцисата е средната стойност на резултатите от националното оценяване по математика и български език и литература в края на 4 клас, а ординатата е същата средна стойност в края на 7 клас. Училищата, представени със звездичка (в червено) са училищата от София-град. Добре се забелязва доброто представяне на училищата от София-град със средна стойност над средната за страната. Следващи стъпки 62. Следваща стъпка в анализа на добавената стойност е да се включат повече контекстуални променливи. Може да се очаква, че това ще повиши стойността на коефициента R 2 в линейния модел, тъй като ниска стойност на R 2 може да се дължи и на изпускането на важни предикатори, които могат да окажат влияние на отклика. Ако се установи, например, че регион или община са съществени характеристики, може да се направи подреждане на училищата по добавената стойност отделно за всеки регион/община. 63. Ако се окаже, че с наличните данни от допълнителния въпросник има „голяма“ група от училища с висок процент отговорили на въпросника ученици, би могло да направи оценка на добавената стройност на тази група училища с и без използване на данните на въпросника. След това да се сравнят изводите. Така може да се прецени дали включването на допълнителни контекстуални данни съществено влияят на резултатите. 64. Резултатите трябва да се обсъждат с експерти от Министерството на образованието, младежта и науката. Само така могат да се дадат смислени обяснения на получените резултати 65. Анализът на добавената стойност може да се повтори с данни за следващия випуск, този, който е имал национално оценяване в края на 4 клас през 2010 и в края на 7 клас през 2013 година. Това е смислено и би имало положителен ефект върху подобен род изследвания, стига наличните данни от оценяванията да са в по-добър вид. Използване на моделите за добавена стойност 66. Следват опис на някои от възможните проблеми, които трябва да се вземат пред вид преди да се присткъпи към рутинно прилагане на моделите на добавена стойност: a. Качеството на тестовите резултати от националните оценявания, особено тези в края на 7 клас. До каква степен тестовите резултати са обективно отражение на знанията на учениците? Задоволително ли е качеството на тестовите материали? Добре ли е направена скалата за оценяване? Правилно ли са проведени тестовете (без възможности за подсказване, преписване и др.) Близки ли са хистограмите до нормалното (Гаусовото) разпределение? 16 b. Качеството на данните. Какво е количеството на липсващите данни? Достатъчно голям ли е процентът на учениците, които може да се включат в оценката на добавената стойност за всяко училище? c. Ученици, които сменят училището си или напускат системата. Дали процентът на ученици, които по една или друга причина не могат да се включат в изследването е „малък“. Какво правило да се приложи за ученици, които сменят училището си? (Например: да са били в едно училище поне 150 дни.) d. Стабилност по отношение на статистическите модели. До колко използването на различни статистически модели за добавена стойност влияе върху крайния резултат? e. Стабилност през годините. До колко повтарянето на оценката на добавена стойност е стабилна ако изследването се повтаря всяка година? f. Изводът е да не се бърза при вземане на решения основани само на методите за оценка на добавената стойност. 17 Анекс 1. Въпросник за контекстални характеристики на учениците В1. На какъв език говорите у дома през по-голямата част от времето? (Моля да отбележите само едно квадратче.) Български език 1 Ромски език 2 Турски език 3 Арменски език 4 Иврит 5 Други 6 В2. С кого живеете у дома? (Моля да отбележите само едно квадратче на всеки ред.) Да Не a) С майка си (втора майка или приемна майка) 1 2 б) С баща си (втори баща или приемен баща) 1 2 в) С брат(я) (включително доведени братя) 1 2 г) Със сестра(и) (включително доведени сестри) 1 2 д) С баба и/или дядо 1 2 е) С друго лице (например братовчед/ка) 1 2 В3. Какво работи майка Ви (или Вашият настойник от женски пол)? (напр. учител, продавач-консултант, адвокат) (Ако тя в момента не работи, отбележете нейната последна работа.) В4. Кое е най-високото образование, което е завършила майка Ви (или Вашият настойник от женски пол)? (Моля да отбележите само едно квадратче.) Висше 1 Средно 2 Основно 3 Начално 4 Незавършено начално 5 В5. С какво се занимаваше майка Ви миналата година? (Моля да отбележите само едно квадратче.) Работеше на пълно работно време срещу заплащане. 1 Работеше на непълно работно време срещу заплащане. 2 Беше безработна повече от една година, но си търсеше работа. 3 Не работеше и не си търсеше работа (напр. грижеше се за дома, пенсионерка и др.). 4 В6. Какво работи баща Ви (или Вашият настойник от мъжки пол)? (напр. учител, продавач-консултант, адвокат)(Ако той в момента не работи, отбележете неговата последна работа.)________________________________________________ В7. Кое е най-високото образование, което е завършил баща Ви (или Вашият настойник от мъжки пол)? (Моля да отбележите само едно квадратче.) Висше 1 18 Средно 2 Основно 3 Начално 4 Незавършено начално 5 В8. С какво се занимаваше баща Ви миналата година? (Моля да отбележите само едно квадратче.) Работеше на пълно работно време срещу заплащане. 1 Работеше на непълно работно време срещу заплащане. 2 Беше безработен повече от една година, но си търсеше работа. 3 Не работеше и не си търсеше работа (напр. грижеше се за дома, пенсионер и др.). _ 4 Коментар към въпросите за професията на родителите на ученика (В3 и В6): Професиите на майката и бащата са обобщени според класовете, посочени в Националната класификация на професиите и длъжностите в Република България. В анкетните карти на учениците въпроси В3 и В6 следва да бъдат формулирани по начина, посочен на страници 2 и 3. Очаква се, че учениците ще попълнят отговора в предназначеното за това място. В електронната платформа двата въпроса ще бъдат с падащо меню, което ще включва следните категории:  1 категория  2 категория  3 категория  4 категория  5 категория  6 категория  7 категория  8 категория  9 категория  10 категория  11 категория  Отговорът на ученика не се чете или е неразбираем.  Ученикът не е посочил отговор. Текст, който ще бъде включен в указанията към директорите на училищата в частта, която ще описва как да се обработят данните за професионалния статус на родителите на ученика (В3 и В6). Служителят, който въвежда данните от анкетните карти на учениците в електронната платформа, следва да определи към коя категория от падащото меню се отнася посочената от ученика професия на майката и бащата. Категориите са дефинирани на базата на Националната класификация на професиите и длъжностите в Република България. Към дефинираните в класификацията класове е добавена 11 категория, приложима за родители, за които е посочено, че са пенсионери, домакини, безработни, студенти, починали или др. 1 категория: ръководители 19  Законодатели (депутати), висши представители на изпълнителната власт (министри, кметове, областни управители); управляващи и изпълнителни директори; висши представители на държавните органи;  Висши представители на организации с нестопанска цел;  Съдии (председатели на съдилища) и прокурори (районни, градски) 2 категория: специалисти  Специалисти, които се занимават с научна и изследователска дейност в различните области на науката;  Специалисти по администриране на политики (експерти в министерства , инспекторати, областни съвети и др.)  Медицински специалисти (лекари, сестри, акушерки, ветеринари, зъболекари и др.)  Преподаватели в начални, средни и висши училища;  Стопански и административни специалисти (финансисти и др.)  Юристи, съдии  Инженери  Библиотекари, журналисти, преводачи, архивисти;  Музиканти, артисти, композитори, танцьори, режисьори, художници и др. 3 категория: техници и приложни специалисти  Строителни техници, електротехници, електронни и машинни техници, технолози, минни и металургични техници, чертожници, техници по контрол на производствените процеси, оператори на пречиствателни станции; агротехници;  Техници по контрол на производствените процеси;  Корабни палубни офицери и пилоти  Приложни специалисти в здравеопазването (лаборанти, зъботехници и др.)  Стопански и административни приложни специалисти (брокери, дилъри, кредитни специалисти, счетоводители, застрахователи и др.)  Полицейски инспектори, оперативни работници  Спортисти и работещи в областта на спорта (треньори, инструктори, състезатели и др.)  Приложни специалисти в областта на изкуството, културата и кулинарията (фотографи, декоратори, дизайнери, готвачи и др.)  Техници в областта на ИКТ. 4 категория: помощен административен персонал  Общи административни служители (секретари, оператори за въвеждане на данни и др.)  Административен персонал, обслужващ клиенти (касиери, инкасатори, консултанти, телефонисти, рецепционисти и др.) 5 категория: персонал, зает с услуги за населението, търговията и охраната  Обслужващ персонал в транспорта (стюарди, кондуктори и др.)  Екскурзоводи, аниматори  Готвачи, сервитьори, бармани, фризьори, козметици  Икономи и домашни помощници  Дресьори и гледачи на животни  Продавачи и служители в магазини, бензиностанции и др.  Персонал, полагащ грижи за хора (гувернанти, приемни родители, детегледачи, санитари)  Пожарникари, полицаи, охранители, спасители 20 6 категория: квалифицирани работници в селското, горското и рибното стопанство  Градинари и растениевъди  Овощари  Животновъди и птицевъди  Пчелари  Горски работници  Риболовци и ловци. 7 категория: квалифицирани работници и сродни на тях  Строители, зидари, каменоделци, дърводелци, работници довършителни работи в строителството  Водопроводчици  Механици на климатични инсталации  Бояджии  Металурзи, леяри, заварчици, тенекеджии  Машинни механици и монтьори  Занаятчии и печатари  Бижутери  Работници по инсталиране и ремонт на електрически съоръжения  Хлебари, сладкари  Мебелисти, шивачи, кожухари, кроячи, обущари. 8 категория: машинни оператори и монтажници  Машинни оператори в миннодобивната промишленост (миньори, работници в кариери)  Машинни оператори по обработка на руди и минерали; в производството на цимент и др.  Машинни оператори на сондажно оборудване  Машинни оператори в металургията, в производството на каучук, пластмаса, хартия  Водачи на МПС (шофьори, машинисти, ватмани) и подвижни съоръжения (трактористи, багеристи и др.)  Моряци. 9 категория: професии, които не изискват специална квалификация  Чистачи, перачи, миячи  Работници в селското, горското и рибното стопанство  Товаро-разтоварачи  Улични търговци  Куриери  Общи работници. 10 категория: професии във въоръжените сили 11 категория: родителят е безработен, пенсионер, студент или починал. В9. През миналата учебна година колко време отделяхте всяка седмица за частни уроци, школи или др. извънучилищни форми на обучение по следните учебни предмети? Това са допълнителни форми на обучение само по учебни предмети, които изучавате в училище и за които отделяте допълнително време за учене извън часовете в училище. 21 (Моля да посочите само едно квадратче във всяка колона.) Български език и литература Математика Биология, химия, физика Чужди езици Не отделях време за частни уроци или други извънучилищни форми на обучение по тези предмети 1 1 1 1 По-малко от 2 часа на седмица 2 2 2 2 2 часа или повече, но по-малко от 4 часа на седмица 3 3 3 3 4 часа или повече, но по-малко от 6 часа на седмица 4 4 4 4 6 часа или повече на седмица 5 5 5 5 В11 Кои от изброените неща имате в дома си? (Моля да отбележите само едно квадратче на всеки ред.) Да Не a)Бюро, на което да се подготвяте за училище 1 2 б)Ваша собствена стая 1 2 в)Компютър, който можете да използвате, за да се подготвяте за училище 1 2 г)Образователни компютърни програми 1 2 д)Връзка с интернет 1 2 е)Художествена литература 1 2 ж)Произведения на изкуството (напр. картини) 1 2 з)Технически справочници 1 2 и)Речник 1 2 к)Смартфон (Smart Рhone) 1 2 л)Таблет 1 2 м)Цифрова камера 1 2 н)DVD плейър 1 2 о)Плазмен телевизор или LCD 1 2 п)Климатик 1 2 р) Съдомиялна машина 1 2 В12. Приблизително колко книги имате в дома си? Обикновено на библиотечните рафтове се побират около 40 книги на линеен метър. Не включвайте списания, вестници, комикси, както и Вашите учебници. (Моля да отбележите само едно квадратче.) 0–10 книги 1 11–25 книги 2 26–100 книги 3 101–200 книги 4 201–500 книги 5 Повече от 500 книги 6 22 Анекс 2: Добавена стойност на училищата в една българска община1 Усреднен Оценка на Процент ученици говорещи Вид училище Позиция Позиция тестов добавената съответния език в къщи Добавената Брой според според резултат стойност № стойност в скала ученици в 7 усреднен добавената (математика + (математика 0-100 точки клас Български Ромски Турски Друг Тип 1 Тип 2 резултат стойност български + български език) език 1 1 25 113.83 11.343 87 6 100 0 0 0 2 3 2 2 1 113.72 34.7 100 20 100 0 0 0 3 2 3 3 2 108.31 32.913 100 72 100 0 0 0 71 1 4 4 29 107.65 4.6799 72 17 100 0 0 0 3 3 5 5 6 107.31 24.065 98 107 100 0 0 0 2 2 6 6 5 105.56 25.223 98 73 98.63 1.37 0 0 3 2 7 7 9 104.6 22.235 97 60 98.333 1.667 0 0 2 2 8 8 26 104.17 11.092 86 15 93.333 0 0 6.667 3 3 9 9 10 102.71 21.065 96 84 100 0 0 0 3 2 10 10 8 100.91 23.167 97 11 100 0 0 0 3 2 11 11 13 100.83 19.343 96 59 100 0 0 0 3 2 12 12 11 100.55 19.93 96 86 100 0 0 0 2 2 13 13 28 100.2 10.632 85 5 100 0 0 0 3 3 14 14 7 100 23.753 98 74 100 0 0 0 3 2 15 15 14 99.937 17.888 95 157 97.452 1.274 0 1.274 3 2 16 16 24 99.917 11.815 88 6 100 0 0 0 2 3 17 17 12 99.525 19.62 96 40 100 0 0 0 3 2 18 18 17 99.525 16.994 94 103 99.029 0 0 0.971 3 2 19 19 3 98.562 30.38 99 8 100 0 0 0 71 1 20 20 15 97.618 17.366 94 72 100 0 0 0 3 2 21 21 22 97.448 14.022 91 96 100 0 0 0 3 2 22 22 18 96.89 15.915 93 95 98.947 0 1.05 0 3 2 23 23 27 96.705 10.971 86 88 100 0 0 0 2 2 24 24 19 96.296 15.302 92 54 98.148 0 0 1.852 2 2 25 25 21 95.93 14.542 91 64 98.438 0 0 1.563 3 1 26 26 34 35.532 -13.277 20 32 40.625 53.13 6.25 0 2 2 27 27 35 34.328 -13.989 18 11 100 0 0 0 2 2 28 28 31 33.364 3.2365 67 58 6.8966 93.1 0 0 2 2 29 29 33 31.389 -6.0835 36 9 22.222 66.67 0 11.11 2 2 1 Името на общината не е разкрито за гарантиране на анонимността на представените даннил пропуснато is not stated specifically to ensure anonymity of the presented data. 23 Усреднен Оценка на Процент ученици говорещи Вид училище Позиция Позиция тестов добавената съответния език в къщи Добавената Брой според според резултат стойност № стойност в скала ученици в 7 усреднен добавената (математика + (математика 0-100 точки клас Български Ромски Турски Друг Тип 1 Тип 2 резултат стойност български + български език) език 30 30 36 31.001 -23.433 6 6 50 50 0 0 2 2 31 31 38 28.001 -35.983 0 5 20 60 20 0 2 2 24