БЪЛГ�?РИЯ




�?пробаци�? на �?тати�?тиче�?ки модели за оценка на
добавената �?тойно�?т на училищата използващи
резултати от национални оцен�?вани�?
О�?новни резултати и изводи




Май, 2015 г.




СВЕТОВ�?�? Б�?�?К�?
РЕГИО�? ЕВРОП�? И ЦЕ�?ТР�?Л�?�? �?ЗИЯ
СЕКТОР “ОБР�?ЗОВ�?�?ИЕ�?
Благодарно�?ти

Този доклад е изготвен в рамките на Програмата за безвъзмездна техниче�?ка помощ на
Световната банка (СБ) в отговор на пои�?каното от Мини�?тер�?твото на образованието и
науката (МО�?) апробиране и документиране на приложени�?та на �?тати�?тиче�?ки модели за
оценка на добавената �?тойно�?т на българ�?ките училища чрез анализ на данните от
националните външни оцен�?вани�?. �?пробаци�?та и докладът �?а изготвени от екип �?
ръководител Пламен Данчев (�?пециали�?т в �?ферата на образованието на Световната банка) и
из�?ледователи от Българ�?кото друже�?тво за измерване и оцен�?ване в образованието
(БДИОО): проф. Кирил Банков (водещ кон�?ултант, БДИОО), доц. Ве�?ела Стоименова
(кон�?ултант по �?тати�?тиче�?ки анализ, БДИОО) и доц. Димитър �?тана�?ов (кон�?ултант,
�?тати�?тиче�?ки анализ, БДИОО).

Обхватът на пилотното из�?ледване, о�?новните параметри за дейно�?тта и необходимите данни
за анализа б�?ха определени на �?ъвме�?тни за�?едани�? на екипа на СБ и работна група на МО�? в
�?ъ�?тав: Кра�?имир Вълчев, главен �?екретар на МО�?, Евгени�? Ко�?тадинова (директор на
дирекци�? „Образователни програми и образователно �?ъдържание“, МО�?), Орлин Кузов
(директор на „Информационни технологии в образованието“, МО�?), �?еда Кри�?танова
(директор, ЦКОКУО), Сашко �?рабаджиев (ек�?перт, ЦКОКУО), Пенка Иванова (директор на
дирекци�? “Формиране, анализ и оценка на политиките“, МО�?), Рум�?на Томова (ек�?перт,
МО�?), Стела Мицова (ек�?перт, МО�?) и Радо�?вета Дракева (ек�?перт, �?дмин�?офт).




                                           1
Съдържание
 Резюме ................................................................................................................................. 2
 Увод ..................................................................................................................................... 3
 Ключови предпо�?тавки за въвеждане на добавената �?тойно�?т на училищата в
 Българи�? .............................................................................................................................. 4
 Резултати от апробирането на моделите за добавена �?тойно�?т.................................... 7
    Данни, използвани за пилотното прилагане на моделите за добавена �?тойно�?т ..... 7
    Обработка на данните .................................................................................................... 8
 Опи�?ателна �?тати�?тика ...................................................................................................... 8
    Характери�?тики на ниво ученик ................................................................................... 8
    Използван �?офтуер ....................................................................................................... 11
 Опи�?ание на моделите ..................................................................................................... 12
    Линеен регре�?ионен модел .......................................................................................... 12
    Добавената �?тойно�?т на училището като �?лучаен ефект ......................................... 12
 Опи�?ание на резултатите ................................................................................................. 13
    Оценка на добавената �?тойно�?т �? линейни�? регре�?ионен модел ............................ 13
    Оценка на добавената �?тойно�?т като �?лучаен ефект ................................................ 15
 Вли�?ние на н�?кои училищни характери�?тики върху добавената �?тойно�?т на
 училищата ......................................................................................................................... 16
    Вли�?ние на бро�? на учителите върху добавената �?тойно�?т на училището ............ 17
    Вли�?ние на езика, говорен у дома .............................................................................. 18
 Изводи и препоръки ......................................................................................................... 19




                                                                    1
По молба на Мини�?тер�?твото на образованието и науката (МО�?), Световната банка (СБ)
разшири обхвата на апробаци�?та на �?тати�?тиче�?ки модели за оценка на добавената
�?тойно�?т на училищата чрез анализ на резултатите от външните оцен�?вани�?. Първи�?т етап
на апробаци�? бе о�?ъще�?твен през 2013 г. �?а�?то�?щи�?т доклад обобщава резултатите от
втори�? етап на пилотното приложение.

Показателите за добавена �?тойно�?т �?е �?трем�?т да изолират прино�?а на училището към
академичното развитие на учениците от факторите, които �?а извън контрола на учителите
и училищните директори. С о�?нование може да �?е твърди, че показателите за добавената
�?тойно�?т на училищата �?а �?ред най-точните и �?праведливи измерители на пред�?тав�?нето
на училищата, �?тига т�?хното изчи�?ление да �?е о�?новава на валидни и надеждни
оцен�?вани�?.

Резултатите от на�?то�?щото из�?ледване показват, че в�?еки от те�?тваните три �?тати�?тиче�?ки
модела (линеен регре�?ионен модел, модел �?ъ�? �?лучайни ефекти и модел �?ъ�? �?лучайни
ефекти �? отчитане на езика, на който учениците говор�?т у дома) може да �?е използва за
оценка на добавената �?тойно�?т, но �? най-много предим�?тва е моделът �?ъ�? �?лучайни
ефекти, включващ езика на учениците, говорен у дома.

За да �?е неутрализира негативни�? ефект на прекалено малки�? брой ученици в един випу�?к
в малките училища върху резултатите за добавената �?тойно�?т е препоръчителна
�?тати�?тиче�?ка корекци�? на резултатите на училищата �? брой положили изпит по-малък от
20 ученика. Те�?тваните модели �?ъ�? �?лучайни ефекти позвол�?ват тази корекци�? да �?е
о�?ъще�?тви по прецизен и е�?те�?твен начин.

У�?пешното въвеждане на оценката на добавената �?тойно�?т в Българи�? изи�?ква �?ледните
по-�?ъще�?твени промени в рамката за националните оцен�?вани�?:
 • да �?е въведе видео наблюдение и �?трог контрол по време на изпитите не �?амо за
     държавните зрело�?тни изпити, както бе опове�?тено неотдавна, но и за в�?ички
     о�?танали външни оцен�?вани�?;
 • бро�?т на задачите в те�?товете �?лед 4 и 7 кла�? по предметите, уча�?тващи в оценката
     на добавената �?тойно�?т (на този етап – българ�?ки език и литература и математика),
     да �?е увеличи, за да �?е повиши надеждно�?тта на те�?товете;
 • да �?е включват в те�?товете въпро�?и/задачи за измерване както на най-ни�?ките, така
     и на най-ви�?оките изи�?квани�? на националната учебна програма, а не �?амо на
     минималните �?тандарти, както е в момента. В противен �?лучай те�?товите
     ин�?трументи ще продължат да не разграничават добре резултатите на групата на
     „�?илните“ ученици;
 • използваните �?кали за пред�?тав�?не на резултатите тр�?бва да имат до�?татъчно много
     разделени�?, за да може да обхванат еднакво добре по�?тижени�?та на �?лабите и
     �?илните ученици;
 • да �?е разгледа възможно�?тта за въвеждането на задължителен държавен зрело�?тен
     изпит по математика, за да �?е включи пълноценно и гимназиални�? етап на
     образование в �?и�?темата от показатели за добавена �?тойно�?т.
Увод
1.   Целта на този доклад е да опише проце�?а и да �?и�?тематизира резултатите от втори�? етап
     на пилотното прилагане на �?тати�?тиче�?ки модели за оценка на добавената �?тойно�?т на
     българ�?ките училища, като �?е използват резултати от националните оцен�?вани�?. Първи�?т
     анализ на добавената �?тойно�?т на училищата беше направен в рамките на програмата за
     техниче�?ка помощ за �?ектор образование в Българи�? на Световната банка през 2013
     година. Първото приложение на моделите на добавена �?тойно�?т бе ограничено от
     �?ъще�?твени�? д�?л лип�?ващи данни, неу�?пешни�?т опит да �?е �?ъберат контек�?туални данни
     за анализирани�? випу�?к и �?вързаните �? това ограничени ползи от анализа на добавената
     �?тойно�?т. По желание на МО�? работата бе продължена през 2014 и 2015 година, за да �?е
     апробират нови �?тати�?тиче�?ки модели �? пълен набор от данни за два поредни випу�?ка,
     позвол�?ващи оценка на добавената �?тойно�?т в прогимназиалната �?тепен на образование.
     Този доклад пред�?тав�? техниче�?кото изпълнение на апробаци�?та и о�?новните резултати
     от оценката на добавената �?тойно�?т на училищата. Целта е да �?е �?тимулира ди�?ку�?и�?
     между ек�?пертите на МО�? по отношение на техниче�?кото изпълнение, като �?е наблегне
     на значимо�?тта и приложимо�?тта на апробираните �?тати�?тиче�?ки модели в контек�?та на
     националните оцен�?вани�? в Българи�? и наличните данни от т�?х. В доклада �?е опи�?ва и
     �?тати�?тиче�?ката обработка на наличните данни и изпълнените процедури в рамките на
     оценката на добавената �?тойно�?т. От тази гледна точка, докладът е предназначен �?ъщо и
     за �?тати�?тици и научни работници.

2. Те�?тово оцен�?ване на по�?тижени�?та на учениците �?е прави от дълго време в много
   образователни �?и�?теми, като в повечето �?лучаи резултатите на училищата �?е пред�?тав�?т
   като о�?реднени балове на учениците. Ограничени�?та и нежеланите по�?лед�?тви�? от
   �?равн�?ването на училищата на база о�?реднени резултати �?тават в�?е по-�?�?ни. Този начин за
   оценка на училищната ефективно�?т не е добър, понеже не �?е вземат пред вид важни
   фактори, вли�?ещи върху резултатите на ученици, като например: вродените каче�?тва на
   учениците, �?оциално-икономиче�?ката им �?реда, вли�?нието на при�?тели и лично�?ти в и
   извън училищната �?реда, придобитите знани�? и умени�? до по�?тъпване в конкретно
   училище и др. Една от �?ъще�?твуващи възможно�?ти да �?е преодоле�?т ча�?тично тези
   ограничени�? е използването на опро�?тен модел за процентилно измерване на академични�?
   напредък на учениците. Този подход, обаче, има �?ъще�?твени ограничени�? в �?равнени�? �?
   моделите за оценка на добавената �?тойно�?т на училищата

3. Международни�?т опит показва, че използването на добавената �?тойно�?т на училищата,
   базирана на валидни и надеждни оцен�?вани�? на учениците е по-�?праведлив и по-точен
   индикатор за ефективно�?тта на училищата. Добавената �?тойно�?т на училището е м�?рка за
   вли�?нието на училището върху учениците, ко�?то �?е получава чрез �?тати�?тиче�?ки анализ
   на те�?товите резултати на един и �?ъщ випу�?к ученици, получени чрез те�?тово оцен�?ване в
   поне две различни времеви точки от т�?хното обучение. Използваните �?тати�?тиче�?ки
   методи вземат предвид вли�?нието на н�?кои от опи�?аните по-горе фактори (наречени
   „контек�?туални характери�?тики“). Чрез такъв анализ по�?тижени�?та на учениците могат да
   �?е раздел�?т на два о�?новни компонента: такива, които �?а получени благодарение на
   вли�?нието на училището и такива, които �?а резултат от контек�?туалните характери�?тики.
   Използването на оценката на добавената �?тойно�?т на училищата за отчитане на
   по�?тигнатите резултати и за подобр�?ване на дейно�?тта им �?тава в�?е по-попул�?рно. В
   управлението на образованието добавената �?тойно�?т �?е приема като м�?рка за училищната
   ефективно�?т (MILO, 2008). �?ай-добре развити методи за използване на добавената
   �?тойно�?т �?ред европей�?ките държави има в �?нгли�? (Ray, 2006) и Полша (Jakubovski,
   2008). И в двете държави добавената �?тойно�?т �?е използва за подобр�?ване дейно�?тта на
   училищата и за т�?хната отчетно�?т.

4.   �?амерението на МО�? да развие �?и�?тема за �?праведливо и обективно измерване на
     училищната ефективно�?т �?тимулира ди�?ку�?и�? отно�?но възможно�?тите да �?е използва
     оценката на добавената �?тойно�?т на училищата като индикатор за каче�?твото на т�?хната
     дейно�?т.



                                             3
Ключови предпо�?тавки за въвеждане на добавената �?тойно�?т на училищата в
Българи�?
5. Стандартизирани те�?тове за национално оцен�?ване б�?ха апробирани за първи път в
   Българи�? през 2007 г. Сега те�?тови национални оцен�?вани�? �?е провеждат ежегодно �?
   в�?ички ученици в кра�? на начални�? училищен етап (завършването на 4 кла�?), �?лед
   завършване на 7 кла�? и в кра�? на �?редното образование (завършването на 12 кла�? за
   Държавни зрело�?тни изпити). В�?е още неприети�?т закон за предучилищното и
   училищното образование предвижда още едно национално оцен�?ване при завършването
   на 10 кла�? – в кра�? на първи�? етап на гимназиалната �?тепен. �?а този етап резултатите от
   националните оцен�?вани�? �?е пред�?тав�?т в така наречени�? „�?уров те�?тов бал“ (брой точки)
   и таблица за превръщане на точките в „ше�?тобална“ оценка. Като �?е използват тези данни,
   за в�?�?ко училище може да �?е пре�?метне �?редни�? му бал, което дава възможно�?т за
   �?равн�?ване на училищата помежду им. Базата �? данни за в�?ички училища, обаче не е
   до�?тъпна за в�?еки, за да може да �?е избегне неправилно тълкуване на такива �?равн�?вани�?
   между училищата. Резултатите от тези оцен�?вани�? в�?е още не �?е използват в до�?татъчна
   �?тепен за вземане на решени�? по отношение на училищата. Провежданите национални
   оцен�?вани�? �? в�?ички ученици биха могли да дадат богата информаци�? за ефективно�?тта на
   в�?�?ко едно училище, �? ко�?то да �?е работи за подобр�?ване на каче�?твото на обучението.
   Използването на моделите за добавена �?тойно�?т могат да имат �?ъще�?твен прино�? в това
   отношение

6. От дълго време буди безпокой�?тво начинът на провеждане на националните оцен�?вани�? и
   по-конкретно недо�?татъчната превенци�? на препи�?ването и под�?казването. �?еотдавна
   МО�? об�?ви мерки за подобр�?ване на у�?лови�?та за провеждане на Държавните зрело�?тни
   изпити чрез въвеждане на видео наблюдение и извънредни проверки. Тези мерки тр�?бва
   да �?е въведат ма�?ово и да обхванат в�?ички национални оцен�?вани�?. Докато не �?е
   прекъ�?нат възможно�?тите за измами, възвращаемо�?тта на инве�?тираните в национални
   оцен�?вани�? ре�?ур�?и ще бъде по-ни�?ка от потенциала. В�?�?какви у�?или�? да �?е използват
   резултатите от националните оцен�?вани�?, както и да �?е прилагат за оценка на добавената
   �?тойно�?т, ще бъдат отча�?ти обез�?ми�?лени, ако не �?е положат необходимите у�?или�? за
   решаването на този проблем. Макар че на�?то�?щи�? доклад н�?ма за цел да прави оценка на
   нередно�?тите по време на външните оцен�?вани�?, �?ледва да �?е подчертае, че евентуалното
   приложение на оценката на добавената �?тойно�?т без да �?е решат горепо�?очените
   проблеми ще доведе до неточно набел�?зване на добре пред�?тав�?щите �?е училища и до
   не�?праведливо разпределение на ре�?ур�?ите в образователната �?и�?тема. Правител�?твото
   �?ледва да гарантира, че резултатите от националните външни оцен�?вани�? отраз�?ват
   обективно знани�?та на учениците и че те�?товите ин�?трументи отговор�?т напълно на
   изи�?квани�?та на моделите за добавена �?тойно�?т .

7.   Дизайнът на те�?товете за националните оцен�?вани�? тр�?бва да бъде преразгледан, за да �?е
     включват задачи за измерване както на най-ни�?ките, така и на най-ви�?оките изи�?квани�?
     на националната учебна програма, а не �?амо на минималните �?тандарти, както е в
     момента – това �?ъздава така наречени�? „ефект на тавана“, т.е. те�?товите ин�?трументи не
     дават възможно�?т за добро разграничаване �?ред групата на „�?илните“ ученици. Свързан �?
     това е проблемът �? използваните �?кали. Те тр�?бва да бъдат направени �?поред
     общоприетите правила и да имат до�?татъчно много разделени�?, за да може да обхванат
     по�?тижени�?та както на �?лабите, така и на �?илните ученици. Само така може да �?е получат
     каче�?твени резултати за оценка на добавената �?тойно�?т (Sanders 2003). В противен �?лучай
     невъзможно�?т за добро разграничаване �?ред групите на �?илните или на �?лабите ученици
     може да доведе до по-ни�?ки �?тойно�?ти на добавената �?тойно�?т на „ви�?око ефективни“
     училища или обратното, изку�?твено да повиши добавената �?тойно�?т на „ни�?ко
     ефективни“ училища (Ray 2006). Както �?е вижда от графиките и хи�?тограмите в
     �?ледващи�? раздел на доклада, резултатите от те�?товете �?лед 4 кла�? �?а далеч от
     нормалното Гау�?ово разпределение, което е �?игурен знак, че използваните те�?тове н�?мат
     �?илата да оцен�?т и разграничат учениците �? ви�?оки по�?тижени�?. �?адеждно�?тта на



                                             4
     те�?товите материали може да бъде увеличена чрез добав�?не на повече те�?тови задачи.
     Това е о�?обено важно за те�?товете, чиито резултати �?е използват за оценка на добавената
     �?тойно�?т на училищата, а именно тези по българ�?ки език и литература и по математика.
     Следва да �?е отбележи, че добав�?нето на нови задачи би могло да има финан�?ови
     по�?лед�?тви�?. Времето за полагането на те�?товете би нара�?нало. Разходите по �?амото
     изготв�?не на нови те�?тови задачи �? цел елиминиране на ефектите на пода и тавана �?ъщо
     би увеличило необходимо�?тта от �?ред�?тва за външните оцен�?вани�?.

8.   По време на разговорите �? МО�? по отношение на на�?то�?щото апробиране на
     �?тати�?тиче�?ки модели за добавена �?тойно�?т б�?ха об�?ъдени редица техниче�?ки детайли.
     Ето най-важните от т�?х, заедно �? приетите решени�?.

     i.   Оценка на добавената �?тойно�?т на училищата за различни етапи от
          обучението. Оценките за добавена �?тойно�?т могат да �?е получат от резултатите на
          учениците в началото и в кра�? на определен етап от обучението им по даден предмет
          или група предмети. Така, за българ�?ките училища може да �?е направи оценка на
          добавената �?тойно�?т по българ�?ки език и литература за в�?еки етап: в кра�? на 7 кла�?
          (като �?е използват резултатите от кра�? на 4 кла�?), в кра�? на 10 кла�? (като �?е използват
          резултатите в кра�? на 4 и в кра�? на 7 кла�? или �?амо в кра�? на 7 кла�?) и в кра�? на 12
          кла�? (като �?е използват резултатите в кра�? на 4, 7 и 10 кла�? или �?амо в кра�? на 10
          кла�?). По подобен начин могат да �?е получат оценки на добавената �?тойно�?т и по
          математика. За да �?е получи добавена �?тойно�?т на училището, ко�?то „не зави�?и“ от
          предмета, получените �?тойно�?ти по двата предмета могат да �?е о�?редн�?т. Тр�?бва да �?е
          отбележи, обаче, че за тази цел �?а необходими резултати от национално оцен�?ване в
          кра�? на 12 кла�? по двата предмета. В момента такива резултати �?а налични �?амо по
          българ�?ки език и литература, защото задължителен Държавен зрело�?тен изпит има
          �?амо по този предмет. Предвид намерението на МО�? да разшири обхвата на
          анализите на добавената �?тойно�?т чрез включване на гимназиални�? етап, би �?ледвало
          да �?е об�?ъди възможно�?тта да �?е въведе задължителна матура по математика. За
          целите на този проект оценка на добавената �?тойно�?т е направена за прогимназиални�?
          етап (�?равн�?ване на резултатите от националните оцен�?вани�? на един и �?ъщ випу�?к в
          кра�? на 4 и кра�? на 7 кла�?). Това означава, че о�?новните училища (1 – 7 кла�?) �?а
          включени в проекта. Училищата от тип СОУ биха могли да уча�?тват в три оценки на
          добавената �?тойно�?т (между 4 и 7 кла�?, между 7 и 10 кла�? и между 10 и 12 кла�?). За да
          �?е включат и началните училища, може да �?е ми�?ли за оценка на добавената им
          �?тойно�?т като за изход �?е използва националното оцен�?ване в кра�? на 4 кла�?, а за
          „вход“ �?е използват н�?кои контек�?туални характери�?тики на учениците, анализирани
          от гледна точка на о�?обено�?тите на началното училище.

     ii. Вертикална и хоризонтална �?ъпо�?тавимо�?т на те�?товете за 4 и 7 кла�?. �?алице е
         гол�?м дебат по въпро�?а за �?ъпо�?тавимо�?тта на оценките от те�?товете в различни
         кла�?ове и тран�?формирането им в �?ми�?лени и �?равними �?кали (Браун, 2000 г.; Доран�?
         и к-в, 2007 г.; Пац, 2007 г.; Колън и Бренан, 2004 г.). �?адлъжни�?т анализ на
         добавената �?тойно�?т обикновено използва �?кали за резултатите от те�?товете, които �?а
         вертикално �?вързани през кла�?овете (Хари�? и колектив, 2004 г.). Различните методи на
         вертикално �?вързване вод�?т до различни по �?воите характери�?тики таблици �?
         резултати, които на �?вой ред биха могли да окажат значително въздей�?твие върху
         оценките за добавената �?тойно�?т (Пац, 2007 г.). Създаването на те�?тове за различните
         кла�?ове, �? които е възможно вертикално калибриране и у�?танов�?ване на �?�?на
         взаимовръзка между провежданите те�?тове в различните кла�?ове и израз�?ването им в
         общи �?кали предполага, че идеалните у�?лови�? за изграждане на модел на добавената
         �?тойно�?т �?а те�?тове за оцен�?ване, базирани върху Теори�?та за отговор на те�?тов
         въпро�? – Item Response Theory. Те�?товете о�?новани на тази теори�? �?а най-пригодни за
         вертикално �?вързване и като ц�?ло �? не�? �?е �?ъ�?тав�?т те�?тове �? ви�?ока до�?товерно�?т.




                                                 5
   �?а практика, обаче, много от моделите за добавена �?тойно�?т не изи�?кват оценките от
   те�?товете да бъдат вертикално �?равнени. Те про�?то изи�?кват оценките в
   по�?ледователните кла�?ове или образователни етапи, които �?е те�?тват, да бъдат
   приблизително линейно �?вързани и, в повечето �?лучаи, да има приемлив критерий
   (Доран и Коен, 2005 г.). В държави като �?нгли�? (Рей, 2006 г.; Евън�?, 2008 г.) и Полша
   (Якубов�?ки, 2008 г.), които прилагат на практика кла�?иче�?ката теори�? за те�?тове,
   оценъчните те�?тове �?ъвпадат �?ъ�? заложените в учебната програма цели, а техните
   резултати – �? изи�?квани�?та за нивото на владеене на материала, което предо�?тав�?
   възможно�?т за оптимално прилагане на анализа на добавената �?тойно�?т.
   Съпо�?тавимо�?тта та те�?товете за външно оцен�?ване, както и на държавните зрело�?тни
   изпити е важен въпро�?, който �?ледва да �?е об�?ъди включително от гледна точка на
   прилагането на модели за оценка на добавената �?тойно�?т.

iii. Проблемът „малки училища“. Малки�?т брой данни от националните оцен�?вани�? в
     дадено училище нарушава точно�?тта на оценката на добавената �?тойно�?т. Това не е
     проблем за училища, в които анализирани�?т випу�?к има „много“ ученици, но
     добавената �?тойно�?т на училища �? малък брой ученици във випу�?к може �?ъще�?твено
     да варира от година в година поради тази неточно�?т в оценката. Това е об�?�?нено
     например в Ray (2006) при използване на данни от „малки“ училища в �?нгли�?.
     Възможно решение, което беше прието по време на ди�?ку�?иите �? МО�?, е да �?е
     използва общоприетата корекци�? (shrinkage) на добавената �?тойно�?т на „малките“
     училища. При тази корекци�?, добавената �?тойно�?т на „малките“ училища �?е
     „преме�?тва“ към �?редната �?тойно�?т за �?траната, като �?е умножава �? подход�?щ
     коефициент. За целите на този проект е направена два вида корекци�?: веднъж за
     училища �? по-малко от 20 ученици в анализирани�? випу�?к и отделно за училища �? по-
     малко от 30 ученици в анализирани�? випу�?к.

iv. Техниче�?ка �?ложно�?т на моделите за добавена �?тойно�?т. Има различни модели за
    добавена �?тойно�?т. �?�?кои от т�?х (например линейни�? регре�?ионен модел) �?а
    �?равнително ле�?ни за изпълнение. Други изи�?кват �?триктно направена база данни и
    �?ъвременни �?ред�?тва за изчи�?лителни процедури. �?ай-общо казано, по-�?ложните
    модели дават по-прецизни резултати, макар че има какво да �?е ди�?кутира по този
    въпро�?. О�?новен недо�?татък на по-�?ложните модели е, че те изи�?кват повече време за
    подготовка на базата данни и за валидиране на �?и�?темата. По-�?ложните модели
    изи�?кват по-прецизни данни, така че пон�?кога лип�?ата на данни или непълнотата на
    данните ограничават т�?хното използване. О�?вен това, об�?�?нени�?та какво точно �?е
    прави �? по-�?ложните модели, не винаги е до�?тъпно за „ма�?овата публика“, което
    ограничава прозрачно�?тта в т�?хното използване. Като �?е има пред в�?ичко това, беше
    решено за целите на този проект да �?е използват два модела: линеен регре�?ионен
    модел и модел �?ъ�? �?лучайни ефекти.

v. Слаб ефект върху избора на родителите. Въпреки че моделите за добавена �?тойно�?т
   �?а �?праведлив ин�?трумент за оценка на прино�?а на училища за академичното
   изра�?тване на учениците, н�?кои международни проучвани�? �?очат, че родителите �?а
   по-заинтере�?овани от аб�?олютните �?тойно�?ти на по�?тижени�?та на учениците в дадено
   училище, отколкото от добавената му �?тойно�?т. Опитът на Чили, в контек�?та на
   н�?колко �?пецификации на модели за добавена �?тойно�?т (Mizala and Urquiola, 2013)
   показва, че родителите по-�?коро реагират на подреждането на училищата �?ъобразно
   техни�? аб�?олютен �?реден бал, отколкото на база добавената им �?тойно�?т.

vi. Потенциални нежелани �?транични ефекти от използването на добавената
    �?тойно�?т. Както беше коментирано по-горе, опитите за измама, цел�?щи повишаване
    на те�?товите резултати, �?а �?ериозен проблем на националните оцен�?вани�? в Българи�?,
    въпреки че резултатите не �?а обвързани �? предо�?тав�?нето на �?тимули за добре
    пред�?тав�?щите �?е училища. В �?ветовната литература �?а опи�?ани редица �?лучаи, в
    които н�?кои училищни индикатори и резултати от те�?тове могат и �?а фино
    манипулирани, за да �?е получат „най-добри“ изходни данни за училището. Оценките




                                         6
        на добавената �?тойно�?т не �?а изключение в това отношение (Nichols & Berliner 2005).
        Когато �?е �?равн�?ват два те�?тови резултата (например тези в кра�? на 4 и в кра�? на 7
        кла�?), за да �?е оцени добавената �?тойно�?т на училището, по�?ледната нара�?тва когато
        разликата между двата те�?тови резултата �?ъщо нара�?тва. Следователно „мотиваци�?“
        за получаване на по-гол�?ма добавена �?тойно�?т е не �?амо „завишаване“ на резултатите
        в кра�? на 7 кла�?, но и „понижаване“ на резултатите (на �?ъщите ученици) в кра�? на 4
        кла�?. Това може да �?тане като �?е „на�?тавл�?ват“ учениците да не �?е отна�?�?т �?ериозно
        към националното оцен�?ване в кра�? на 4 кла�?; дори да �?е пои�?ка от т�?х да покажат по-
        малко от това, което дей�?твително зна�?т. По-радикален подход в това отношение е
        пре�?труктурирането на учебни�? проце�?, така че учениците да не �?а добре подготвени
        за националното оцен�?ване в кра�? на 4 кла�?. Тр�?бва да �?е вземат мерки, за да може
        �?и�?темата да �?е противопо�?тави на тези дей�?тви�?. �?ай-общо казано, училищата тр�?бва
        да имат мотиваци�?, за да „изи�?кат“ от учениците �?и да покажат реалните �?и знани�? на
        в�?�?ко национално оцен�?ване. Това най-ле�?но може да �?тане ако в�?�?ко национално
        оцен�?ване е както вход, така и изход за оценка на добавена �?тойно�?т (например,
        националното оцен�?ване в кра�? на 7 кла�? може да е изход за оценка на добавената
        �?тойно�?т за прогимназиални�? етап, 5-7 кла�? и едновременно �? това да е вход за оценка
        на добавената �?тойно�?т за първи�? гимназиален етап, 8-10 кла�?.

Резултати от апробирането на моделите за добавена �?тойно�?т

Данни, използвани за пилотното прилагане на моделите за добавена �?тойно�?т

9.   За да �?е направи оценка на добавената �?тойно�?т на училищата �?а нужни те�?тови
     резултати на един и �?ъщ випу�?к ученици в две различни времеви точки от т�?хното
     обучение. Както е об�?�?нено по-горе, в Българи�? има три национални оцен�?вани�? на
     в�?ички ученици. За нуждите на анализа в този проект �?а използвани данни от външните
     оцен�?вани�? по българ�?ки език и литература (БЕЛ) и математика на едни и �?ъщи ученици
     от два по�?ледователни випу�?ка в две времеви точки – резултатите от външните
     оцен�?вани�? �?лед 4 кла�? (2010 и 2011 г.) и �?лед 7 кла�? (2013 и 2014 г.), допълнени от набор
     от контек�?туални характери�?тики на учениците и училищата. В анализът уча�?тват в�?ички
     училища, предлагащи обучение от 4 до 7 кла�?. Това дава възможно�?т в анализа да �?е
     включат два по�?ледователни випу�?ка. Въпреки че националните оцен�?вани�? �?а по
     н�?колко предмета, о�?новните и важни предмети �?а българ�?ки език и литература и
     математика – техните резултати �?а включени в оценката на добавената �?тойно�?т.

10. Данните от двете години и от различните предметни те�?тове �?а �?вързани по�?ред�?твом
    уникални идентификационни кодове, анонимизиращи ЕГ�? на включените в анализа
    ученици. Тези кодове но�?�?т информаци�? за рождената дата на в�?еки ученик. О�?вен
    резултатите от националните оцен�?вани�?, данните за 4 кла�? �?ъдържат информаци�? за
    езика, говорен в дома на в�?еки ученик (�?амо за випу�?ка, завършил 4 кла�? през 2010 г.). В
    моделите, които �?а апробирани в този проект, �?а използвани �?ледните данни за двата
    випу�?ка: резултатите от националните оцен�?вани�? в кра�? на 4 и кра�? на 7 кла�?, възра�?т,
    пол, вид училище, език, говорен у дома (�?амо за едини�? випу�?к).

11. Данните �?а предо�?тавени от МО�? в три файла. Първи�?т файл �?ъдържа информаци�? за
    резултатите на учениците от националните оцен�?вани�? и допълнителна информаци�? за
    езика, говорен у дома. Структурата на файла е �?ледната:
       • exam_year – година на полагане на ВО,
       • exam_class – кла�?, за който е положено ВО,
       • school – кла�?, за който е положено ВО,
       • student_id – уникален идентификатор на ученика,
       • examcode – код на изпита,
       • totaly1 – резултати от ВО_1,
       • totaly2 – резултати от ВО _2,
       • totalpoints – резултати от ВО_3,
       • languageid – код на език, говорен в �?емей�?твото.




                                               7
   За в�?еки ученик има по 4 реда в този файл.

12. Втори�?т файл �?ъдържа информаци�? характери�?тиките на учениците, като пол, година на
    раждане и др., както и допълнителна информаци�? за преме�?тването на ученици от едно
    училище в друго. Структурата на файла е �?ледната:
       • exam_year – година на полагане на ВО,
       • exam_class – кла�?, за който е положено ВО ,
       • school – училище, в което е положено ВО,
       • student_id – уникален идентификатор на ученика,
       • gender – пол на ученика,
       • birth year – година на раждане на ученика,
       • interim_school – училище, в което е бил ученика в 5/6 кла�?,
       • interim_year – година, в ко�?то ученикът е бил в 5/6 кла�?,
       • interim_class – кла�?, в който е бил ученикът (5 или 6),
       • EdForm – форма на обучение на ученика в 5/6 кла�?.

13. Трети�?т файл �?ъдържа информаци�? за училището, оформена в �?ледната �?труктура: The
    third file contains information about the schools.

   •   School_ID – код на училището,
   •   School_Name – пълно наименование на училището,
   •   Obl_ID – код на обла�?тта, в ко�?то �?е намира училището,
   •   Municipality_ID – код на общината, в ко�?то �?е намира училището,
   •   EKATTE – код на на�?еленото м�?�?то, в което �?е намира училището (по �?СИ-ЕК�?ТТЕ),
   •   cat – код на категори�?та на на�?еленото м�?�?то, в което �?е намира училището (по �?СИ-
       ЕК�?ТТЕ,
   •   School_Type_1 – вид на училището �?поред вида образование,
   •   School_Type_2 – вид на училището �?поред �?об�?твено�?тта,
   •   BudgetFrom – финан�?иране на училището,
   •   IsProtected – защитено училище (да/не),
   •   Shifts – �?менно�?т на обучение в училището,
   •   NumOfPedag – брой педагогиче�?ки пер�?онал.

Обработка на данните

14. �?ай-напред беше генериран файл �? данни от различните файлове, който �?ъдържа
    необходимата информаци�? за оценка на добавената �?тойно�?т. Това беше направено на
    Perl 5 �?ъ�? �?пециално изработена от авторите за целта програма. Езикът, говорен у дома, е
    кодиран така: българ�?ки (код 1), ром�?ки (код 2), тур�?ки (код 3) и друг (код 4).

15. Получената база данни е запазена в тек�?тов файл, “comma separated value�? формат �?ъ�?
    �?ледната �?труктура:
       1.     Резултат от националното оцен�?ване в 7 кла�?,
       2.     Резултат от националното оцен�?ване в 4 кла�?,
       3.     Пол на ученика,
       4.     Идентификатор на училището,
       5.     Език, говорен в къщи.

Опи�?ателна �?тати�?тика

Характери�?тики на ниво ученик

16. Важните характери�?тики на ниво ученик �?а: език, говорен у дома; пол; резултати от
    националното оцен�?ване по българ�?ки език и литература и по математика в кра�? на 4
    кла�?; резултати от националното оцен�?ване по българ�?ки език и литература и по
    математика в кра�? на 7 кла�?.



                                                8
17. Процентното разпределение на учениците, говорещи различни езици у дома, е показано
    на Фигура 1. Около 80% от учениците говор�?т българ�?ки език в къщи.




                    Фигура 1. Разпределение �?поред езика, говорен у дома

18. Разпределението на учениците по пол (0-жен�?ки; 1-мъжки) е показано на Фигура 2.




                               Фигура 2. Разпределение по пол

Данни за 4 кла�?

19. Данните за 4 кла�? �?а резултатите от националните оцен�?вани�? по математика (MATH) и
    по българ�?ки език и литература (BEL). Хи�?тограмите им за 2010 година �?а пред�?тавени
    �?ъответно на Фигура 3 и Фигура 4. Фигурите 5 и 6 пред�?тав�?т �?ъответните хи�?тограми за
    оцен�?ването през 2011 година. Очевидно е, че хи�?тограмите не �?а „близки до нормалното
    разпределение“. Средните �?тойно�?ти и �?тандартните отклонени�? �?а дадени в Таблица 1.
    Понеже тези параметри �?а използвани като предиктори в регре�?ионните модели, формата
    на разпределението не е важна за каче�?твото на модела.

                               Средна �?тойно�?т      Стандартно отклонение
              MATH 2010             15.9657                 3.7116
              BEL 2010              12.0603                 2.6596
              MATH 2011             15.2885                 3.7432
              BEL 2011              12.1160                 2.7018




                                              9
                  Таблица 1. Средна �?тойно�?т и �?тандартно отклонение, 4 кла�?




    Фигура 3. Резултат MATH, 4 кла�?, 2010
      Фигура 4. Резултат BEL, 4 кла�?, 2010




    Фигура 5. Резултат MATH, 4 кла�?, 2011          Фигура 6. Резултат BEL, 4 кла�?, 2011

Данни за 7 кла�?

20. Хи�?тограмите на резултатите от националните оцен�?вани�? в 7 кла�? за 2013 година �?а
    пред�?тавени �?ъответно на Фигури 7 и 8. Фигурите 9 и 10 пред�?тав�?т �?ъответните
    хи�?тограми за оцен�?ването през 2014 година. Средните �?тойно�?ти и �?тандартните
    отклонени�? �?а дадени в Таблица 2.



                                Средна �?тойно�?т     Стандартно отклонение

                  MAT   2013        34.1255                16.9015
                  BEL   2013        37.1727                15.0254
                  MAT   2014        22.5720                 9.4153
                  BEL   2014        18.2325                 5.9984


               Таблица 2. Средна �?тойно�?т и �?тандартно отклонение, 7 кла�?




                                              10
    Фигура 7. Резултат MATH, 7 кла�?, 2013             Фигура 8. Резултат BEL, 7 кла�?, 2013




    Фигура 9. Резултат MATH, 7 кла�?, 2014            Фигура 10. Резултат BEL, 7 кла�?, 2014

21. Разпределението на тези параметри има значително по-гол�?ма ди�?пер�?и�? от очакваната
    (това е ди�?пер�?и�?та на нормално разпределение �?ъ�? �?ъщи�? размах). Тези параметри �?а
    зави�?ими променливи в регре�?ионните модели. Гол�?мата ди�?пер�?и�? е причина за малката
    �?тойно�?т на коефициента R 2 (ча�?тта от данните, които �?е об�?�?н�?ват чрез модела).


Използван �?офтуер

22. Данните за този проект �?а налични във файлове �? “fixed width text�? формат. Това налага
    предварителната им обработка, за да �?е получи файл �? данни, подход�?щ за използваните
    �?тати�?тиче�?ки модели. Затова анализът на данните е направен в две ча�?ти:
        • Предварителна обработка за получаване на подход�?ща база данни;
        • Стати�?тиче�?ки анализ и потвърждаване на моделите.

23. Първата ча�?т е о�?ъще�?твена �? програмни�? език Perl 5. О�?новното му предим�?тво за
    �?луча�? е, че е гъвкав език, направен за обработка на големи тек�?тови файлове. Той е
    �?вободен. Получените файлове �?а запазени като тек�?тови файлове, “comma separated
    value�? формат. След това информаци�?та от тези файлове е обработена и комбинирана,
    като е използвана �?пециално направена програма на Perl. По време на този проце�?
    данните �?а провер�?вани за в�?�?какъв вид не�?ъвме�?тимо�?т, ко�?то може да повли�?е на
    каче�?твото на крайни�? резултат. В крайна �?метка е получена добре �?труктурирана база от
    данни.

24. Втората ча�?т е анализа на данните чрез прилагане на �?тати�?тиче�?ките модели. В тази ча�?т
    има три о�?новни �?тъпки:
       • Де�?криптивна �?тати�?тика.
       • Регре�?ионен анализ за откриване на о�?новните връзки в базата данни в
           �?ъответ�?твие �? първи�? от предложените модели.
       • Прилагане на много�?тепенен модел за втори�? от предложените методи.




                                            11
25. Поради �?ложно�?тта на задачата, е използвана �?и�?темата MATLAB (�?и�?тема за научни
    пре�?м�?тани�?). Това е платен �?офтуер на MathWorks, изве�?тен �? точните �?и пре�?м�?тани�?
    при работа �? големи многомерни обекти. О�?вен това, MATLAB е мощен и гъвкав
    програмен език, което е важно за този проект, понеже дава възможно�?т за допълнителна
    манипулаци�? �? данните, ако �?е налага. В MATLAB има вграден “Statistical toolbox�? �?
    много �?тати�?тиче�?ки процедури и модели. Чрез него е направена �?пециална за целите на
    проекта програма.

Опи�?ание на моделите

Линеен регре�?ионен модел

26. При този метод индивидуални�?т те�?тов бал на ученика в кра�? на 7 кла�? е пред�?тавен в
    регре�?ионно уравнение, зави�?ещ от получени�? му те�?това бал в кра�? на 4 кла�?, от н�?кои
    контек�?туални и училищни характери�?тики:

                           7
                         Gij  �?�  �?� Gij
                                       4
                                          �?� X ij  �?� ij ,                                                     (1)

              7
    Където Gij е резултатът в кра�? на 7 кла�? по българ�?ки език и литература, или по
                                                                                          4
    математика, или о�?реднено между двете (аналогично Gij е �?ъщото за �?ъответните
    премети в кра�? на 4 кла�?) на ученика i от училището j, X ij е характери�?тика на ученика,
    включена в модела (пол). Тук �?� , �?� и                           �?�   �?а параметри, които тр�?бва да �?е оцен�?т, �?� ij �?а
    �?лучайните грешки на модела, които �?а �?ъ�? �?редна �?тойно�?т 0, не �?а зави�?или и �?а
                                                       
    нормално разпределени N 0, �?� �?� �? ди�?пер�?и�? Var �?� ij  �?� �?� .
                                 2                                                   2



27. Резидуалите �?� ij (оценките на грешките �?� ij ) �?е използват за пре�?м�?тане на добавената
    �?тойно�?т на училищата. По-точно, добавената �?тойно�?т на j-тото училище по даден
    предмет (математика или БЕЛ) е �?редната �?тойно�?т на резидуалите от учениците за това
    училище:
                  Sj 
                         1
                         nj
                              �?�
                              iSc j
                                       ij   
                                                1
                                                nj
                                                      G
                                                     iSc j
                                                               7
                                                              ij    Gij
                                                                       7
                                                                         .                              (2)

    Тук Sc j е множе�?твото на в�?ички ученици в j-тото училище, n j е бро�?т на учениците в
                     7
    това училище и Gij е оцен�?вани�?т предиктор за те�?товата оценка в кра�? на 7 кла�?
    на i-ти�? ученик в това училище.

Добавената �?тойно�?т на училището като �?лучаен ефект

28. По-общ подход в оценката на вли�?нието на училището върху резултатите на ученика е да
    разглеждаме добавената �?тойно�?т на училището S j като �?лучаен ефект. Такива модели
    �?а изве�?тни като модели �?ъ�? �?ме�?ен ефект или много�?тепенни модели.
             7
           Gij  �?�  �?� Gij
                         4
                            �?�k  �?� l  X ij  �?� ij ,                                                                (3)
    В уравнението (3) �?ъбираемите �?�k , k  1, 2 и �?� l , l  1, 2,3, 4 �?а �?лучайни�?т ефект
    �?ъответно от пола на ученика и езика, говорен у дома.

29. В�?ъщно�?т това �?а много�?тепенни регре�?ионни модели �?ъ�? �?лучаен отрез. В този �?лучай
    важна рол�? имат ди�?пер�?иите на „�?лучайните �?ъбираеми“: училищни�? ефект �?� s , ефекта
                                                                             2


    на училището �?� �?� , ефекта на езика, говорен у дома �?� �?� и ефекта на грешката �?� �?� . В
                         2                                                        2   2




                                                                       12
    опи�?анието на резултатите по-долу, �?а разгледани две приложени�? на този модел: без
    използване на „език, говорен у дома“ и �? неговото използване.

30. Въпреки че много�?тепенните модели имат �?равнително �?ложна �?тоха�?тична форма и
    комплек�?ни процедури за �?тати�?тиче�?ка оценка, те притежават н�?кои предим�?тва. За
    целите на пози проект в важна възможно�?тта, ко�?то те предо�?тав�?т, за корекци�? на
    оценката на училища �? малък ученици. Goldstein (2011) предлага да �?е коригират
    получените резидуали на училищата като �?е умножат �? подход�?щ множител c j от

    интервала [0, 1]. Така получените коригирани резидуали S j                       �?а по-малки от
    първоначално получените. Когато бо�?т на учениците в училището (тези, които уча�?тват в
    из�?ледването) нара�?тва, коригиращи�?т множител �?тава в�?е по-близко до 1. Това означава,
    че за училища �? „много“ ученици добавената �?тойно�?т, получена по метода OLS и
    коригираната такава �?а приблизително равни, докато за училища �? „малък“ брой ученици
                                                        n j�?� s2
    коригиращи�?т множител е важен. По-точно, S j                   �?� j . В тази формула n j е
                                                     n j�?� s2  �?� �?�2

    бро�?т на учениците в училище j и          �?�j    е �?редната �?тойно�?т на получените резидуали за

                            �?�
                            iSc j
                                     ij

    �?ъщото училище: �?� j                  , където Sc j е множе�?твото на в�?ички ученици в училище
                                n
    j.

31. Множител�?т, �? който умножаваме �?� j �?е нарича „коригиращ множител“ (shrinkage
    factor):
                                                      n j�?� s2
                                            cj                      (4)
                                                   n j�?� s2  �?� �?�2

32. Големината на корекци�?та зави�?и от бро�? на учениците в училището (които уча�?тват в
    из�?ледването). �?ара�?тването на коригиращи�? множител за „малки“ училища може да �?е
    разглежда като компен�?аци�? за отно�?ително по-малката информаци�?, ко�?то имаме за
    тези училища. Така, първоначално получената добавена �?тойно�?т �?е „преме�?тва“ към
    �?редната добавена �?тойно�?т в�?ички училища. За целите на проекта �?е прави такава
    корекци�? на добавената �?тойно�?т за училища �? брой ученици под определено чи�?ло.


Опи�?ание на резултатите

Оценка на добавената �?тойно�?т �? линейни�? регре�?ионен модел

33. Ще разгледаме резултатите, получени �? модела (1). Получените оценки на добавената
    �?тойно�?т �?поред (2) �?а във файла. Моделът е приложен отделно за изпитите по българ�?ки
    език и литература и по математика. Като оценка на „обща“ добавена �?тойно�?т е показано
    �?редноаритметичното на тези �?тойно�?ти. Моделът е приложен отделно за випу�?ките,
    които �?а завършили 7 кла�? през 2013 и 2014 година, както и за двата випу�?ка взети
    заедно.

34. Ще об�?ъдим резултатите на двата випу�?ка взети заедно (ако �?е разглеждат отделно,
    резултатите �?а подобни). Получените оценки на о�?новните параметри на модела �?а
    дадени в Таблица 3.
                       Параметър           Стойно�?т             SE         p-value




                                                       13
                        BEL μ      0.534          0.1887     0.0046
                        BEL α      2.1442         0.0152     0.0000
                        BEL β      2.557          0.0817     0.0000
                        MAT μ      -3.688         0.1668     0.0000
                        MAT α      2.017          0.0102     0.0000
                        MAT β      1.0868         0.0766     0.0000


                  Таблица 3. Оценка на параметрите в регре�?ионни�? модел

                    2
   Стойно�?тите на R �?а 0.1644 (за българ�?ки език и литература) и 0.2613 (за математика).
   Хи�?тограмите на резидуалите   �?� ij   за българ�?ки език и литература и за математика �?а
   пред�?тавени �?ъответно на Фигура 11 и Фигура 12.




   Фигура 11. Хи�?тограма на резидуалите, BEL         Фигура 12. Хи�?тограма на резидуалите,
                                                                   MATH

35. Разпределението на училищата �?поред получените оценки на добавената �?тойно�?т е
    пред�?тавено на Фигура 13. По хоризонталната о�? е оценката на добавената �?тойно�?т по
    българ�?ки език и литература, а по вертикалната – тази по математика. �?апи�?ани �?а
    кодовете на училищата, които �?а по границата на. В Таблица 4 �?а пред�?тавени оценките
    на параметрите по години и общо.




       Фигура 13. Разпределение на училищата �?поред линейни�? регре�?ионен модел

  година                 BEL                                 MAT




                                             14
            параметъ    �?тойно�?т    StdErr     p-value     �?тойно�?т           StdErr   p-value
                р
   2013         μ       0.9965      1.4722     0.49848      -2.5569      0.66134       0.0001
   2013         α       2.8414      0.0188      0.0000       2.1786       0.0157       0.0000
   2014         μ       7.0766     0.41978      0.0000       5.9179       0.2354       0.0001
   2014         α       0.8717      0.0083      0.0000       1.0453       0.0092       0.0000
  XXXX*         μ       5.6156      0.9603      0.0000       0.0069       0.4204       0.9868
  XXXX*         α       1.7223      0.0165      0.0000       1.7377      0.01074       0.0000

                  Таблица 4. Оценка на параметрите при фик�?иран ефект
   * XXXX означава випу�?ките 2013 и 2014 взети заедно.

Оценка на добавената �?тойно�?т като �?лучаен ефект

36. Ще разгледаме приложение на модела (3) без �?ъбираемото за „език говорен у дома“, т.е.
                                                                 ,

    където �?амо полът на ученика и ефектът на училището �?а �?лучайни ефекти. Параметърът
        е фик�?ирани�?т ефект на те�?тови�? резултат в кра�? на 4 кла�?. Оценките на параметрите
    за различните предмети и години �?а дадени в Таблица 5.


              Година                   Изпит

              2013                     BEL                           6.8180             9.9046
              2013                     MAT                           7.8192             11.641
              2014                     BEL                           2.8493             4.4907
              2014                     MAT                           5.2257             6.8165
             XXXX*                     BEL                           4.4983             12.879
             XXXX*                     MAT                           5.7376             11.543

               Таблица 5. Оценки на ди�?пер�?и�?та на �?лучайни�? ефект и грешката
                     XXXX означава випу�?ките 2013 и 2014 взети заедно.

37. Хи�?тограмите на резидуалите за българ�?ки език и литература и за математика �?а
    пред�?тавени �?ъответно на Фигура 14 и Фигура 15.




   Фигура 14. Хи�?тограма на резидуалите, BEL             Фигура 15. Хи�?тограма на резидуалите,
                                                                      MATH

38. При тези модели е направена корекци�?та, опи�?ана �? уравнението (4), което редуцира
    ефекта на „малките“ училища. Корекци�?та на направена отделно за два вида „големина“




                                             15
    на училището: за училища �? не повече от 20 ученика във випу�?к и за такива �? не повече
    от 30 ученика във випу�?к. Резултатите показват, че н�?ма �?ъще�?твена разлика между
    резултатите от двата вида корекции. Стойно�?тта 20 изглежда по-подход�?ща, защото т�?
    ограничава бро�? на паралелките във випу�?к до една.

39. Разпределението на училищата �?поред получените оценки на коригираната добавена
    �?тойно�?т е пред�?тавено на Фигура 16. По хоризонталната о�? е оценката на добавената
    �?тойно�?т по българ�?ки език и литература, а по вертикалната – тази по математика.
    Подробните �?тойно�?ти �?а дадени във файла result.xls.




   Фигура 16. Разпределение на училищата по добавената �?тойно�?т като �?лучаен ефект, 2013,
                                           2014




Вли�?ние на н�?кои училищни характери�?тики върху добавената �?тойно�?т на
училищата

40. Ще разгледаме как н�?кои училищни характери�?тики вли�?�?т върху добавената �?тойно�?т
    на училището. За пример ще покажем какво е вли�?нието на обла�?тта (параметърът
    „Обла�?т“), в ко�?то �?е намира училището. Вли�?нието на други характери�?тики �?е
    разглежда по �?ъщи�? начин. Резултатите �?а пред�?тавени в параграфи от 1 до 144 на
    Appendix.

41. За измерване на добавената �?тойно�?т �?а използвани две �?кали: „Скала 1-100“ (SCALED)
    и „�?ормирана �?кала“ (NORMED). Тези оценки на добавената �?тойно�?т �?е о�?новават на
    оценката за вли�?нието    на училището �? номер i върху по�?тижени�?та на учениците,
    разглеждано като �?лучаен ефект. Тран�?формаци�?та в тези �?кали �?тава чрез �?ледните
    формули:
                                                                            
      SCALED   Si                     100  max S j                        ,
                        100                                      100
                                                                                         (5)
                 max S j  min S j             j       max S j  min S j    
               
                 j           j                         j          j         
                                                                                   
                 30         
      NORMED   2 Si  100 .                                                           (6)
                 �?�
                            
                             




                                            16
                                                   2
   Тук [.] означава най-близкото ц�?ло чи�?ло, а �?� е оценката на ди�?пер�?и�?та на �?лучайни�?
   ефект. Чи�?лата на S j , j  1, 2,..., n �?а коригираните �? (4) за „малките“ училища �?тойно�?ти
   на оценката на �?лучайни�? ефект.

42. В „Скала 1-100“ в�?�?ко училище �?е пред�?тав�? �? м�?�?тото, което заема, в �?тойно�?ти межди 1
    и 100. Стойно�?т 0 означава, че училището има на-�?лаб (в �?равнение �? о�?таналите
    училища) ефект върху учениче�?ките по�?тижени�?, а �?тойно�?т 100, че то има най-�?илен
    ефект. Средни�?т ефект по тази �?кала е приблизително 50. „�?ормираната �?кала“ има
    �?редна �?тойно�?т 100 и ди�?пер�?и�? 30. Училищата �? по-ви�?оки �?тойно�?ти имате по-гол�?ма
    ефект.

43. Сравн�?ването на добавената �?тойно�?т за различни училищни характери�?тики е направена
    както за българ�?ки език и литература (bel) и математика (mat) отделно, талка и
    комбинирано, т.е. за т�?хната �?редна �?тойно�?т (означено е �? ХХХ). Отделно �?а разгледани
    випу�?ките, които �?а завършили 7 кла�? през 2013 (Х13) и 2014 (Х14), както и за двата
    випу�?ка заедно (ХХХ).Така например, XXX.bel.Scaled означава добавена �?тойно�?т
    изчи�?лена чрез (5) за българ�?ки език и литература за двата випу�?ка заедно.

44. Като пример ще разгледаме вли�?нието на обла�?тта (параметърът „Обла�?т“), в ко�?то �?е
    намира училището върху нормираната �?кала за двата випу�?ка заедно и о�?редненото
    между българ�?ки език и литература и математика. (XXX.xxx.Normed). В Table 1 от
    Appendix �?а дадени �?редните �?тойно�?ти на XXX.xxx.Normed за различните обла�?ти (за
    различните �?тойно�?ти на „Обла�?т“).

45. За проверка на �?тати�?тиче�?ката значимо�?т на наблюдаваните разлики е използван
    ANOVA �? една опашка, нулева хипотеза „�?�?ма разлика между �?редните �?тойно�?ти“ и
    ниво на значимо�?т p  0.05 . Получаването на p-value по-малка от 0.05 означава, че
    нулевата хипотеза �?е отхвърл�? и може да �?читаме, че наблюдаваните разлики между
    �?редните �?тойно�?ти в XXX.xxx.Normed �?а �?тати�?тиче�?ки значими и обла�?тта вли�?е върху
    добавената �?тойно�?т на училището.

46. Въпреки че вли�?нието на обла�?тта е важно за �?редната �?тойно�?т на добавената �?тойно�?т
    на училищата, възможно е да н�?ма �?ъще�?твена разлика между две (или повече) групи
    (обла�?ти). Такъв вид из�?ледване е пред�?тавено Table 2 от Appendix, където първата и
    втората колона �?а �?равн�?ваните групи, четвъртата колона е получената разлика �? 95%
    надежден интервал (третата и петата колони) и p-value за нулевата хипотеза „�?�?ма
    разлика между групите (обла�?тите)“. Според данните в тази таблица, н�?ма значима
    разлика между групите 1 и 5 (например), тъй като p  0.862 е по-гол�?мо от нивото на
    значимо�?т 0.05. �?ко разгледаме реда, който �?равн�?ва групите 2 и 25, намираме
     p  0.006 . Това означава, че наблюдаваната разлика -8.819 е �?тати�?тиче�?ки значима и
    училищата от обла�?т 25 имат по-ви�?ока добавена �?тойно�?т от тези в обла�?т 2. С
    веро�?тно�?т 95% може да �?е твърди, че тази разлика е между -15.534 и -1.104. Това
    заключение �?е потвърждава от фигурата в �?екци�? 1 от Appendix (�?тр. 11) където
    различните обла�?ти �?а пред�?тавени �? от�?ечки. Дължината на от�?ечката пред�?тав�?
    ди�?пер�?и�?та на групата. Точката е �?редната �?тойно�?т. Средните �?тойно�?ти на две групи
    �?а �?тати�?тиче�?ки значими, ако интервалите им не �?е покриват; те не �?а �?тати�?тиче�?ки
    значими, ако интервалите им �?е покриват. Тази иде�? за из�?ледване на разликите е
    приложена и в �?екци�? 4 на Appendix.

Вли�?ние на бро�? на учителите върху добавената �?тойно�?т на училището

47. Тук ще разгледаме вли�?нието на бро�? на учителите върху добавената �?тойно�?т на
    училището. В �?екци�? 145 на Appendix �?а дадени резултатите за добавената �?тойно�?т от
    линейни�? регре�?ионен модел �? предиктор „Брой на учителите“. Резултатите �?а




                                             17
    пред�?тавени в двете �?кали „Скала 1-100“ и „�?ормирана �?кала“ за двата випу�?ка отделно
    2013 (X13) и 2014 (X14), както и взети заедно (XXX ).

48. Заключението е, че добавената �?тойно�?т не зави�?и �?ъще�?твено от бро�? на учителите.
    Това е така, защото раз�?ейването на наблюдени�?та е далеч от надеждни�? интервална
    регре�?ионната права и разпределението на резидуалите е далеч от нормалното. О�?вен
    това, �?тойно�?тите на R 2 �?тати�?тиката �?а ни�?ки, въпреки че оценката на регре�?ионните
    коефициенти в н�?кои �?лучаи е �?тати�?тиче�?ки значима.

Вли�?ние на езика, говорен у дома

49. Из�?ледването на вли�?нието на език, говорен у дома �?тава �? уравнението (3), в което има
    �?ъбираемо, отчитащо това вли�?ние. Моделът е приложен за изпитите по българ�?ки език и
    литература и по математика за випу�?ка завършил 7 кла�? през 2013. (За �?ледващи�? випу�?к
    не �?а налични данни за езика, говорен у дома.) Оценките на параметрите при фик�?иран
    ефект �?а дадени в Таблица 6. Оценките на ди�?пер�?иите на �?лучайни�? ефект и на грешката
    �?а дадени в Таблица 7.


                      BEL                                 MAT
       параметър     �?тойно�?т        StdErr   p-value     �?тойно�?т      StdErr   p-value
       μ            -0.38387        2.3326    0.86929     -3.7001       1.2570   0.0032
       α             2.7086        0.018901    0.0000      2.1217       0.0159   0.0000
                    Таблица 6. Оценка на параметрите при фик�?иран ефект




                            Година    Изпит

                            2013         6.28 3.1828 9.7986
                                       BEL
                            2013         82
                                       MAT      1.9418 11.610
                                         7.62
             Таблица 7. Оценки на ди�?пер�?и�?та на �?лучайни�? ефект и на грешката
                                         56
   Стойно�?тите на оценката на �?лучайни�? ефект за различните езици �?а дадени в Таблица 8.


                                                    BEL       MAT

                                     Език

                       1.   българ�?ки               4.5739     3.0105
                       2.   ром�?ки                 -0.7146    -0.3495
                       3.   тур�?ки                 -3.6203    -1.6827
                       4.   друг език              -0.2389    -0.9783


           Таблица 8. Стойно�?ти оценката за �?лучайни�? ефект за различни езици

    Информаци�?та в Таблица 8 показва, че включването на променливата за езика, говорен у
дома, води до повишаване на изчи�?лени �?тойно�?ти за добавената �?тойно�?т за училищата �? по-
гол�?м брой ученици, говорещи у дома на език, различен от българ�?ки.




                                              18
50. Хи�?тограмите на резидуалите �?� ij за българ�?ки език и литература и за математика �?а
    пред�?тавени �?ъответно на Фигура 17 и
    Фигура 18.




Фигура 17. Хи�?тограма на резидуалите, BEL Фигура 18. Хи�?тограма на резидуалите, MATH

51. За да �?е компен�?ира ефекта на „малките“ училища, направена е корекци�? на добавената
    �?тойно�?т (уравнение (4)) за в�?ички училища, в които �?ъответни�?т випу�?к има по-малко от
    20 ученици. Разпределението на училищата �?поред получените оценки на коригираната
    добавена �?тойно�?т е пред�?тавено на Фигура 19. По хоризонталната о�? е оценката на
    добавената �?тойно�?т по българ�?ки език и литература, а по вертикалната – тази по
    математика. �?апи�?ани �?а номерата на училищата по границата на получени�? облак от
    точки.




    Фигура 19. Разпределение на училищата по добавената �?тойно�?т като �?лучаен ефект,
                           включвайки езика, говорен у дома

Изводи и препоръки
52. В това из�?ледване �?е опи�?ва апробирането на различни �?тати�?тиче�?ки модели за оценка
    на добавената �?тойно�?т на училищата в Българи�? като �?е използват наличните данни.
    �?пробирани �?а три различни подхода. Резултатите показват, че в�?еки от т�?х може да �?е
    използва за оценка на добавената �?тойно�?т. Данните �?а за учениците, завършили 7 кла�?
    през 2013 и 2014 година – резултатите от националните оцен�?вани�? по българ�?ки език и
    литература и по математика в кра�? на 4и н а 7 кла�?, както и н�?кои �?ми�?лени индикатори
    за т�?х. Оценката на добавената �?тойно�?т е направена отделно за българ�?ки език и
    литература и за математика, както и за �?редноаритметичното между т�?х.

53. �?ай-напред е приложен линейни�?т регре�?ионен модел. О�?новни�?т му недо�?татък е, че
    при него н�?ма възможно�?т да �?е прави корекци�? за училищата �? малък брой ученици.




                                           19
    Друг проблем е, че предположението на този модел, че училището вли�?е на в�?ички
    ученици по един и �?ъщ начин. При този модел �?е получава �?равнително малка �?тойно�?т
    на R 2 �?тати�?тиката и разпределение на резидуалите, което �?е различава от нормалното.
    Получава �?е отно�?ително гол�?ма ча�?т от наблюдени�?та �? отно�?ително ви�?ока �?тойно�?т на
    резидуалите. Това води до заключение, че има под-популаци�? �? отно�?ително �?лаби
    резултати на изпитите.

54. Във втори�? модел добавената �?тойно�?т �?е разглежда като �?лучаен ефект. Предим�?тво на
    този модел е, че училището вли�?е на различните ученици по различен начин и на
    училищно ниво �?е наблюдава �?редното вли�?ние. Друго предим�?тво е възможно�?тта да �?е
    направи корекци�? за училищата �? малък брой ученици, което редуцира ефекта на
    „малките“ училища. При този модел �?е получава би-модално разпределение на
    резидуалите в �?луча на българ�?ки език и литература. За математика, разпределението на
    резидуалите е близко до нормалното.

55. При трети�? модел е добавен още един �?лучаен ефект – този на езика, говорен у дома.
    Данните �?а налични �?амо за випу�?ка завършил 7 кла�? през 2013. Резултатите показват
    близко до нормалното разпределение на резидуалите за двата изпита: българ�?ки език и
    литература и математика, както и положителна корелаци�? между добавената �?тойно�?т по
    двата предмета.

56. Получените резултати дават възможно�?т да �?е направ�?т �?ледните заключени�?:

    Използвайки оценките на добавената �?тойно�?т, базирани на регре�?ионен модел,
    получените резултати предполагат, че училищата имат еднакъв и фик�?иран ефект върху
    учениците, които учат в т�?х. При този модел добавената �?тойно�?т на училището е
    �?тойно�?тта на този фик�?иран ефект. Стои открит въпро�?ът �? резултатите на училищата �?
    малък брой ученици. Техни�?т резултат е �?илно повли�?н от резултатите на отделни
    ученици, които имат отно�?ително ви�?оки (или ни�?ки) резултати. За преодол�?ването на
    този проблем н�?ма методологиче�?ки правилно решение. Друг а�?пект на резултатите от
    този модел е отно�?ително ни�?кото ниво, в което моделът опи�?ва раз�?ейването на
    данните, както и наличието на необ�?�?нено от модела множе�?тво от наблюдени�? �?
    отно�?ително ни�?ки резултати (отно�?ително гол�?ма пропорци�? на наблюдени�? �? ви�?ока,
    положителна грешка).

    �?�?кои от тези недо�?татъци могат да �?е преодоле�?т, използвайки регре�?ионен модел �?ъ�?
    �?лучайни ефекти. Съще�?твеното при него е предположението, че училището оказва
    различно вли�?ние върху различните ученици. В този �?ми�?ъл добавената �?тойно�?т на
    училището е �?редната �?тойно�?т на тези ефекти. Въпреки, че този модел, приложен върху
    наличните данни, демон�?трира �?ъщи�? проблем, �?вързан �? наличието на подпопулаци�? �?
    отно�?ително по-ни�?ки резултати, той дава възможно�?т за коректно третиране на
    училищата �? малък брой ученици, което му дава значително преимуще�?тво.

    Този модел �?ъ�? �?лучайни ефекти може да бъде у�?ложнен чрез добав�?нето на ефект,
    породен от езика на учениците, говорен у дома. Въпреки, че данните за език, говорен у
    дома �?а налични �?амо за випу�?ка, завършил 7 кла�? през 2013 година, този модел показва
    по-добро опи�?ание на данните, защото у�?п�?ва да моделира наличието на подпопулаци�? �?
    отно�?ително по-�?лабо пред�?тав�?не на изпитите, в резултат на което не �?е наблюдава
    опи�?аното по-горе отно�?ително гол�?мо множе�?тво �? по-ви�?ока �?тойно�?т на грешката.
    Този модел �?ъщо позвол�?ва коректно третиране на училищата �? малък брой ученици,
    като о�?вен това разполага �? още едно предим�?тво, опи�?ано по-долу.

    Прилагайки по�?ледните два модела върху резултатите по БЕЛ и М�?Т, получаваме две
    оценки (за в�?еки предмет поотделно) за добавената �?тойно�?т на училището. Резултатите,
    получени �? наличните данни, показват, че ако �?е използва модела �?ъ�? �?лучайни ефекти
    без ефекта на езика, тези две оценки трудно биха могли да �?е обедин�?т в една обща
    оценка, ко�?то да има �?ми�?лена интерпретаци�?. Гол�?мо множе�?тво от училища имат



                                           20
отно�?ително ви�?ока оценка по БЕЛ и отно�?ително ни�?ка по М�?Т (както и обратното).
Обедин�?вайки двете оценки чрез �?редно аритметично (или по н�?какъв друг начин), тази
�?пецифика на оцен�?ването по двата предмета ще �?е загуби. В този �?лучай е по-
подход�?що да �?е използва двумерно пред�?тав�?не на добавените �?тойно�?ти (като
например Фигури 16 и 19).

При модела, включващ и езика на учениците, говорен в къщи, �?е наблюдава
положителна корелаци�? между оценките на добавената �?тойно�?т по БЕЛ и по М�?Т. Това
позвол�?ва двете оценки да �?е обедин�?т в една обща оценка, ко�?то би могла да �?е
използва като интегрална оценка на добавената �?тойно�?т на училището.

С оглед на изложените тук характери�?тики и �?вой�?тва на използваните модели върху
наличните данни може да �?е заключи, че моделът �? най-много предим�?тва е моделът �?ъ�?
�?лучайни ефекти, включващ езика на учениците, говорен у дома, макар и този модел да е
те�?тван един�?твено за популаци�?та, държала изпит в кра�? на 7 кла�? през 2013. Предвид
потенциалните неточно�?ти в изчи�?лени�?та, пред�?тав�?нето на резултатите може да бъде
направено в рамките на интервали на до�?товерно�?т или по разширени отр�?зъци в �?калата
за пред�?тав�?не на резултатите. Подобен подход е възприет в Полша.




                                       21
Цитирана литература

Goldstein, Harvey (2011). Multilevel Statistical Models, 4th edition, John Wiley & Sons, Ltd. ISBN:
      978-0-470-74865-7

Jakubovski, M. (2008). Implementing Value-Added Models of School Assessment. European
     University Institute, Florence
     (http://cadmus.eui.eu/bitstream/handle/1814/8103/RSCAS_2008_06.pdf?sequence=1)

MILO (2008). Measuring Improvements in Learning Outcomes, OECD
    (http://www.oecd.org/education/school/measuringimprovementsinlearningoutcomesbestpracti
    cestoassessthevalue-addedofschools.htm).

Nichols & Berliner (2005). The Inevitable Corruption of Indicators and Educators through High-
     Stakes Testing. EPSL, Arizona State University (http://nepc.colorado.edu/files/EPSL-0503-
     101-EPRU.pdf).

Ray, A. (2006). School Value Added Measures in England. Department for Education and Skills
      (http://webarchive.nationalarchives.gov.uk/20130401151715/http://www.education.gov.uk/pu
      blications/eOrderingDownload/RW85.pdf).

Sanders, W. (2003). Beyond No Child Left Behind. Presented at the 2013 Annual Meeting of AERA.

Luke, Douglas A. (2004). Multilevel Modeling, Series: Quantitative Applications in the Social
      Sciences, Sage Publications.

Jan de Leeuw, Erik Meijer (Eds) (2008). Handbook of Multilevel Analysis, Springer.

Skrondal, Anders, Rabe-Hesketh, Sophia (2004). Generalized latent variable modeling: multilevel,
     longitudinal, and structural equation models, Chapman&Hall.

Smith, Robert B. (2011). Multilevel Modeling of Social Problems. A Causal Perspective, Springer




                                                22