5#$'4Ō5;56'/5#2241#%*(14$'66'4'&7%#6+104'57.65 567&'06#55'55/'06  74532 'HYHORSLQJWKH (QDEOLQJ&RQWH[WIRU 6WXGHQW$VVHVVPHQW  LQ%UD]LO 0DULD+HOHQD*XLPDUmHVGH&DVWUR SABER – SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS STUDENT ASSESSMENT 7 Developing the Enabling   Context for Student   Assessment in Brazil  Maria Helena Guimarães de Castro                                  © 2012 The International Bank for Reconstruction and Development / The World Bank  1818 H Street NW  Washington DC 20433  Telephone: 202‐473‐1000  Internet: www.worldbank.org    1 2 3 4  15 14 13 12     This work is a product of the staff of The World Bank with external contributions. The findings,  interpretations, and conclusions expressed in this work do not necessarily reflect the views of  The World Bank, its Board of Executive Directors, or the governments they represent.  The World Bank does not guarantee the accuracy of the data included in this work. The  boundaries, colors, denominations, and other information shown on any map in this work do  not imply any judgment on the part of The World Bank concerning the legal status of any  territory or the endorsement or acceptance of such boundaries.    Rights and Permissions  The material in this work is subject to copyright. Because The World Bank encourages  dissemination of its knowledge, this work may be reproduced, in whole or in part, for  noncommercial purposes as long as full attribution to this work is given.  Any queries on rights and licenses, including subsidiary rights, should be addressed to the  Office of the Publisher, The World Bank, 1818 H Street NW, Washington, DC 20433, USA; fax:  202‐522‐2422; e‐mail: pubrights@worldbank.org.    Cover design: Patricia Hord. Graphik Design, Alexandria, VA                    Contents  About the Series ...............................................................................................................  v  About the Author .......................................................................................................... vii  Acknowledgments ..........................................................................................................  ix  Executive Summary ........................................................................................................  xi  Introduction ...................................................................................................................... 1  National University Entrance Examination ................................................................. 3  Large‐Scale Assessment Programs ................................................................................ 4  Classroom Assessments .................................................................................................. 6  Enabling Context Issues .................................................................................................. 9  Lessons Learned ............................................................................................................. 13  Bibliography ................................................................................................................... 16        Developing the Enabling Context for Student Assessment in Brazil  iii          About the Series  Building  strong  education  systems  that  promote  learning  is  fundamental  to  development  and  economic  growth.  Over  the  past  few  years,  as  developing  countries  have  succeeded  in  building  more  classrooms,  and  getting  millions  more  children  into  school,  the  education  community  has  begun  to  actively  embrace  the  vision  of  measurable  learning  for  all  children  in  school.  However,  learning  depends  not  only  on  resources  invested  in  the  school  system,  but  also  on  the  quality  of  the  policies  and  institutions  that  enable  their  use  and  on  how  well the policies are implemented.   In  2011,  the  World  Bank  Group  launched  Education  Sector  Strategy  2020:  Learning  for  All,  which  outlines  an  agenda  for  achieving  “Learning  for  All”  in  the  developing  world  over  the  next  decade.  To  support  implementation  of  the  strategy,  the  World  Bank  commenced  a  multi‐year  program  to  support  countries  in  systematically  examining  and  strengthening  the  performance  of  their  education  systems.  This  evidence‐based  initiative,  called  SABER  (Systems  Approach  for  Better  Education  Results),  is  building  a  toolkit  of  diagnostics  for  examining  education  systems  and  their  component  policy  domains  against  global  standards,  best  practices,  and  in  comparison  with  the  policies  and  practices  of  countries  around  the  world.  By  leveraging  this  global  knowledge,  SABER  fills  a  gap  in  the  availability  of  data  and  evidence  on  what  matters  most  to improve the quality of education and achievement of better results.   SABER‐Student Assessment, one of the systems examined within the SABER  program,  has  developed  tools  to  analyze  and  benchmark  student  assessment  policies  and  systems  around  the  world,  with  the  goal  of  promoting  stronger  assessment  systems  that  contribute  to  improved  education  quality  and  learning  for  all.  To  help  explore  the  state  of  knowledge  in  the  area,  the  SABER‐Student  Assessment  team  invited  leading  academics,  assessment  experts,  and  practitioners  from  developing  and  industrialized  countries  to  come  together  to  discuss  assessment  issues  relevant  for  improving  education  quality  and  learning  outcomes.  The  papers  and  case  studies  on  student  assessment  in  this  series  are  the  result  of  those  conversations  and  the  underlying  research.  Prior  to  publication,  all  of  the  papers  benefited  from  a  rigorous  review  process,  which  included  comments  from  World  Bank  staff,  academics,  development  practitioners, and country assessment experts.  All  SABER‐Student  Assessment  papers  in  this  series  were  made  possible  by  support from the Russia Education Aid for Development Trust Fund (READ TF).  READ  TF  is  a  collaboration  between  the  Russian  Federation  and  the  World  Bank  that  supports  the  improvement  of  student  learning  outcomes  in  low‐income  countries through the development of robust student assessment systems.   The  SABER  working  paper  series  was  produced  under  the  general  guidance  of  Elizabeth  King,  Education  Director,  and  Harry  Anthony  Patrinos,  Education  Manager  in  the  Human  Development  Network  of  the  World  Bank.  The  Student    Developing the Enabling Context for Student Assessment in Brazil  v  Assessment papers in the series were produced under the technical leadership of  Marguerite  Clarke,  Senior  Education  Specialist  and  SABER‐Student  Assessment  Team  Coordinator  in  the  Human  Development  Network  of  the  World  Bank.  Papers in this series represent the independent views of the authors.            vi  Maria Helena Guimarães de Castro  About the Author  Maria  Helena  Guimarães  de  Castro  was  the  State  Secretary  of  Education  of  São  Paulo  (2007–2009),  the  largest  public  school  system  in  Brazil.  She  still  serves  as  a  member  of  the  State  Board  of  Education  in  São  Paulo  (since  2009).  From  1995  to  2002,  she  was  President  of  Instituto  Nacional  de  Estudos  e  Pesquisas  Educacionais  Anísio  Teixeira  (INEP),  the  federal  assessment  institute  of  Brazil,  which  oversees  student  assessment  programs  in  the  country.  Prior  to  that,  she  was  a  Professor  at  the  State  University  of  Campinas/Brazil  (1985–2010).  Currently, she is the Executive Director of Fundação Sistema Estadual de Análise  de  Dados  (SEADE),  a  public  foundation  responsible  for  social  statistics  in  the  State of São Paulo (since 2012).             Developing the Enabling Context for Student Assessment in Brazil  vii            Acknowledgments  Special  thanks  to  Ricardo  Correa  Coelho,  who  made  important  contributions  to  this  paper.  Ricardo  has  worked  as  a  specialist  in  public  policy  at  the  Ministry  of  Education  since  2000  and  has  a  doctorate  in  Political  Science  from  the  University  of São Paulo.        Developing the Enabling Context for Student Assessment in Brazil  ix        Executive Summary  After  expanded  coverage  of  the  school  system,  ensuring  that  students  learn  at  school  has  become  the  priority  in  many  developing  countries.  This,  in  turn,  has  created  a  push  for  the  development  of  student  assessment  systems  that  can  inform  pedagogy,  monitor  and  certify  learning  levels,  and  select  students  for  further education. What reforms are required to create such assessment systems?  What  lessons  can  be  learned  from  countries  that  already  have  travelled  the  road  to a stronger assessment system?  This  case  study  analyzes  Brazil’s  experience  in  developing  its  student  assessment  system.  Brazil’s  story  should  prove  particularly  interesting  to  those  aiming  to  understand  how  a  large  (and,  in  this  case,  federal)  country  can  successfully implement extensive reforms of its assessment system.   In  Brazil’s  case,  the  reforms  involved  developing  a  comprehensive  policy  framework  for  the  support  and  funding  of  assessment  activities;  creating  an  autonomous,  federal  institution  to  be  in  charge  of  key  assessment  programs;  ensuring  stable  and  sufficient  funding;  and  developing  in‐country  capacity  to  carry out assessment tasks.  Several  factors  allowed  for  these  reforms  to  take  hold.  Among  the  most  important  were:  stable  political  leadership;  making  education,  and  the  need  to  monitor  education  quality,  a  national  priority;  and  partnerships  with  nongovernmental institutions.  We  can  draw  several  important  lessons  from  this  case  study.  For  example,  Brazil’s  experience  demonstrates  that  a  long‐term  vision  is  required  for  developing a strong assessment system because the process may take a decade or  more.  Sustained  leadership  across  political  coalitions  also  is  important  to  ensure  stable  support  for  assessment  initiatives.  Finally,  successful  reforms  require  the  participation of many stakeholders, including government and nongovernmental  organizations, as well as international donors.     Developing the Enabling Context for Student Assessment in Brazil  xi              Developing the Enabling   Context for Student   Assessment in Brazil  Maria Helena Guimarães de Castro  Introduction  After expanded coverage of the education system, ensuring that students learn at  school  is  the  key  priority  for  a  growing  number  of  developing  countries.  However,  putting  learning  first  requires  gathering  evidence  about  how  much  students  are  learning.  This,  in  turn,  requires  putting  in  place  strong  assessment  systems  that  provide  data  for  informing  teaching  and  learning,  monitoring  and  certifying learning levels, and selecting students for further education.  Developing  a  strong  assessment  system  is  a  complex  task.  First,  it  requires  putting  in  place  the  right  enabling  conditions  for  assessment  activities,  including  the  right  policies,  institutions,  and  fiscal  and  human  resources1.  Only  after  these  pieces  are  in  place  will  a  country  be  in  a  position  to  develop  a  stable  assessment  system  that  can  effectively  contribute  to  improved  education  quality  and  learning.  Countries aiming to strengthen their assessment systems may greatly benefit  from  the  experience  of  countries  that  already  have  made  this  journey.  In  the  space  of  two  decades,  Brazil  developed  a  sophisticated  assessment  system  that  allowed  for  reliable  tracking  of  student  enrollment  and  learning  levels  across  the  country.  This  contrasts  strongly  with  the  situation  in  the  1990s  when  it  was  not  even  possible  to  know  how  many  students  were  enrolled  in  Brazilian  schools.  The improved collection and use of assessment information has allowed Brazil to  improve  the  quality  and  efficiency  of  its  education  system. Today,  Brazil  has  one  of the most improved school systems in the world.  This  paper  has  three  purposes:  (1)  to  describe  the  main  features  of  the  student  assessment  system  in  Brazil;  (2)  to  explain  the  factors  that  allowed  for  this  system  to  take  hold;  and  (3)  to  draw  lessons  for  other  countries  aiming  to  develop their own student assessment systems.2  The  implementation  of  a  successful  assessment  reform  in  Brazil  is  notable  considering  that  this  is  an  emerging  economy  and  a  young  democracy  with  a                                                          For a general discussion about the enabling context for student assessment systems, see Clarke (2012).  1  This paper primarily focuses on assessment at the primary and secondary levels, although references to  2 higher education are made when necessary.    Developing the Enabling Context for Student Assessment in Brazil  1    large and multiethnic society. Brazil is the fifth‐largest country in the world, both  in  territory  and  in  population  (200  million).  It  is  the  world’s  sixth‐largest  economy.  Although  poverty  has  been  drastically  reduced  in  recent  years,  it  still  affects around 20 percent of the population.  Brazil  is  a  federal  republic  with  power  distributed  at  three  levels  of  governance:  federal,  state,  and  municipal.  The  country  has  26  states,  the  Federal  District  (which  includes  the  capital  city),  and  around  5,600  municipalities.  The  federal,  state,  and  municipal  authorities  are  politically,  economically,  and  administratively  autonomous.  They  collect  their  own  taxes,  manage  their  own  fiscal  and  human  resources,  and  implement  their  own  public  policies.  The  provision  of  educational  services  is  a  shared  responsibility  among  federal,  state,  and  municipal  governments.  Post‐secondary  and  tertiary  education  are  under  the  control  of  the  federal  government;  upper  secondary  is  under  the  control  of  state  governments;  primary  and  lower  secondary  are  under  state  and  municipal  government  control;  and  preschool  is  under  municipal  government  control.  Public  investment  in  education  reaches  5.7  percent  of  GDP,  and  represents  17  percent of total government spending.  The  school  system  in  Brazil  serves  around  42  million  students  in  185,000  schools.  Enrollment  in  primary  education  is  universal;  at  the  secondary  level,  it  reaches  90  percent.  Education  quality  has  been  improving  gradually,  as  shown  by national and international indicators. The national school quality index (IDEB,  Índice  de  Desenvolvimento  da  Educação  Básica)  surpassed  the  yearly  target  in  2011. Results from the most recent Program for International Student Assessment  (PISA)  show  that  Brazil  has  significantly  improved  its  performance  in  mathematics, language, and science since 2000. However, the country still suffers  from  high  repetition  and  dropout  rates  (19  percent  and  8  percent  respectively  in  primary education).  The revamping of Brazil’s assessment system came as part of a larger reform  package  to  improve  education  quality.  Reforms  first  focused  on  building  the  enabling context for assessment activities. This included defining the overarching  policy  framework  for  assessment;  creating  the  right  institution  to  lead  assessment programs; ensuring stable and sufficient funding; and developing in‐ country capacity for carrying out assessment tasks.  As  we  shall  see,  several  factors  allowed  for  these  reforms  to  take  hold.  The  most  important  were  having  stable  political  leadership;  making  education,  and  the  need  to  monitor  education  quality,  a  national  priority;  international  support;  and partnerships with nongovernmental institutions.  The  next  three  sections  describe  the  current  national  university  entrance  examination,  large‐scale  assessment  programs,  and  classroom  assessment  activities  in  Brazil.  The  following  sections  discuss  key  factors  (policies,  institutions,  human  and  fiscal  resources)  that  allowed  for  these  assessment  programs  and  activities  to  take  hold  and  be  successful.  The  last  section  discusses  lessons for other countries.    2  Maria Helena Guimarães de Castro  National University Entrance Examination  Up  until  the  late  1990s,  there  was  no  national  university  entrance  examination  in  Brazil.  Instead,  each  university  had  its  own  examination  (vestibulares);  an  arrangement  that  proved  both  expensive  and  inefficient.  This  arrangement  required  students  to  determine  very  early  on  those  universities  to  which  they  would  apply.  Students  had  to  decide  taking  into  account  the  cost  of  each  examination  (they  had  to  pay  to  take  the  tests  at  each  institution),  the  testing  schedule  (they  had  to  choose  between  examinations  that  were  scheduled  to  take  place  at  the  same  time  in  different  locations),  and  geography  (they  had  to  travel  to the different institutions to sit for the examination). Having to administer their  own  selection  process  also  turned  out  to  be  very  cumbersome  for  the  universities.  In  addition,  it  precluded  them  from  attracting  applicants  from  all  over the country.   From  1998  onwards,  a  national  university  entrance  examination  was  gradually  introduced  across  the  country.  The  federal  assessment  institute,  Instituto  Nacional  de  Estudos  e  Pesquisas  Educacionais  Anísio  Teixeira  (INEP),  was  put  in  charge  of  its  governance,  design,  and  implementation.  The  Exame  Nacional  do  Ensino  Médio  (ENEM)  was  created  with  the  dual  purpose  of  selecting  students  into  tertiary  education  and  certifying  the  completion  of  secondary  school.  The  examination  has  a  competency‐based  approach  that  prioritizes  the  measurement  of  student  capacity  to  solve  real‐life  problems.  Initially,  ENEM  was  a  single,  multidisciplinary  test  of  five  competencies;3  nowadays  ENEM  measures  student  performance  in  Portuguese,  mathematics,  natural sciences, social studies (all multiple‐choice tests), and writing.   The  introduction  of  the  national  university  entrance  examination  was  an  extremely complex process. The examination was backed by law, but universities  could  adopt  it  on  a  voluntary  basis.  Private  universities  quickly  adopted  it  as  a  selection  mechanism.  However,  public  universities,  which  were  more  powerful  and  selective,  initially  rejected  it.  Public  universities  only  really  started  using  ENEM  from  2009  onwards,  after  distinct  content  areas  were  introduced.  These  universities  gradually  adopted  the  examination,  either  as  a  unique  selection  mechanism or as a complement to their institutional selection processes. Another  major difficulty in the adoption of the national examination was the leak of some  examination  booklets  in  2009.  This  forced  INEP  to  redo  the  tests,  and  its  president  to  resign.  A  year  later,  errors  in  some  answer  sheets  raised  concerns  about  the  validity  of  the  examination.  The  case  reached  the  federal  court.  These  irregularities  raised  skepticism  and  concern  among  public  university  officials  who were still considering whether to adopt the examination.                                                         3   The  original  assessment  framework  for  the  national  university  entrance  examination  was  largely  based  on PISA, one of the international assessments in which Brazil was participating.    Developing the Enabling Context for Student Assessment in Brazil  3    The  national  administration  of  ENEM  is  a  very  complex  operation.  Around  five  million  students  take  the  assessment  in  more  than  100,000  classrooms  around  the  country.  Students  who  finish  upper  secondary  education  at  a  public  school  are  automatically  enrolled  in  the  examination  at  no  cost.  Low‐income  students from private schools are also exempt from the examination fee. The rest  have  to  pay  US$17  to  sit  for  the  examination.  The  assessment  is  administered  under strict standardized and security conditions over two consecutive days.   Students  apply  to  the  study  program  of  their  choice  through  a  centralized  process  administered  by  the  Ministry  of  Education.  The  unified  application  process  (SISU,  Sistema  de  Seleção  Unificada)  allows  students  to  apply  to  different  institutions  using  their  results  in  the  ENEM  tests.  Institutions  weight  the  test  scores  according  to  the  relative  importance  they  assign  to  each  score.  As  of 2010, 26 out of the 55 federal universities had adopted ENEM and were part of  the unified application process.   ENEM  was  further  strengthened  in  2004  when  the  federal  government  introduced  scholarships  for  poor  students  based  on  their  performance  on  the  test.  However,  the  examination  also  has  been  criticized  for  the  extreme  pressure  it  places  on  students.  The  examination  also  has  been  criticized  for  essentially  consolidating  the  high  school  system  into  one  academic  track,  and  removing  or  downgrading the options for technical tracks.  A  decade  and  a  half  after  its  introduction,  ENEM  is  now  generally  well  accepted  in  Brazilian  society.  Access  to  the  examinations  is  democratized,  allowing students from all over the country to apply to participating universities.  ENEM  also  has  been  key  to  the  implementation  of  the  revised  secondary  education  curriculum  in  Brazil.  Specifically,  to  prepare  their  students  to  take  ENEM,  teachers  began  to  adopt  the  principles  of  interdisciplinary  study,  contextualization, and problem solving that underpin this new curriculum.  Large‐Scale Assessment Programs  This  section  describes  student  assessment  programs  in  Brazil  that  report  at  the  national  level,4  including  SAEB,  Prova  Brasil,  and  the  international  assessments,  PISA and LLECE.  National Large‐Scale Assessments  Over  the  course  of  two  decades,  Brazil  has  succeeded  in  developing  a  strong,  national large‐scale assessment program. First, a sample‐based assessment called  SAEB  (Sistema  Nacional  de  Avaliação  da  Educação  Básica)  was  launched.  The  origins  of  SAEB  can  be  traced  to  the  late  1980s  when  the  Ministry  of  Education  funded  the  first  pilot  assessments  of  public  urban  schools.  The  first  SAEBs  took                                                         4   Brazil  also  has an  array of  state‐  and  municipal‐level  assessments  that  are  beyond  the  scope  of  this  case  study.    4  Maria Helena Guimarães de Castro  place  in  1990  and  1993;  however,  these  assessments  did  not  cover  the  entire  country,  and  they  lacked  the  technical  sophistication  to  ensure  valid  and  comparable  results  across  states.  The  Ministry  of  Education  took  greater  control  of  the  assessment  in  1995.  Technical  innovations  to  ensure  valid  and  reliable  results  were  implemented,  including  the  selection  of  sound  samples  and  the  adoption  of  Item  Response  Theory  (IRT)  scaling.  The  assessment  has  been  administered  every  two  years  since  1995,  and  trends  in  learning  levels  are  available  since  then.  In  1997,  SAEB  was  transferred  to  the  federal  education  assessment institute, INEP.  Brazil’s  national  large‐scale  assessment  program  was  created  with  the  primary  purpose  of  monitoring  education  quality.  SAEB  aims  to  improve  education  quality  by  providing  a  diagnosis  of  the  current  status  of  education,  identifying  factors  related  to  student  achievement,  informing  policy,  and  putting  pressure on the schools to do well. It targets students at grades 5 (end of primary  school),  9  (end  of  lower  secondary  school),  and  12  (end  of  secondary  school)  in  all schools (public and private, urban and rural).  The  assessment  covers  different  subject  areas  of  the  school  curriculum.  However,  since  Brazil  does  not  have  national  curricular  standards,  the  assessments  are  based  on  a  synthesis  of  state  and  municipal  curricula,  as  well  as  on  national  guidelines  that  provide  a  non‐compulsory  reference  for  state  and  municipal curricula. Since 2003, the core tests have measured mathematics (problem  solving)  and  Portuguese  (reading  comprehension).  At  times,  SAEB  has  also  measured  history,  geography,  and  the  sciences  (or  physics,  chemistry,  and  biology,  in the case of upper‐secondary students). All tests use multiple‐choice questions.  The  program  also  gathers  background  information  as  a  way  to  identify  and  understand  factors  related  to  student  achievement.  SAEB  uses  student,  teacher,  and  principal  questionnaires  to  collect  information  about  students’  socioeconomic  levels,  study  habits,  teacher  training  and  practice,  school  administration,  and  working  conditions,  among  others.  This  information  is  then  used to identify factors related to student results, and to inform policy.  It  soon  became  apparent  that  there  was  a  strong  demand  for  school‐level  results  that  could  be  used  to  monitor,  support,  and  hold  public  schools  accountable  for  student  results.  In  2005,  a  census  assessment  of  public  schools,5  Prova  Brasil,  was  created  to  fill  this  gap.  The  census  uses  the  same  instruments  and  procedures  as  the  SAEB,  but  only  measures  mathematics  and  Portuguese.  It  is administered every two years to all students at grades 5 and 9.  The  census  assessment  opened  the  way  to  the  creation  of  a  national  school  accountability  program  in  2007.  The  Índice  de  Desenvolvimento  da  Educação  Básica  (IDEB)  is  a  school  quality  index  that  combines  student  performance  (as  measured  by  Prova  Brasil)  and  repetition  rates.  The  introduction  of  this  index  was  seen  as  key  to  the  goal  of  putting  learning  first  and  reducing  the  high                                                         5  The census assessment excludes schools that have less than 20 students in the target grade.    Developing the Enabling Context for Student Assessment in Brazil  5    proportion  of  students  that  repeated  grades.  The  index  is  used  in  some  states  to  distribute monetary incentives to schools.  The  joint  administration  of  SAEB/Prova  Brazil  is  a  major  operation.  In  2011,  6.2  million  students  from  all  26  states  and  the  Federal  District  participated  in  the  assessment.  The  federal  institute,  INEP,  relies  on  states,  municipalities,  and  contractors from all over the country to administer the tests.  Student  assessment  now  plays  a  prominent  role  in  society  and  in  the  school  system.  The  regular  administration  of  SAEB/Prova  Brasil  and  the  online  publication  of  school  results  have  contributed  to  creating  a  strong  assessment  culture  in  Brazil.  All  schools  receive  a  report  card  comparing  their  results  to  municipal,  state,  and  regional  averages.  Issues  related  to  education  quality  and  assessment  results  are  quite  prominent  in  the  media.  There  is  a  growing  mobilization  of  society  at  large  in  support  of  education.  Nevertheless,  there  has  been little progress to date in the pedagogical use of results by the schools and by  teacher training programs.  International Large‐Scale Assessments  Brazil  regularly  participates  in  different  international  large‐scale  assessment  programs.  Brazil’s  first  such  experience  was  in  1997,  in  UNESCO’s  Laboratorio  Latinoamericano  de  Evaluación  de  la  Calidad  de  la  Educación  (LLECE),  which  was  an  assessment  given  at  grades  3  and  4  in  mathematics  and  Portuguese.  The  country  also  took  part  in  the  2006  LLECE,  this  time  at  grades  3  and  6  in  mathematics,  Portuguese,  and  science.  A  new  LLECE  assessment  is  scheduled  to  take  place  in  2013.  In  2000,  Brazil  also  joined  OECD’s  Programme  for  International  Student  Assessment  (PISA),  which  assesses  the  performance  of  15‐ year‐old  students  in  mathematics,  language,  and  science.  Since  then,  Brazil  has  participated in every PISA exercise (2000, 2003, 2006, 2009, and 2012).  The conduct of international assessments in Brazil is the responsibility of the  federal  assessment  institute.  INEP  designates  a  national  manager  or  coordinator  to  be  in  charge  of  implementing  the  assessment  in  the  country  according  to  the  international  procedures  and  standards.  INEP  also  contracts  consultants  to  give  support  to  its  staff,  and  it  works  closely  with  the  states,  which  collaborate  in  the  areas of logistics and test administration.  Classroom Assessments  In  Brazil,  there  is  little  support  at  the  federal  and  state  levels  for  monitoring  or  ensuring  the  quality  of  classroom  assessment  activities.  Quality  assurance  mechanisms are informal, or do not exist at all. As a consequence, the quality and  nature  of  classroom  assessment  varies  considerably.  Schools  and  teachers  have  a  high  degree  of  autonomy  in  defining  assessment  criteria  and  in  applying  these  criteria to evaluate student performance.     6  Maria Helena Guimarães de Castro  Nevertheless,  Brazil  does  have  a  national  policy  document  that  provides  guidelines  for  classroom  assessment.  The  National  Educational  Guidelines  and  Framework  Law,  approved  in  1996,  states  that  classroom  assessment  must  be  formative,  continuous,  and  cumulative.  It  also  establishes  that  student  grades  must  play  a  more  important  role  in  the  student  evaluation  process  than  the  results from examinations administered at the end of the school year. Within this  framework,  the  states  implement  different  policies  and  guidelines  for  how  teachers should assess student performance. Box 1 provides an example from the  state of São Paulo.  Promotion  and  repetition  policies  vary  widely  among  states  and  municipalities.  Some  states  and  municipalities  have  a  more  formative  approach,  with  assessments  mainly  used  to  inform  teaching  and  learning.  Automatic  promotion is used in the first grades of primary education, and students can only  repeat  at  the  end  of  school  cycles  (every  two  or  four  years).  Other  states  and  municipalities  have  a  more  summative  approach  to  assessment,  with  tests  administered  on  a  monthly,  bimonthly,  quarterly,  or  half‐yearly  basis.  Student  may pass or be required to repeat any grade depending on their test results.  School‐Based Assessment Program  The federal government recently launched a school‐based assessment program to  support  student  learning.  The  fact  that  many  students  were  not  learning  to  read  in  the  early  grades  of  primary  education  led  to  the  launch  of  Provinha  Brasil  in  2008.  This  assessment  was  introduced  with  the  main  purpose  of  supporting  teaching  and  learning  in  public  schools.  The  program  started  measuring  early‐ grade  reading  skills  in  grade  2,  and  then  expanded,  in  2012,  to  also  measuring  early‐grade  mathematics  skills.  Provinha  measures  these  skills  using  multiple‐ choice paper‐and‐pencil tests.  Provinha  is  now  a  highly  institutionalized  assessment  program.  Related  laws  from  2007  state  that  education  should  focus  on  student  learning,  that  schools  should  set  learning  targets,  and  that  learning  levels  should  be  measured  on  a  regular  basis.  Provinha  is  a  concrete  mechanism  for  implementing  these  laws.  The  federal  assessment  institute  (INEP)  was  mandated  to  design  the  tests  and procedures, and to make the material available to the schools.  This  school‐based  assessment  draws  heavily  on  teachers  and  education  administrators  in  order  to  ensure  the  effective  uses  of  the  assessment  information.  Teachers  administer  Provinha  at  the  beginning  and  end  of  the  school  year.  The  first  assessment  is  used  as  a  diagnostic  to  set  up  end‐of‐school‐year  targets;  the  second  assessment is used to see if the targets were met. Teachers also score the tests and  use  the  results  to  adjust  their  pedagogy  to  the  different  learning  levels  of  students.  Test  results  are  not  published.  Education  administrators  support  the  schools and hold them accountable for reaching their targets.     Developing the Enabling Context for Student Assessment in Brazil  7    Box 1. Student Assessment in the State of São Paulo  São Paulo is the largest public school system in the country, with four million students, 5,300 schools, 220,000 teachers, and 50,000 administrative staff. According to the state regulations, the assessment of student learning is the responsibility of schools and teachers. Students are assessed using a combination of formative and summative assessments. Students can only repeat grades at the end of the primary (grade 5) and lower secondary (grade 9) cycles. The decision to repeat grades takes into account student performance in the last year of each school cycle. In upper secondary school, students might repeat on an annual basis if they do not reach the minimum required grade average. A reform was introduced to improve the low learning levels that students were exhibiting at the end of each school cycle. The reform included four strategies: (i) the adoption of an unified curriculum for all schools with structured text books for teachers and students; (ii) the creation of an index of educational development—Índice de Desenvolvimento da Educação do Estado de São Paulo (IDESP)—which establishes annual goals to be achieved for each school according to the state standards and results of the state-level, large-scale assessment program—Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (SARESP); (iii) monetary incentives for school staff according to the goals achieved on IDESP; and (iv) merit pay for teachers, measured by their performance in the teacher evaluation process. The state developed learning standards for all grades and subject areas, together with a curriculum framework to support implementation. In 2007, it also published guidelines to support formative classroom assessment. After consulting with school staff, the state adopted the following mandatory set of assessment practices:  Reporting grades on a zero to ten scale. Grades should consider student progress in homework, participation in class, collaboration, and performance on tests.  Implementing bimonthly mandatory assessments, and making available remedial classes for low-performing students.  Distributing report cards to each student, and requesting that the card be signed by a parent.  Distributing an annual report card with information on individual results on the SARESP. At the beginning, there was some resistance to these practices, but parents eventually expressed broad support for reforms. The publication of the results of the 2009 national large-scale assessment program (SAEB/Prova Brasil) demonstrated concrete improvement in the performance of São Paulo’s education system.   The  Provinha  operation  involves  many  schools  all  over  the  country.  States  and  municipalities  participate  in  the  school‐based  assessment  program  on  a  voluntary  basis.  Beginning  in  2012,  all  urban  public  primary  schools  will  participate,  around  50,000  schools.  Hard  copies  of  the  Provinha  Brasil  tests  and  administration  guides  are  distributed  to  all  schools,  and  are  also  made  available  online.   Six  years  after  its  initial  implementation,  there  are  mixed  feelings  about  the  school‐based  assessment  program.  Its  promoters  defend  it  on  the  basis  of  a  clear  theory  of  action  linking  Provinha  to  improved  pedagogy  and  student  learning.  Its  detractors  claim  that  not  much  is  happening  in  the  schools  as  a  consequence  of  Provinha.  An  impact  evaluation  of  the  program  would  be  necessary  to  judge  its real contribution to education quality.    8  Maria Helena Guimarães de Castro  Enabling Context Issues  This  section  discusses  some  of  the  enabling  factors  behind  the  sustained  development  of  the  student  assessment  system  in  Brazil.  It  focuses  in  particular  on  the  mission,  legal  framework,  organizational  structure,  and  human  and  fiscal  resources  of  the  federal  institute  in  charge  of  the  main  assessment  programs  in  Brazil—the  Instituto  Nacional  de  Estudos  e  Pesquisas  Educacionais  Anísio  Teixeira (INEP).  INEP  is  a  semi‐autonomous  federal  institute  linked  to  the  Ministry  of  Education.6  It  is  recognized  as  a  leading  assessment  institution  in  Latin  America  that  has  built  its  reputation  on  high‐quality  work  and  a  proven  capacity  to  design,  implement,  and  bring  to  scale  assessment  innovations  in  the  context  of  a  very  large,  federal  country.  INEP’s  mission  is  to  help  improve  education  quality  and  equity  by  assessing  student  performance,  maintaining  education  statistics,  and  doing  educational  research.  The  institute  also  supports  states  and  municipalities  in  the  development  of  their  own  assessment  programs.  INEP  has  played  a  key  role  in  informing  stakeholders  and  influencing  the  assessment  policy  dialogue  in  Brazil;  it  also  has been  highly influential  in  shaping  policies  at  the federal, state, and municipal levels.  INEP  is  a  stable  institute  recognized  by  law.  Related  federal  laws  and  policy  documents specify the governance and responsibilities of the institute and ensure  stable  funding.  They  also  mandate  INEP  to  manage  several  key  assessment  programs,  including  the  national  university  entrance  examination  (ENEM),  the  national  large‐scale  assessment  program  (SAEP/Prova  Brasil),  international  large‐scale  assessments  (PISA,  LLECE),  and  the  school‐based  assessment  program  (Provinha  Brasil).  These  policies  also  specify  the  purposes,  target  population, frequency, and procedures of these assessment programs.  The  federal  institute  has  a  well‐developed  organizational  structure  and  permanent  staff.  It  has  six  main  areas  of  focus,  including  planning  and  management,  technology  and  communication,  statistics,  higher  education  assessments,  primary  education,  and  research  and  development.  As  of  2010,  INEP  had  a  staff  of  about  300  permanent  civil  servants  and  an  established  career  path.  A  pending  task  is  the  creation  of  new  posts  and  job  profiles  for  specialists  in statistics and assessment methods.  INEP  works  in  collaboration  with  an  array  of  institutions  to  implement  the  various  assessment  programs.  The  institute  outsources  core  assessment  activities  (for  example,  test  design,  sampling,  and  administration)  to  specialized  organizations  through  international  calls  for  bids.  It  works  in  alliance  with  the  states  and  municipalities  to  administer  the  assessments.  It  provides  training  all  over  the  country  in  item  writing,  test  supervision,  and  administration.  By  so                                                         6  See the INEP webpage at: http://portal.inep.gov.br/.    Developing the Enabling Context for Student Assessment in Brazil  9    doing,  INEP  has  built  countrywide  capacity  to  run  assessment  activities  and,  equally important, has gained support from stakeholders.   The  federal  institute  has  a  stable  and  sufficient  budget  ensured  by  law.  In  2011,  it  had  an  annual  budget  of  US$460  million.  Around  70  percent  of  this  budget was used to fund the various student assessment programs, including the  national  university  entrance  examination  (ENEM),  the  national  large‐scale  assessment  (SAEB/Prova  Brasil),  and  international  assessments.  The  university  entrance  examination  is  the  most  expensive  program,  costing  U$200  million  in  2011.  Most  of  the  money  comes  from  the  federal  government;  less  than  20  percent  comes  from  examination  fees.  The  annual  federal  budget  of  the  national  large‐scale  assessment  program  is  around  US$90  million.  International  assessments have an annual federal budget of around US$250,000.   Despite  all  of  this,  INEP  has  been  in  somewhat  of  a  governance  crisis  since  2009.  The  university  entrance  examination,  ENEM,  has  become  ungovernable  and  seems  too  big  for  a  single  institution.  It  has  consumed  all  of  the  energy  of  INEP’s  staff,  who  go  on  strike  (or  threaten  to  do  so)  on  a  regular  basis.  While  INEP  is  meant  to  be  a  strategic  government  institution,  most  of  its  resources  are  currently  being  devoted  to  nonstrategic  issues,  such  as  logistics  and  security  in  administering  tests.  Moving  forward,  decisions  will  need  to  be  made  about  how  to resurrect INEP’s strategic role in the assessment landscape in Brazil.   Just  a  few  decades  ago,  the  enabling  context  for  assessment  activities  in  Brazil  was  very  weak.  The  first  large‐scale  assessments  of  the  late  1980s  were  no  more  than  pilot  projects  supported  by  the  Ministry  of  Education  and  carried  out  in  a  few  states.  There  was  no  legal  framework,  institutions,  or  stable  funding  for  assessment  activities.  The  country  also  did  not  have  enough  people  with  experience  in  student  assessment.  Moreover,  important  stakeholders  were  opposed  to  the  very  idea  of  assessment.  For  many  educators,  politicians,  and  researchers,  assessment  was  more  a  tool  of  control  than  something  that  could  be  used to monitor and support education.  International donors played a key role in the development of the assessment  system  in  Brazil.  In  the  1990s,  Brazil  did  not  have  the  capacity  and  the  money  to  run  large‐scale  assessments  by  itself.  Support  for  assessment  activities  first  came  from  the  United  Nations  Development  Programme  (UNDP),  which  partially  funded  the  first  SAEB  exercises  of  1990  and  1993.  Then  the  World  Bank  came  in  as  a  key  player  in  1995,  funding  what  can  be  considered  the  first  national  SAEB  administration.  World  Bank  support  was  key  to  ensuring  the  continuity  of  assessment activities until 2000.   Over  time,  the  Ministry  of  Education  gradually  took  on  more  responsibilities,  contributing  to  assessment  activities  in  the  form  of  both  funding  and  staff.  The  states  collaborated  with  the  federal  government,  giving  support  to  their  public  schools  to  participate  in  the  national  assessment.  Moreover,  many  states and municipalities put in place their own large‐scale assessment programs.    10  Maria Helena Guimarães de Castro  The  institutionalization  of  student  assessment  programs  in  Brazil  relied  heavily  on  an  ambitious  legal  reform.  First,  the  Brazilian  Constitution  of  1988  guaranteed  autonomy  to  the  states  and  municipalities  to  organize  their  own  education  systems.  The  constitutional  reform  of  1995  put  education  in  the  foreground,  and  the  National  Educational  Guidelines  and  Framework  Law  of  1996  established  the  national  system  of  educational  assessment  for  basic  and  higher education. The legislation also stipulated that the federal government had  the responsibility to evaluate education quality, and to define policies to improve  it.  This  law  defined  the  architecture  of  the  national  assessment  system.  It  was  within  this  context  that  the  national  assessment  system  took  shape  in  the  mid‐ 1990s.  Revamping  the  old  federal  assessment  institute  was  absolutely  decisive  for  the  development  of  an  effective  assessment  system  in  Brazil.  INEP,  which  was  established  in  1938,  had  been  going  downhill  over  the  years.  Legislation  passed  in 1997 mandated INEP to lead assessment activities in the country. The institute  was  then  transformed  into  a  leading  assessment  and  research  institution  with  international recognition.   Strengthening  human  resources  was  a  key  factor  in  revamping  the  assessment  institute.  At  first,  between  1997  and  2006,  INEP  temporarily  hired  most  of  its  staff  through  international  cooperation  with  UNDP  and  UNESCO.  In  2007,  a  specific  career  path  was  created  for  INEP  civil  servants.  In  2008,  a  public  selection process was implemented in order to secure high‐level permanent staff.  The  staff  of  INEP  grew  from  50  people  in  the  early  1990s  to  around  300  civil  servants  in  2012.  The  staff  profile  also  changed:  besides  public  administrators,  statisticians and experts in curriculum and evaluation joined the institute.   With  the  revamping  of  the  assessment  institute,  the  budget  for  assessment  activities  increased  and  became  more  stable.  In  1997,  INEP’s  funding  was  secured  by  law.  In  real  terms,  INEP’s  annual  budget  more  than  quadrupled  in  a  decade  (growing  from  US$104  million  in  2000  to  US$460  million  in  2011).  This  allowed  Brazil  to  gradually  take  control  over  its  assessment  activities,  and  to  reduce reliance on international donors.   Nongovernmental  institutions  have  played  a  key  role  in  the  development  of  the  assessment  system.  In  the  mid‐1990s,  only  two  major  organizations  specialized  in  student  assessment:  Fundação  Cesgranrio  and  Fundação  Carlos  Chagas.  Currently,  several  companies  and  nongovernmental  organizations  work  in  this  area.  Brazil  now  has  assessment  centers  linked  to  public  universities,  a  national association of educational assessment (ABAVE), and graduate programs  on educational assessment and evaluation.   Unfortunately,  teacher  training  institutions  have  not  played  a  key  role  in  building  an  assessment  culture,  or  in  producing  teachers  that  are  “assessment  literate.” There is a lack of connection between assessment programs and teacher  training  institutions.  Teachers  have  few  opportunities  to  learn  how  to  interpret    Developing the Enabling Context for Student Assessment in Brazil  11    and  use  assessment  information  to  improve  student  learning.  Pedagogical  analyses of assessment results are scarce.  Strengthening  the  enabling  context  (legislation,  institutions,  staff,  funding)  for  assessment  activities  allowed  the  assessment  system  in  Brazil  to  expand.  The  sample‐based  national  assessment  (SAEB)  included  only  12  out  of  26  states  in  1990;  then  expanded  to  21  states  in  1993,  and  reached  all  26  states  in  2012.  By  2002,  13  states  had  developed  their  own  state‐level,  large‐scale  assessments.  The  school‐based  assessment  program  (Provinha  Brasil)  gradually  expanded  to  reach  all states and schools.  The  development  of  the  assessment  system  in  Brazil  was  also  enabled  by  several  macro‐level  variables.  The  1980s  were  characterized  by  political,  economic,  and  social  turmoil;  by  contrast,  the  1990s  brought  political  stability  and  economic  growth.  The  federal  government  pushed  for  the  rationalization  of  resources,  decentralization  policies,  and  a  closer  monitoring  of  the  efficiency  and  efficacy  of  public  policies;  education  also  was  launched  as  a  national  priority.  This  new  context  allowed  for  the  first  steps  toward  developing  a  sustainable  assessment  system.  It  also  created  the  need  for  up‐to‐date  education  statistics  and  information  about  student  learning  levels  in  order  to  monitor  education  quality.  The  single  most  important  driver  that  allowed  for  the  development  of  this  enabling  context  for  student  assessment  in  Brazil  was  political  leadership.  Former  president  Fernando  Henrique  Cardoso  (1994–2003),  who  was  supported  by an ample majority in the National Congress during his two‐term government,  gave  strong  support  to  developing  the  national  assessment  system.  The  legal  framework supporting the assessment system was designed and approved under  his  mandate.  The  strategic  decision  to  revamp  the  federal  assessment  institute  was  also  part  of  his  legacy.  President  Lula  (2003–2011)  largely  continued  and  expanded  the  assessment  legacy  of  his  predecessor  and  political  rival.  This  came  as  a  surprise  to  many  supporters  of  President  Lula  given  that  he  had  once  criticized  these  assessment  policies.  The  current  president,  Dilma  Rousseff,  is  expected to largely continue Lula’s policies.  Political  leadership  by  the  assessment  institute  was  also  critical  to  developing  the  assessment  system.  The  close  relationship  between  INEP  and  the  Minister  of  Educationʹs  cabinet  was  key  to  facing  down  the  opposition  to  the  assessment reforms, and to gaining allies for its implementation. The cooperative  relationship  between  national,  state,  and  municipal  governments,  and  the  voluntary  adoption  of  national  assessments  by  the  states  and  municipalities,  created a positive environment for assessment activities.  Another  factor  that  allowed  for  the  development  of  this  enabling  context  was  the  support  of  international  donors.  UNDP,  UNESCO,  and  the  World  Bank  provided  technical  leadership  and  funding  for  the  first  assessment  activities.  Over  time,  Brazil  gradually  developed  its  own  assessment  capacity  and  ensured  public funding for its assessment programs. Today, Brazil leads and maintains its    12  Maria Helena Guimarães de Castro  assessment  system  in  an  autonomous  way,  without  the  support  of  international  donors.  Apart  from  the  federal  assessment  institute,  many  institutions  have  contributed to creating an assessment culture in Brazil. There is now a number of  states  and  nongovernmental  institutions  helping  to  build  support  and  create  capacity for assessment activities all over the country.   Over  the  last  20  years,  attitudes  toward  assessment  have  changed  from  negative  to  positive.  In  the  1980s,  education  was  dominated  by  strong  negative  views  about  assessment  activities.  In  a  highly  ideological  arena,  assessment  was  perceived  as  a  right‐wing  domination  tool.  This  negative  perception  started  to  change  in  the  1990s.  This  change  was  made  possible  thanks  to  strong  political  and  technical  leadership  provided  by  key  individuals  and  institutions,  and  the  influence  of  international  assessment  programs.  Nowadays  there  is  a  growing  mobilization  of  society  at  large  pushing  to  improve  education.  The  wide  disclosure  of  school‐level  results  empowered  society  to  ask  for  better  education.  It  also  attracted  the  attention  of  media  outlets,  which  regularly  discuss  quality  and equity issues using assessment results.  As  of  2012,  assessment  is  considered  a  permanent  component  of  state  education  policies.  In  fact,  assessment  was  one  of  the  key  policy  areas  addressed  in  the  decennial  plan  for  the  development  of  education  (2001–11).  This  plan  supported the development of assessment programs in all the states.  Lessons Learned  Over  two  decades,  Brazil  has  created  a  strong  and  well‐regarded  assessment  system.  Today,  Brazil  has  highly  institutionalized  examinations  for  secondary  school  certification  and  selection  into  tertiary  education,  large‐scale  assessments  for  monitoring  education  quality  levels,  and  school‐based  assessments  for  supporting teaching and learning.   These  assessments  have  stimulated  the  process  of  accountability.  Society  deeply  appreciates  the  assessments  and  relies  on  the  results  to  press  political  authorities  for  greater  quality  in  public  schools.  Mayors  and  governors  are  concerned  with  the  test  results  of  public  school  systems  and  strive  to  improve  their  performance.  The  National  Congress  organizes  public  hearings  to  discuss  the  assessment  results.  The  teacher  unions,  which  radically  opposed  large‐scale  external  assessments  in  the  1990s,  now  recognize  their  legitimacy,  although  they  are still opposed to the wide disclosure of school results. Parents are beginning to  appreciate  the  better‐performing  schools.  The  media  regularly  covers  the  themes  of  student  learning  and  assessment  results.  Governmental  and  nongovernmental  agencies also regularly debate these themes.  Based  on  the  Brazilian  experience,  here  are  some  key  lessons  for  other  countries aiming to develop a strong enabling context for student assessment:    Developing the Enabling Context for Student Assessment in Brazil  13     Developing  a  national  assessment  system  is  a  long‐term  project  that  must  be  gradually  implemented.  There  is  a  long  journey  from  the  first  assessment  efforts  (usually  once‐off  assessment  exercises)  to  the  establishment  of  a  stable assessment system. For Brazil, this journey took at least 15 years.   Ensuring  political  leadership.  The  political  engagement  of  presidents,  governors,  ministers,  and  local  authorities  is  critical  for  the  success  of  an  assessment  system.  This  engagement  must  transcend  political  coalitions  and  ideologies,  and  must  be  stable  in  time.  Direct  connections  with  the  Minister  of  Education  and  other  stakeholders  are  strategic  to  ensure  support  for  assessment  programs.  These  conditions  allow  for  deploying  long‐term  assessment  policies.  In  Brazil,  the  direct  support  of  presidents  Cardoso  and  Lula  allowed  for  the  adoption  of  a  new  policy  framework,  the  revamping  of  an  old  assessment  institute,  and  the  implementation  of  federal and state assessment programs.   Establishing  a  clear  policy  framework  that  ensures  the  stability  of  assessment  activities.  In  Brazil,  the  legal  framework  for  assessment  provided  the  architecture  for  the  system.  It  defined  the  assessment  programs  to  be  implemented and the type of institution that should be in charge of them.  It also provided the required funding.   Designating  a  clear  organization  in  charge  of  the  assessment.  The  creation  of  an  independent  agency  in  charge  of  national  assessments,  educational  statistics,  and  research  is  paramount.  In  Brazil,  the  designation  and  revamping  of  an  old  assessment  institute  (INEP)  was  strategic  for  the  development of the assessment system.   Avoiding  the  risk  of  overloading  the  leading  assessment  institution  with  operational  tasks  related  to  assessment  implementation.  The  implementation  tasks  (test  production,  distribution,  administration,  data  processing,  and  reporting) can easily consume all of the time and energy of an institution.  However, this should not be the role of a strategic government agency. In  Brazil,  the  federal  assessment  institute  (INEP)  has  not  yet  found  the  right  balance  between  policy/strategy  versus  implementation.  This  was  very  clear  during  the  introduction  of  the  national  university  entrance  examinations.  Nowadays,  one  of  the  biggest  difficulties  that  INEP  is  facing  is  the  implementation  of  the  university  entrance  examination.  Since  2009,  INEP  has  been  in  successive  crises  because  of  the  politics  and  the  technical  challenges  of  this  university  entrance  examination.  As  a  result,  INEP  is  losing  its  identity  as  a  leading  assessment  organization.  Instead, it is more and more perceived as the national agency in charge of  selecting students into tertiary education.    Ensuring  participation  of  key  stakeholders  in  running  the  assessment.  INEP  outsources  key  implementation  tasks  to  private  organizations.  These  tasks  include  training  teachers  in  item  writing  (enabling  them  to  submit  questions  to  be  included  in  the  national  assessments)  and  training  test    14  Maria Helena Guimarães de Castro  supervisors  and  administrators  in  the  states  and  municipalities.  This  approach  allows  INEP  to  focus  more  on  strategy  and  less  on  operational  tasks  (although  more  needs  to  be  done  here).  Most  importantly,  it  allows  for building capacity and support for assessment all over the country.   Defining  national  standards  and  a  curriculum  that  provides  focus  to  the  assessment  system.  Ideally,  this  should  be  done  before  designing  the  assessment so that everything is aligned. In Brazil, the introduction of the  national  university  entrance  examination  followed  the  introduction  of  a  curriculum reform.    Building  staff  capacity  to  run  assessment  programs.  Options  include  on‐the‐ job  training,  and  training  to  enable  temporary  staff  to  participate  in  assessment activities (such as item writing and test administration). Other  options  include  funding  for  personnel  to  study  abroad  in  advanced  assessment  programs  (at  the  masters  or  doctoral  level),  or  internships  in  assessment institutions. Brazil has explored all of these options.   Creating  new  institutions  specialized  in  student  assessment.  In  1998,  with  the  support  of  the  World  Bank,  INEP  funded  the  creation  of  five  assessment  centers  linked  to  public  universities.  Some  of  these  centers  have  had  excellent  performance  and  trained  many  assessment  professionals.  In  2001,  the  creation  of  the  National  Association  of  Educational  Evaluation  (ABAVE)  brought  new  incentives  and  support  for  masters  and  doctoral  studies  in  assessment.  Today,  Brazil  has  many  centers  of  research  specialized  in  student  assessment  and,  most  importantly,  it  has  a  critical  mass of people with expertise in this field.    The  use  of  assessment  results  for  school  accountability  purposes  may  greatly  contribute  to  consolidating  an  assessment  culture.  In  Brazil,  the  public  dissemination  of  a  school  quality  indicator  (IDEB)  fostered  a  demand  for  information,  and  attracted  the  attention  of  civil  society  and  the  media.  This  indicator  was  widely  adopted  by  municipalities  and  states  to  monitor  and  support  school  performance  and  to  distribute  monetary  incentives.   The  use  of  assessment  results  to  inform  policy  also  contributed  to  consolidating  the  assessment  system,  especially  among  researchers  and  policy  makers.  In  Brazil,  economists  and  statisticians  greatly  contributed  to  identifying  factors  related  to  student  performance.  This  information  has  been  regularly used to inform and design education policy.   A  key  challenge  for  consolidating  the  assessment  system  seems  to  be  the  use  of  assessment  results  to  inform  teachers  and  pedagogy.  There  is  currently  a  disconnect  between  the  assessment  programs  and  teacher  training  institutions  in  Brazil.  This  severely  impairs  the  capacity  of  assessment  information to improve teaching practices and learning.   Countries  have  to  ensure  that  assessment  information  is  used  to  improve  pedagogy  and  learning.  One  mechanism  for  doing  this  is  by  creating    Developing the Enabling Context for Student Assessment in Brazil  15    assessment  programs  that  have  the  primary  objective  of  supporting  student  learning.  Brazil  did  this  with  its  school‐based  assessment  program,  Provinha  Brasil.  Other  mechanisms  (not  yet  explored  by  Brazil)  include  funding  pedagogical  research  using  assessment  data,  and  publishing pedagogical material based on the assessment findings.    Introducing  national  university  selection  examinations  is  an  extremely  complex  and long‐term task. Factors that may facilitate the process are a clear policy  document  backing  the  examinations,  the  voluntary  adoption  of  the  system  by  universities,  and  the  involvement  of  stakeholders  in  defining  what should be measured. Public trust needs to be built, and the best way  to  do  so  is  by  avoiding  mistakes  in  examination  implementation.  In  Brazil, the full implementation and adoption of the national examinations  took  more  than  a  decade.  It  is  extremely  hard  to  convince  universities  to  risk  their  reputation  in  a  national  competition  for  the  best  students.  It  is  also  very  hard  to  convince  them  to  delegate  to  a  federal  agency  their  power in administering their own admission process.  It  is  hoped  that  these  lessons  will  be  useful  for  other  countries  that,  like  Brazil,  have  made  a  commitment  to  develop  their  student  assessment  system  in  order to improve education quality and student learning.  Bibliography  Castro,  Maria  Helena  Guimarães.  2009.  “Sistemas  de  Avaliação  da  Educação  no  Brasil:  Avanços  e  Novos  Desafios.”  [Educational  assessment  in  Brazil:  progress  and  challenges]  São  Paulo  em  Perspectiva  23  (janeiro‐junho).  Fundação SEADE, SP.   Castro, Maria Helena Guimarães, and Sergio Tiezzi. 2005. “A Reforma do Ensino  Médio  e  a  Implantação  do  ENEM  no  Brasil.”  [The  reform  to  middle  school  and  the  implementation  of  ENEM  in  Brazil]  In  S.  Schwartzman  and  C.  Brock,  Os  Desafios  da  Educação  no  Brasil  [Educational  challenges  in  Brazil]  (chap. 4, pp. 119). Rio de Janeiro: Nova Fronteira.  Clarke,  Marguerite.  2012.  “What  Matters  Most  for  Student  Assessment  Systems:  A  Framework  Paper.”  SABER–Student  Assessment  Working  Paper  No.  1.  World Bank, Washington, DC.  Fernandes,  Reynaldo.  2007.  “Índice  de  Desenvolvimento  da  Educação  Basica  (IDEB).”  [Educational  development  index  for  primary  education  (IDEB)]  Texto para Discussão [Discussion paper] INEP, n. 26.    16  Maria Helena Guimarães de Castro  Fernandes,  Reynaldo,  and  Amaury  Gremaud.  2009.  “Qualidade  da  Educação:  Avaliação,  Indicadores  e  Metas.”  [Education  quality:  evaluation,  indicators  and  objectives]  In  F.  Veloso,  S.  Pessoa,  R.  Henriques,  and  F.  Giambiagi,  eds.,  Educação  Básica  no  Brasil:  construindo  o  país  do  futuro  (chap.  10,  p.  213).  Rio de Janeiro: Elsevier.   INEP.  2008.  “Desempenho  de  Alunos  na  Prova  Brasil.”  [Student  performance  in  Prova Brazil]. INEP and World Bank, Brasília.  Klein,  Ruben.  2007.  “Como  está  a  Educação  no  Brasil.”  [What  is  the  state  of  education in Brazil?] Unpublished paper, December.  Meneses  Filho,  Naercio.  2007.  “Os  Determinantes  do  Desempenho  Escolar  no  Brasil.”  [Factors  that  determine  student  performance  in  Brazil].  Instituto  Futuro Brasil, Ibmec‐SP e FEA‐USP.   Schwartzman,  Simon.  2009.  “Educação  e  Recursos  Humanos  [Education  and  human  resources].”  In  Fernando  Henrique  Cardoso  and  Alejandro  Foxley,  eds,  America  Latina:  desafios  da  Democracia  e  do  Desenvolvimento  [Latin  America:  The  challenges  of  democracy  and  development]  (vol.  2,  chap.  5).  Rio  de  Janeiro: Elsevier; São Paulo: IFHC.   Soares,  Francisco.  2002.  “Fatores  Associados  ao  Desempenho  em  Lingua  Portuguesa  e  Matematica:  evidencias  do  SAEB  2001  [Factors  related  to  achievement  in  Portuguese  and  Mathematics:  evidence  from  SAEB  2001].”  Relatório Final de Pesquisa, UFMG, November.  F. Veloso, S. Pessoa, R. Henriques, and F. Giambiagi, eds. 2009. Educação Básica no  Brasil:  Construindo  o  País  do  Futuro  [Primary  education  in  Brazil:  building  the future of the country]. Rio de Janeiro: Elsevier.        Developing the Enabling Context for Student Assessment in Brazil  17                              /LVWRISDSHUVSXEOLVKHGLQWKHFXUUHQW:RUNLQJ3DSHUSHULHV  &ODUNH0´:KDW0DWWHUV0RVWIRU6WXGHQW$VVHVVPHQW6\VWHPV $)UDPHZRUN3DSHUµ $YDLODEOHLQ5XVVLDQDQG3RUWXJXHVH   5DPLUH]0´'HYHORSLQJWKH(QDEOLQJ&RQWH[WIRU6WXGHQW $VVHVVPHQWLQ&KLOHµ $YDLODEOHLQ5XVVLDQ   5DPLUH]0´'LVVHPLQDWLQJDQG8VLQJ6WXGHQW$VVHVVPHQW ,QIRUPDWLRQLQ&KLOHµ $YDLODEOHLQ5XVVLDQ   /LEHUPDQ-DQG0&ODUNH´5HYLHZRI:RUOG%DQN6XSSRUW IRU6WXGHQW$VVHVVPHQW$FWLYLWLHVLQ&OLHQW&RXQWULHVµ $YDLODEOHLQ 5XVVLDQ   )ORFNWRQ/´7KH'HYHORSPHQWRIWKH6WXGHQW$VVHVVPHQW6\VWHP LQ1HZ=HDODQGµ $YDLODEOHLQ5XVVLDQ   $OOHQ5´'HYHORSLQJWKH(QDEOLQJ&RQWH[WIRU6FKRRO%DVHG $VVHVVPHQWLQ4XHHQVODQG$XVWUDOLDµ  &DVWUR0´'HYHORSLQJWKH(QDEOLQJ&RQWH[WIRU6WXGHQW $VVHVVPHQWLQ%UD]LOµ )RUWKFRPLQJSDSHUV  .DQMHH$DQG6$FDQD´'HYHORSLQJWKH(QDEOLQJ&RQWH[WIRU 6WXGHQW$VVHVVPHQWLQ8JDQGDµ 7KLVFDVHVWXG\DQDO\]HV%UD]LO·VH[SHULHQFHLQGHYHORSLQJLWVVWXGHQW DVVHVVPHQWV\VWHP%UD]LO·VVWRU\VKRXOGSURYHSDUWLFXODUO\LQWHUHVWLQJWR WKRVHDLPLQJWRXQGHUVWDQGKRZDODUJH DQGLQWKLVFDVHIHGHUDO FRXQWU\ FDQVXFFHVVIXOO\LPSOHPHQWH[WHQVLYHUHIRUPVRILWVDVVHVVPHQWV\VWHP ,Q%UD]LO·VFDVHWKHUHIRUPVLQYROYHGGHYHORSLQJDFRPSUHKHQVLYHSROLF\ IUDPHZRUNIRUWKHVXSSRUWDQGIXQGLQJRIDVVHVVPHQWDFWLYLWLHVFUHDWLQJ DQDXWRQRPRXVIHGHUDOLQVWLWXWLRQWREHLQFKDUJHRINH\DVVHVVPHQW SURJUDPVHQVXULQJVWDEOHDQGVXIÀFLHQWIXQGLQJDQGGHYHORSLQJLQ FRXQWU\FDSDFLW\WRFDUU\RXWDVVHVVPHQWWDVNV 6HYHUDOIDFWRUVDOORZHGIRUWKHVHUHIRUPVWRWDNHKROG$PRQJWKHPRVW LPSRUWDQWZHUHVWDEOHSROLWLFDOOHDGHUVKLSPDNLQJHGXFDWLRQDQGWKHQHHG WRPRQLWRUHGXFDWLRQTXDOLW\DQDWLRQDOSULRULW\DQGSDUWQHUVKLSVZLWK QRQJRYHUQPHQWDOLQVWLWXWLRQV 0DULD+HOHQD*XLPDUmHVGH&DVWURIRUPHU6WDWH6HFUHWDU\RI (GXFDWLRQRI6mR3DXORPHPEHURIWKH6WDWH%RDUGRI(GXFDWLRQ LQ6mR3DXOR 6JG4WUUKC'FWECVKQP#KFHQT&GXGNQROGPV6TWUV(WPFKUCEQNNCDQTCVKQPDGVYGGPVJG4WUUKCP(GFGTCVKQP CPFVJG9QTNF$CPMVJCVUWRRQTVUVJGKORTQXGOGPVQHUVWFGPVNGCTPKPIQWVEQOGUKPNQYKPEQOGEQWPVTKGU VJTQWIJVJGFGXGNQROGPVQHTQDWUVUVWFGPVCUUGUUOGPVU[UVGOU8KUKVVJG4'#&YGDUKVGCV YYYYQTNFDCPMQTITGCFVHHQTCFFKVKQPCNKPHQTOCVKQP