implementação de uma avaliação nacional de desempenho educacional 66609 Preencha a ficha de cadastro no final deste livro e receba gratuitamente informações sobre os lançamentos e as promoções da Elsevier. Consulte também nosso catálogo completo, últimos lançamentos e serviços exclusivos no site www.elsevier.com.br implementação de uma avaliação nacional de desempenho educacional Do original: Implementing a National Assessment of Educational Achievement Copyright © 2012, by The International Bank for Reconstruction and Development/The World Bank Publicado originalmente em Inglês pelo Banco Mundial. Em caso de discrepâncias, prevalecerá a versão original em inglês. Esta obra foi elaborada pela equipe do Banco Internacional para Reconstrução e Desenvolvimento/Banco Mundial. As afirmações, interpretações e conclusões aqui contidas não expressam necessariamente a opinião dos diretores executivos da instituição ou dos governos que eles representam.   O Banco Mundial não garante a exatidão dos dados incluídos nesta publicação. As fronteiras, cores, denominações e outras informações mostradas em qualquer mapa neste estudo não implicam nenhuma opinião da parte do Banco Mundial em relação à situação jurídica de qualquer território, bem como o endosso ou a aceitação de suas fronteiras. This work was originally published by The World Bank in English as National Assessments of Educational Achievement, Volume 3: Implementing a National Assessment of Educational Achievement in 2012. This Brazilian Portuguese translation was arranged by Elsevier Brazil. Elsevier Brazil is responsible for the quality of translation. In case of any discrepancies, the original language will govern. The findings, interpretations, and conclusions expressed here in are those of the author(s) and do not necessarily reflect the views of the Executive Directors of The World Bank or the governments they represent.   The World Bank does not guarantee the accuracy of the data included in this work. The boundaries, colors, denominations, and other information shown on any map in this work do not imply any judgement on the part of The World Bank concerning the legal status of any territory or the endorsement or acceptance of such boundaries. Direitos e permissões O material contido nesta publicação é protegido por direito autoral. A cópia e/ou transmissão sem permissão de uma parte ou de todo o conteúdo poderão ser consideradas violação da lei aplicável. O Banco Internacional para Reconstrução e Desenvolvimento/Banco Mundial estimula a disseminação desta obra e normalmente permitirá com rapidez a reprodução de trechos deste relatório.   Para obter permissão de fotocópia ou reimpressão de qualquer parte deste livro, envie um pedido contendo informações completas para Copyright Clearance Center Inc., 222 Rosewood Drive, Danvers, MA 01923, USA; telefone: 978-750-8400; fax: 978-750-4470; Internet: www.copyright.com.   Todas as outras perguntas sobre direitos e licenças, inclusive direitos subsidiários, devem ser dirigidas ao Office of the Publisher, The World Bank, 1818 H Street NW, Washington, DC 20433, USA. Fax: 202-522-2422; e-mail: pubrights@worldbank.org. © 2012, The International Bank for Reconstruction and Development/The World Bank Todos os direitos reservados e protegidos pela Lei no 9.610, de 19/02/1998. Copidesque: Shirley Lima da Silva Braz Revisão: Edna Cavalcanti e Roberta Borges Editoração Eletrônica: Estúdio Castellani Elsevier Editora Ltda. Conhecimento sem Fronteiras Rua Sete de Setembro, 111 – 16o andar 20050-006 – Centro – Rio de Janeiro – RJ – Brasil Rua Quintana, 753 – 8o andar 04569-011 – Brooklin – São Paulo – SP – Brasil Serviço de Atendimento ao Cliente 0800-0265340 sac@elsevier.com.br ISBN 978-85-352-6159-2 Edição original: ISBN 978-0-8213-8589-0 CIP-Brasil. Catalogação-na-fonte Sindicato Nacional dos Editores de Livros, RJ G825i Greaney, Vincent Implementação de uma avaliação nacional de desempenho educacional / Vincent Greaney e Thomas Kellaghan ; tradução Sabine Holler. – Rio de Janeiro : Elsevier, 2012. 23 cm Tradução de: Implementing a national assessment of educational Inclui bibliografia ISBN 978-85-352-6159-2 1. Testes e medidas educacionais. 2. Avaliação educacional. I. Kellaghan, Thomas. II. Título. III. Série. 12-3493. CDD: 371.262 CDU: 37.091.26 Agradecimentos U ma equipe liderada por Vincent Greaney (Consultor, Human Development Network, Education Group, World Bank) e Thomas Kellaghan (Consultor, Educational Research Centre, St. Patrick’s Col� lege, Dublin) preparou a série de livros intitulada Pesquisas do Banco Mundial sobre Avaliações de Desempenho Educacional, da qual este é o ����������������������������������������������������� terceiro volume. Outros colaboradores da série são Sylvia Acana (Ugan� da National Examinations Board), Prue Anderson (Australian Council for Educational Research), Fernando Cartwright (Statistics Canada), Jean Dumais (Statistics Canada), Chris Freeman (Australian Council for Educational Research), J. Heward Gough (Statistics Canada), Sara J. Howie (University of Pretoria), George Morgan (Australian Council for Educational Research), T. Scott Murray (Data Angel, Canada), Kate O’Malley (Australian Council for Educational Research), e Gerry Shiel (Educational Research Centre, St. Patrick’s College, Dublin). O trabalho foi realizado sob a direção-geral de Ruth Kagia, diretora de Educação, e de sua sucessora, Elizabeth King, e Robin Horn, geren� te, Human Development Network, Education Group, todos do Banco Mundial. Robert Prouty iniciou o projeto e o administrou até agosto de 2007. Marguerite Clarke assumiu o projeto desde então e o gerenciou até as fases de revisão e publicação. Somos gratos pelas contribuições do grupo de revisão: Al Beaton (Boston College), Zewdu Gebrekidan (Consultor, Etiópia), Eugenio Gonzalez (Educational Testing Service), Kelvin Gregory (New South Wales Board of Studies), Louis Rizzo (Westat) e Carlos Rojas (Banco Mundial). Marguerite Clarke e Robin Horn ofereceram comentários adi� cionais valiosos. Hilary Walshe ajudou a preparar as várias versões deste documento. Também recebemos contribuições e apoio de Peter Archer, Jung-Hwan Choi, Mary Rohan, Hans Wagemaker e Hana Yoshimoto. Gostaríamos de agradecer às seguintes organizações pela permissão para a reprodução de seus materiais: Australian Council for Educatio­ nal Research, International Association for the Evaluation of Educa­ tional Achievement e Statistics Canada. Projeto gráfico, edição e produção do livro foram coordenados por Janice Tuten e Paola Scalabrin, do Escritório de Publicações do Banco Mundial. A impressão foi coordenada por Nora Ridolfi. O Australian Council for Educational Research, o Bank Netherlands Partnership Program, o Educational Research Centre em Dublin, o Irish Educational Trust Fund, o Statistics Canada e o Russia Education Aid for Development (READ) Trust Fund [Fundo Fiduciário Russo de Aju� da à Educação para o Desenvolvimento – FF READ] deram seu apoio generoso à preparação e à publicação da série. Prefácio M edir os resultados do aprendizado dos alu� nos é necessário para monitorar o sucesso de um sistema escolar e melhorar a qualida� de da educação. Informações sobre o desempenho dos alunos podem ser usadas para subsidiar uma ampla variedade de políticas e decisões educa� cionais, incluindo formulação e implementação de programas para apri� morar o ensino e o aprendizado em salas de aula, identificação de alunos com dificuldades, a fim de que possam obter o apoio necessário e prestação de assistência técnica e treinamento adequados onde for mais necessário. A série Pesquisas do Banco Mundial sobre Avaliações de Desempenho Educacional, da qual este é o Volume 3, concentra-se nos procedimentos mais atualizados a serem seguidos, a fim de garantir que os dados (tais como resultados de testes e informações sobre antecedentes e contexto) produzidos por um exercício de avaliação nacional em larga escala sejam de alta qualidade e abordem as questões de interesse para os formulado� res de política, responsáveis pela tomada de decisão e outros interessa� dos no sistema educacional. O Volume 1, Avaliação dos níveis de desempenho educacional, des� creve os principais objetivos e características das avaliações nacionais de desempenho escolar e visa principalmente aos formuladores de políticas e responsáveis pela tomada de decisão na educação. O Volume 2 abor� da a formulação de dois tipos de instrumentos de coleta de dados para exercícios de avaliação nacional: testes de aproveitamento dos alunos e questionários de antecedentes. Este terceiro volume da série, Implementação de uma avaliação nacional de desempenho educacional, concentra-se nas tarefas práticas envolvidas na implementação de um exercício de avaliação nacional em grande escala, in� cluindo instruções detalhadas sobre logística, amostragem, limpeza e gestão de dados. Como os Volumes 2 e 4 da série, este destina-se principalmente a equipes de economias em desenvolvimento e economias emergentes, res� ponsáveis pela realização de um exercício de avaliação nacional. O Volume 4 aborda a forma de gerar informações sobre os itens de teste e pontuação de testes, e como relacionar os resultados dos testes a outros fatores educacionais. Por fim, o Volume 5 abrange a forma de escrever relatórios baseados nas conclusões da avaliação nacional e como usar os resultados para aprimorar a qualidade da política educacional e tomada de decisão. O Volume 5 reveste-se de importância especial para os responsáveis pela elaboração de relatórios de avaliação ou pela comu� nicação ou utilização de seus resultados. À medida que os leitores percorrem este terceiro volume da série Pesqui- sas do Banco Mundial sobre Avaliações de Desempenho Educacional, torna-se evidente que a implementação eficaz de um exercício de avaliação nacional é uma tarefa complexa que requer conhecimentos, habilidade e recursos consideráveis. Ao mesmo tempo, pesquisas mostram que o retorno de ava� liações nacionais bem implementadas pode ser substancial em termos da qualidade da informação fornecida sobre os níveis de desempenho do aluno e sobre fatores escolares e extraescolares que possam ajudar a aumentar os níveis de aproveitamento. (Por outro lado, o “custo” de uma avaliação na� cional mal implementada pode produzir informações equivocadas sobre os níveis de aproveitamento dos alunos e fatores correlatos.) A implementação de boa qualidade pode aumentar a confiança dos formuladores de política e de outros interessados na validade dos resultados da avaliação. Também pode aumentar a probabilidade de que os formuladores de política e ou� tras partes interessadas utilizem os resultados da avaliação nacional para desenvolver planos e programas eficazes destinados a aprimorar a qualidade educacional e os resultados de aprendizado dos alunos. Marguerite Clarke Especialista Sênior em Educação Os autores e organizadores Sylvia Acana está à frente da Avaliação Nacional do Progresso em Educa� ção (NAPE) de Uganda. Foi professora de Ciências de escola secundária e autoridade na Comissão Nacional de Exames de Uganda. Arcana pres� tou apoio técnico na área de avaliação para o Economic Policy Research Centre e Save the Children. É membro do comitê executivo da Associa� ção Internacional para a Avaliação do Aproveitamento Escolar (IAEA) e vice-presidente do Board of Governors do Loro Core Primary Teachers’ College. Tem mestrado em métricas educacionais e avaliação. Jean Dumais é chefe do Grupo de Consultas Estatísticas do Statistics Canada e estatístico de pesquisas na filial de metodologia do institu� to. Tem interesse especial por avaliações educacionais. Recentemente, Dumais supervisionou a implementação das atividades de amostragem e estimativa do estudo comparativo de treinamento de professores (TE� DS-M) da Associação Internacional para a Avaliação do Aproveitamen� to Escolar e da Pesquisa Internacional sobre Ensino e Aprendizagem da Organização para Cooperação e Desenvolvimento Econômico (OCDE). Também atuou como árbitro de amostragem em várias avaliações inter� nacionais educacionais comparativas. Chris Freeman é diretor de pesquisas no Conselho de Pesquisas Edu� cacionais da Austrália. Seu trabalho concentra-se em aspectos de ava� liações em grande escala na maioria dos estados e territórios da Aus� trália. Seu trabalho em nível nacional inclui o Programa Nacional de Avaliação – Alfabetização e Matemática, pesquisas em áreas curriculares relacionadas a ciências e coordenação na implementação de programas da OCDE. Também está intimamente ligado a programas nacionais de monitoramento na região do Pacífico Sul e Oriente Médio. Suas atuais áreas de interesse incluem o impacto dos palpites (“chutes”) nas avalia� ções nacionais em grande escala. J. Heward Gough é estatístico de pesquisas por amostragem e, até re� centemente, era consultor estatístico sênior no Grupo Estatístico de Consultas do Statistics Canada. Tem ampla experiência no desenvol� vimento de metodologia de pesquisa e consultoria estatística, incluindo cinco anos no Centro Latino-Americano e Caribenho de Demografia (CELADE). Gough ministrou cursos em métodos estatísticos, técnicas de amostragem e metodologia estatística para o Statistics Canada, para clientes externos no Canadá e para escritórios estatísticos nacionais na Colômbia, Cuba, Eritreia, Peru e Zâmbia. Participou de um projeto de desenvolvimento de habilidades estatísticas em Burkina Faso. Vincent Greaney é consultor educacional. Foi especialista líder em edu� cação no Banco Mundial e trabalhou na África, na Ásia e no Oriente Médio. Ex-professor, fellow de pesquisa no Centro de Pesquisas Edu� cacionais no St. Patrick’s College em Dublin e professor visitante da Fulbright na Western Michigan University em Kalamazoo, Michigan, Greaney é membro do Hall da Fama de Leitura da International Reading Association. Suas áreas de interesse incluem avaliação, treinamento de professores, leitura e promoção da coesão social por meio da reforma de livros didáticos. Sarah J. Howie é diretora do Centro para Avaliação e professora de Educação na Universidade de Pretoria. Na África do Sul, coordenou avaliações internacionais em alfabetismo de leitura, matemática, ciên� cias e tecnologia de informação e de comunicações. Além de fornecer treinamento em pesquisa em vários países, Howie participa de comitês internacionais e nacionais responsáveis por monitorar e avaliar a qualida� de educacional. Suas áreas de interesse profissional incluem a avaliação em grande escala, avaliação de alunos, e avaliação de desempenho e de programas. Thomas Kellaghan é consultor educacional. Foi diretor do Centro de Pesquisas Educacionais no St. Patrick’s College, Dublin, e é fellow da Academia Internacional de Educação. Trabalhou na Universidade de Ibadan na Nigéria e na Queen’s University em Belfast. Suas áreas de in� teresse em pesquisa incluem avaliação e exames, desvantagem educacio� nal, e relacionamentos entre casa e escola. Kellaghan foi presidente da Associação Internacional para a Avaliação do Aproveitamento Escolar. Trabalhou em projetos relacionados a questões de avaliação na África, Ásia, América Latina e Oriente Médio. Kate O’Malley é fellow de pesquisa do Conselho de Pesquisas Educa� cionais da Austrália. Tem estreita relação com uma série de avaliações nacionais na Austrália e com as avaliações trienais cívica e de cidadania e avaliações de letramento em linguagem do ICT, o Programa Nacional de Avaliação – Alfabetização (NAPLAN) e Avaliação de Conhecimentos sobre Ciências Essenciais na Escola Secundária (ESSA). O’Malley coor� denou o componente australiano do Segundo Estudo sobre Tecnologia da Informação na Educação (SITES) da IEA e a Pesquisa Internacional sobre Ensino e Aprendizagem (TALIS) da OCDE, além de ser coautor dos relatórios para esses dois projetos. Sumário Agradecimentos v Prefácio vii Os autores e organizadores ix Abreviações xxi Introdução 1 PARTE I Logística de uma avaliação nacional Sarah J. Howie e Sylvia Acana 1 PREPARAÇÃO PARA A AVALIAÇÃO NACIONAL: DESENHO E PLANEJAMENTO 11 Comissão Nacional de Coordenação (CNC) 11 Desenho de uma avaliação nacional 12 Planejamento 13 Elaboração de orçamento 14 2 Pessoal e instalações necessárias em uma avaliação nacional 19 Requisitos de pessoal 20 Instalações 31 3 Preparação para aplicação nas escolas 35 Estabelecendo contato com as escolas 35 Organização dos instrumentos 39 Preparação das escolas 40 4 Aplicação em escolas 43 Aplicador do teste 43 Problemas comuns na aplicação 46 Garantia de qualidade 47 5 Tarefas posteriores à aplicação 51 Correção do teste 51 Registro de dados 54 Análise de dados 57 Elaboração de relatório 58 Parte II Metodologia de amostragem escolar Jean Dumais e J. Heward Gough 6 Definição da população de interesse 63 7 Criação da base amostral 67 A base amostral 67 Estudo de caso Sentz 70 8 Elementos da teoria da amostragem 75 Amostragem aleatória simples 76 Amostragem aleatória sistemática 77 Amostragem por conglomerados 79 Estratificação 83 Alocação da amostra através dos estratos 88 Amostragem com probabilidade proporcional ao tamanho 93 Amostragem multiestágio 95 Extração de amostras 97 II.A Amostragem: pastas e arquivos 109 Parte III Preparação, validação e gerenciamento de dados Chris Freeman e Kate O’Malley 9 Livros de código 117 10 Gerenciamento de dados 125 Registro de dados 125 Preparação de um modelo de registro de dados usando o Microsoft Access 130 11 Verificação de dados 153 Documentação 153 Consistência entre arquivos 154 Consistência dentro de arquivos 156 12 Importação e fusão de dados 165 Os perigos da transferência de dados entre programas 165 Exportação de dados do SPSS para o Access 166 Importação de outros dados relacionados 168 Fusão de dados de tabelas diferentes usando consultas do Access 169 Controle de versão 173 Segurança dos dados 173 13 Dados duplicados 177 Usando o Access para verificar a existência de IDS duplicados 177 Busca de registros duplicados 179 Usando o Access para verificar a existência de nomes duplicados 185 III.A Limpeza e gerenciamento de dados: pastas e arquivos 187 Parte IV Ponderação, estimação e erro amostral Jean Dumais e J. Heward Gough 14 Computação do peso das unidades amostrais 193 Ponderações de desenho 193 Ajuste de ponderação para não resposta 202 Exportação e importação de dados limpos 211 Pós-estratificação: uso de informações auxiliares para aprimorar estimativas com o ajuste dos pesos de estimação 211 15 Computação de estimativas e seus erros amostrais a partir de amostras aleatórias simples 217 Estimando um total da população 218 Estimando uma média de população 222 Estimando uma proporção da população 223 Estimando subgrupos da população 223 Conclusão 224 16 Computação de estimativas e seus erros amostrais a partir de amostras complexas 225 17 Tópicos especiais 233 Não resposta 233 Estratificação, classificação da base amostral e seleção da amostra 235 Escolas de tamanho grande 236 Escolas de tamanho reduzido 238 Padrões para julgar a adequação das taxas de resposta 241 IV.A Notação estatística para cálculo de estimativas 243 IV.B Uma comparação dos dados srs400 e dos dados do censo 245 IV.C Estimando erros amostrais com técnicas de reamostragem 249 Uso da amostragem replicada 249 Uso da estimação jackknife 251 IV.D Criação de zonas e réplicas jackknife e computação de pesos jackknife 257 Referências 267 Quadros 2.1 Sistemas de Numeração Usados em Avaliações Nacionais 25 2.2 Necessidades de Armazenamento 32 3.1 Exemplo de uma Carta para as Escolas 37 3.2 Embalagem de Instrumentos 41 4.1 Formulário de Monitoramento dos Alunos 45 4.2 Formulário de Aplicação do Teste 48 4.3 Exemplos de Perguntas Respondidas pelos Monitores de Controle de Qualidade no TIMSS 49 5.1 Formulário de Acompanhamento de Instrumentos 52 Exercícios 7.1 Início 71 8.1 Cálculo do Tamanho da Amostra e Alocação aos Estratos 91 8.2 Seleção do SRS de 400 Alunos 97 8.3 PPS Estratificado sem Reposição, Seleção de Escolas: Leitura de Arquivos de Escola e Alocação de Escolas 99 8.4 PPS Estratificado sem Reposição, Seleção de Escolas: Consolidação de Arquivos de Escola e Alocação de Escolas 100 8.5 PPS Estratificado sem Reposição, Seleção de Escolas: Seleção de Escolas 100 8.6 PPS Estratificado sem Reposição, Seleção de Escolas: Identificação de Turmas Elegíveis 102 8.7 PPS Estratificado sem Reposição, Seleção de Escolas: Limpeza da Base Amostral 105 8.8 PPS Estratificado sem Reposição, Seleção de Escolas: Seleção de uma Turma por Escola 106 9.1 Inserção de Dados da Avaliação Nacional em um Livro de Código 123 10.1 Criação de um Banco de Dados 127 10.2 Criação de Variáveis do Banco de dados 131 10.3 Criação de Campos Adicionais no Banco de Dados 134 10.4 Definição de Valores Default 136 10.5 Uso da Regra de Validação e Propriedades de Validação de Texto 137 10.6 Inserção de Dados de Itens de Campo em um Banco de Dados 140 10.7 Criação de um Formulário 143 10.8 Mudança do Layout do Formulário 144 10.9 Inserindo Dados no Formulário 146 10.10 Importação de Dados para o SPSS 150 11.1 Verificação de Dados Usando o Excel 155 11.2 Uso do Comando Frequency no SPSS 158 11.3 Uso do Comando Frequency para Encontrar Valores em Branco 161 12.1 Exportação de Dados do SPSS Para o Access 167 12.2 Importação de Dados da Escola para o Access 168 12.3 Criação de uma Consulta Simples no Access 170 13.1 Como Gerar uma Consulta para “Encontrar Duplicatas” no Access 178 13.2 Uso de uma Consulta para Encontrar Duplicatas para Localizar Nomes Duplicados de Alunos 182 14.1 Ponderação do Projeto para uma Amostra Aleatória Simples de 400 alunos 194 14.2 Ponderação do Desenho para uma Amostra PPS de Escolas e Turmas 197 14.3 Adicionando Resultados do Teste para uma Amostra Aleatória Simples de 400 Alunos 198 14.4 Adicionando Resultados de Teste a um Desenho PPS 200 14.5 Ajuste de Ponderação para Não Resposta Para uma Amostra Aleatória Simples de 400 Alunos 204 14.6 Ajuste do Peso para Não Resposta para uma Amostra PPS 208 15.1 Estimação para SRS400 219 16.1 Estimação da Variância Jackknife para uma Amostra PPS 226 16.2 Cálculo de Diferenças de Gênero em um Teste de Matemática 229 Figuras 6.1 Porcentagem de Alunos nas Populações Desejadas, Definidas e Obtidas 65 7.1 Mapa de Sentz 73 8.1 SRS sem Reposição de Escolas 77 8.2 Amostra Aleatória Sistemática de Escolas 79 8.3 Amostra por Conglomerados de Escolas 80 8.4 Amostra Aleatória Estratificada das Escolas 85 8.5 Amostragem Multiestágio 96 8.6 Excerto dos Dados 101 8.7 Class_Frame 104 II.A.1. Estrutura do Diretório dos Arquivos de Amostragem 112 9.1 Exemplo de uma Página Inicial do Teste 118 9.2 Livro de Código do Questionário para Informações Demográficas do Aluno (Antecedentes) 120 9.3 Livro de Código do Teste para Campos de Itens de Matemática 3a 122 10.1 Modelo de Registro de Dados (Access 2007) 126 12.1 Mensagem de Advertência do Uso Exclusivo 175 13.1 Registros Duplicados Identificados 180 13.2 Documentação da Correção de Erros no ID do Aluno 180 13.3 Exclusão de um Registro 181 13.4 Mesmo ID de Aluno para Dois Alunos 181 13.5 Documentação da Correção de Erros no ID do Aluno 181 III.A.1 Estrutura de Diretório dos Arquivos de Limpeza e Gerenciamento de Dados 189 IV.D.1 Lista de Variáveis Disponíveis 261 IV.D.2 Zonas Jackknife no WesVar 262 IV.D.3 Pesos de Replicação do WesVar 263 IV.D.4 WesVar: Criação de Rótulos 264 IV.D.5 WesVar: Tela de Abertura 265 Tabelas 1.1 Trecho de um Plano de Projeto de Avaliação Nacional 15 1.2 Lista de Verificação para Financiamento da Avaliação Nacional 17 2.1 Vantagens e Desvantagens de Categorias de Pessoal para a Aplicação de Testes 29 3.1 Avaliação Nacional: Formulário de Acompanhamento Escolar 38 3.2 Lista de Verificação do Conteúdo das Embalagens 42 5.1 Tabela de Exemplo que Descreve Características dos Professores da Escola Primária 59 7.1 Elementos Essenciais de uma Base Amostral para uma Avaliação Nacional 69 II.A.1 Descrição dos Conteúdos das Pastas 109 9.1 Explicação dos Títulos de Colunas no Livro de Código 121 10.1 Variáveis Normalmente Coletadas ou Capturadas em Avaliações Nacionais 130 III.A.1 Exercícios 188 III.A.2 Solução dos Exercícios 188 14.1 Amostra Aleatória Simples Estratificada com Alocação Igual 195 14.2 Amostra Aleatória Simples Estratificada: População Urbana e Rural, Tamanhos de Amostra e Taxas de Resposta 207 14.3 Amostra Aleatória Simples Estratificada: População Urbana e Rural, Tamanhos de Amostra, Taxas de Resposta e Pesos Ajustados para Não Resposta 207 14.4 Pesquisa da Escola: Distribuição Pós-Estratos da Equipe de Funcionários por Gênero 213 14.5 Estimativas de Pesquisa Ajustadas para Não Resposta 214 14.6 Estimativas da Pesquisa Ajustadas para Não Resposta, Antes e Depois do Ajuste para Pós-Estratificação 216 17.1 Base Amostral com Medidas Diferentes de Ordem de Tamanho Dentro dos Estratos 236 17.2 Base Amostral para 10 Escolas e Ponderações de Desenho Associadas se Selecionadas 237 17.3 Base Amostral Ajustada 237 17.4 Base Amostral 239 17.5 Base Amostral Modificada 240 IV.B.1 Dados de Sentz Baseados no Censo 245 IV.B.2 Comparação de Estimativas Calculadas com e sem os Pesos para Valores do Censo, Começo do Ano Escolar, Amostra Aleatória Simples 246 IV.B.3 Comparação de Estimativas Calculadas com e sem os Pesos para Valores do Censo, Época da Avaliação, Amostra Aleatória Simples 247 IV.C.1 Cálculo da Variância Amostral Estimada de Usando a Amostragem Replicada 250 IV.C.2 Preparação para a Estimação de Variância Jackknife 253 IV.C.3 Estimação da Variância Amostral Usando Jackknifing 254 Abreviações GD Gerente de Dados IAEA Associação Internacional para a Avaliação do Aproveitamento Escolar ID Identificador IEA Associação Internacional para Avaliação do Aproveitamento Escolar ISCED Classificação Internacional Normalizada da Educação JK Jackknife MOS Medida do Tamanho NAMA Avaliação Nacional de Aproveitamento em Matemática CN Coordenador Nacional NSC Comissão Nacional de Coordenação PASW Software de Análise Preditiva PPS Probabilidade Proporcional ao Tamanho PSU Unidade Primária de Amostragem SAS Statistical Analysis Software SPSS Statistical Package for Social Sciences SRS Amostragem Aleatória Simples SUDAAN Análise de Dados da Pesquisa SYS Amostragem Aleatória Sistemática TIMSS Tendências Internacionais no Estudo de Matemática e Ciências Introdução A importância de se obterem evidências sobre a qualidade da educação, não apenas sobre o oferecimento desta, mas também sobre a aprendizagem dos alunos, tem sido tema relevante da política educa� cional em todo o mundo desde a década de 1990. Por um período con� siderável, evidências baseadas em percepções têm sugerido que mui� tas crianças se beneficiam pouco de sua experiência de escolaridade, principalmente se essa experiência se limitar apenas a alguns anos no sistema educacional. No entanto, os governos passaram a reconhecer a necessidade de informações mais objetivas e sistemáticas sobre o sucesso das escolas em transformar recursos em aprendizado dos alunos. Essas informações são necessárias para: (a) obter um retrato adequado dos ní� veis nacionais de aproveitamento escolar, especialmente em áreas curri� culares chave; (b) comparar os níveis de aproveitamento das subpopula� ções (por exemplo, meninos e meninas, grupos de linguagem ou grupos étnicos, alunos das áreas urbana e rural), que podem ter implicações significativas no julgamento da equidade do sistema; (c) acompanhar a evolução do aproveitamento ao longo do tempo; e (d) orientar decisões de política e de gestão relativas ao fornecimento de recursos. O procedimento utilizado para se avaliar o aprendizado dos alunos em nível de sistema é chamado avaliação nacional. Sua administração é 2  |  SÉ R IE Pe squis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal uma atividade complexa que exige uma variedade de habilidades e insta� lações. O componente central da avaliação é a coleta de dados nas esco� las, principalmente através de respostas aos instrumentos de avaliação e questionários de alunos em grupos. No entanto, as atividades começam bem antes da coleta de dados e se estendem muito além dela. É preciso indicar uma instituição responsável pela coleta de dados, tomar decisões sobre questões de política e de pesquisa a serem abordadas, e desenhar e fazer pilotos com os testes e questionários. Na preparação para o teste real, é necessário identificar populações e amostras de escolas e alunos, entrar em contato com as escolas e selecionar e treinar os administrado� res do teste. Após a aplicação do teste, será necessário muito tempo e esforço para preparar os dados para análise, realizar as análises, elaborar os relatórios e divulgar os resultados da avaliação. Embora muitos sistemas educacionais desde 1990 tenham se compro� metido em fazer uma avaliação nacional, poucos tiveram a ampla gama de competências técnicas necessárias para realizar as várias tarefas envol� vidas. Como resultado, muitas avaliações têm sido de qualidade insufi� ciente. A série Pesquisas do Banco Mundial sobre Avaliações de Desem� penho Educacional, da qual este é o Volume 3, foi planejada para abordar a questão da melhoria da qualidade das avaliações nacionais. A ênfase da série está em procedimentos de vanguarda que precisam ser seguidos na implementação dos componentes de uma avaliação para assegurar que os dados fornecidos sobre o aprendizado dos alunos sejam de alta qualidade e abordem as preocupações dos formuladores de políticas, responsáveis pela tomada de decisão e outros interessados no sistema educacional. O Volume 1, Avaliação dos níveis de desempenho educacional (Grea� ney e Kellaghan, 2008), descreve os principais conceitos e procedimen� tos de avaliação nacional e destina-se principalmente a formuladores de política e responsáveis pela tomada de decisão na área educacional. As questões abordadas são os propósitos e as características principais de uma avaliação nacional, os motivos para a realização de uma avaliação, e as principais decisões que precisam ser tomadas no desenho e planeja� mento de uma avaliação. Avaliações internacionais de aproveitamento dos alunos, que compartilham muitas características processuais com as avaliações nacionais (como amostragem, administração e métodos de análise), também são descritas. imp le mentaç ã o de uma ava liaç ã o nac ional de de se mpe nh o e du c ac i onal   |  3 Os Volumes 2, 3 e 4 fornecem detalhes passo a passo sobre o desenho e implementação de uma avaliação nacional e sobre a análise dos dados coletados na avaliação. Eles são destinados principalmente a equipes dos países em desenvolvimento responsáveis pela realização de uma avalia� ção. O Volume 2, Desenvolvimento de testes e questionários para avalia- ção do desempenho educacional (Anderson e Morgan, 2008), descreve o desenvolvimento de testes de aproveitamento, questionários e manuais de administração. O livro é acompanhado por um CD com itens de aproveitamento e de questionário extraídos de avaliações nacionais e internacionais e por um manual de administração do teste (em inglês). O Volume 4, Analyzing Data from a National Assessment of Educatio- nal Achievement (Cartwright e Shiel, a ser lançado), tem duas partes. A primeira tem por objetivo ajudar os analistas a realizar análises básicas dos dados coletados em uma avaliação nacional. A segunda metade do livro trata da geração de dados de nível de itens usando a teoria clássica dos testes e modelagem de resposta ao item. O livro é acompanhado de um CD, que possibilita aos usuários aplicar procedimentos estatísticos aos conjuntos de dados e verificar seus níveis de domínio em relação às soluções representadas em imagens de captura de tela no texto. O Volume 5, O uso dos resultados da avaliação do desempenho edu- cacional (Kellaghan, Greaney e Murray, 2009), o último livro da série, fornece diretrizes para descrever os resultados de uma avaliação na� cional, em relatórios técnicos, comunicados de imprensa, sessões in� formativas para formuladores de política e relatórios para professores e grupos de especialistas. Considera também como os resultados da avaliação nacional podem ser usados para orientar a política e gestão educacional, influenciar o currículo e práticas em sala de aula, e sensi� bilizar o público para questões educacionais. Seu conteúdo é de espe� cial relevância para: (a) os responsáveis pela preparação de relatórios de avaliação e pela comunicação e divulgação dos resultados; e (b) usuá­rios dos resultados (formuladores de política, gestores educacio� nais e funcionários das escolas). Este volume, Implementação de uma avaliação nacional de desempe- nho educacional, como os Volumes 2 e 4, concentra-se nas tarefas prá� ticas envolvidas na execução de um programa de avaliação nacional em grande escala. Tem quatro partes. A Parte I (“Logística de uma Avalia� 4  |  SÉ R IE Pe squis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal ção Nacional”) fornece uma visão geral das tarefas envolvidas: como as atividades essenciais de uma avaliação são organizadas e implementadas, quais recursos humanos e outros recursos são necessários e quais tarefas ocorrem após a coleta de dados. A Parte II (“Metodologia de Amostragem Escolar”) apresenta uma metodologia para a seleção de uma amostra de alunos que será represen� tativa dos alunos no sistema educacional. Serão descritos os princípios subjacentes à amostragem, bem como os procedimentos detalhados que podem ser implementados em praticamente qualquer avaliação nacio� nal. Os leitores podem acompanhar os procedimentos de amostragem trabalhando com um conjunto realista de materiais de treinamento e verificando seu progresso mediante a consulta de imagens capturadas de telas e arquivos de dados com soluções. Em www.elsevier.com.br/implementacao você encontrará arquivos de dados de suporte. Para reproduzir as várias etapas da avaliação de demons� tração, o usuário precisará do programa SPSS (Statistical Package for the Social Sciences – Pacote Estatístico para as Ciências Sociais),1 incluindo o módulo de Amostras Complexas, e o WesVar de Westat. O SPSS também é usado para algumas seções de análise no Volume 4. O software Wes-Var e seu manual de usuário podem ser obtidos no website do Westat.2 Uma descrição de como é definida a população de interesse é seguida por todos os passos envolvidos na criação de uma base de amostragem. Será apresentado o caso de um pequeno país fictício (Sentz), cujos dados serão utilizados para os vários exercícios. Essa parte do volume termi� na com uma descrição dos conceitos básicos e métodos de amostragem probabilística. A Parte III (“Preparação, Validação e Gerenciamento de Dados”) descreve os procedimentos de limpeza e gerenciamento de dados co� letados em uma avaliação nacional. Esses procedimentos são elementos essenciais de um processo de garantia de qualidade. Também descreve como exportar e importar dados (isto é, tornar os dados disponíveis em um formato apropriado para usuários de softwares estatísticos como Mi� crosoft Access, SPSS, WesVar e Microsoft Excel). O principal objetivo dessa seção é criar condições para que a equipe de avaliação nacional desenvolva e implemente um conjunto sistemático de procedimentos para garantir que os dados da avaliação sejam corretos e confiáveis. imp le mentaç ã o de uma ava liaç ã o nac ional de de se mpe nh o e du c ac i onal   |  5 Após a amostragem, aplicação do teste e registro e limpeza de dados, o próximo passo consiste em preparar os dados para análise. A Parte IV (“Ponderação, Estimação e Erro Amostral”) descreve uma série de passos importantes na pré-análise, incluindo a produção de estimativas, com� putação e utilização de pesos na pesquisa, além de estimativas de com� putação. Os exercícios desenvolvem o trabalho realizado anteriormente sobre o conjunto de dados Sentz (na Parte II). A seção que aborda cál� culo de estimativas descreve como elas e seus erros de amostragem são calculados a partir de amostras simples e complexas, tais como aquelas preparadas para Sentz. Por fim, serão abordados vários tópicos especiais, incluindo não resposta e questões relativas às escolas superdimensiona� das e subdimensionadas. Os procedimentos descritos neste volume (e nos Volumes 2 e 4) têm por objetivo garantir a qualidade de uma avaliação nacional. A impor� tância da adoção de procedimentos adequados é reiterada na Parte I, na seção que trata dos diversos componentes de uma avaliação: yyRecrutamento de uma equipe competente para realizar a avaliação. yyDecisão sobre pessoal, instalações e equipamentos necessários para realizar um estudo em grande escala. yyMonitoramento da qualidade dos itens produzidos por redatores de itens. yyTreinamento e monitoramento do desempenho dos indivíduos que coletam dados nas escolas. yyMonitoramento da precisão da pontuação e registro dos dados. yyGarantia de que as análises estatísticas dos dados coletados na avalia� ção sejam pertinentes e abordem questões que interessem aos formu� ladores de política, gestores educacionais e outras partes interessadas. A qualidade de alguns componentes de uma avaliação nacional é um tema muitas vezes negligenciado, provavelmente na suposição de que as pessoas responsáveis pelos componentes tenham a experiência ne� cessária. No entanto, esse pressuposto talvez nem sempre corresponda à realidade. Por exemplo, embora se possa supor que os indivíduos com experiência no desenvolvimento de exames públicos teriam as compe� tências necessárias para uma avaliação nacional, são necessárias abor� 6  |  SÉ R IE Pe squis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal dagens muito diferentes no desenvolvimento de testes para seleção de es­tudantes e no desenvolvimento de testes para descrever os níveis de aproveitamento do sistema educacional. Quaisquer que sejam os an� tecedentes, conhecimentos ou habilidades das pessoas que realizam uma avaliação nacional, há necessidade de estudos ou opiniões, realizados talvez por um consultor externo, para avaliar a qualidade de alguns dos componentes da avaliação (por exemplo, os testes utilizados para avaliar o desempenho dos alunos ou a adequação dos procedimentos de amos� tragem que foram usados). A garantia de qualidade requer um conjunto planejado e sistemá� tico de ações para apresentar evidências de que uma avaliação nacio� nal foi implementada em elevado padrão profissional. No Capítulo 5 do Volume 1, Avaliação dos níveis de desempenho educacional, é identificada uma série de questões relevantes para a confiança que as partes interessadas podem ter nos resultados de uma avaliação. São identificadas atividades para os cinco componentes de uma avalia� ção nacional (desenho, implementação, análise de dados, elaboração de relatórios e divulgação e utilização dos resultados) e são feitas sugestões de atividades que podem aumentar o nível de confiança. Também são identificados erros comuns em avaliações nacionais para cada componente. As questões poderão ser usadas para compor uma lista de verificação a ser usada por uma equipe de avaliação nacional para avaliar a qualidade de seu trabalho. Medidas específicas de garantia da qualidade geralmente são cons� truídas em vários componentes de uma avaliação nacional: desenvol� vimento de testes, aplicação de testes nas escolas, pontuação dos itens do teste, entrada de dados e limpeza de dados. Medidas para treinar desenvolvedores de testes e responsáveis pela correção e para verificar a qualidade da pontuação estão descritas no Volume 2, Desenvolvimento de testes e questionários para avaliação do desempenho educacional. Ques� tões relacionadas com a garantia da qualidade da aplicação do teste nas escolas, que exige uma fiscalização especial, por ser uma área em que o distanciamento dos padrões pode ocorrer com facilidade, são abordadas no Capítulo 4 deste volume. Procedimentos para lidar com questões de qualidade no registro de dados, limpeza de dados e gerenciamento de dados são descritos na Parte III (Capítulos 9 a 13). imp le mentaç ã o de uma ava liaç ã o nac ional de de se mpe nh o e du c ac i onal   |  7 Embora existam padrões para a realização de uma avaliação nacional, os responsáveis pela implementação precisarão, em alguns momentos, usar seu discernimento (por exemplo, na amostragem e análise). Eles também podem, às vezes, solicitar aconselhamento de profissionais mais experientes para fazer seus julgamentos. E devem estar sempre prepara� dos para adaptar sua prática segundo a evolução dos conhecimentos e da tecnologia que inevitavelmente ocorrerá nos próximos anos. Notas 1. Em 2009-10, o software SPSS era chamado de Predictive Analytic Software (PASW) [software de análise preditiva]. 2. O site é http://www.westat.com/westat/statistical_software/WesVar/index.cfm. PA R TE I Logística de uma avaliação nacional Sarah J. Howie e Sylvia Acana A Parte I fornece uma visão geral das tarefas en� volvidas na implementação de uma avaliação nacional. Descreve o importante papel que uma comissão nacional ou consultiva, com representantes dos principais interessados no sistema educacional, pode desempenhar na formulação, planejamento e implementação de uma avaliação e na comunicação de seus resultados. São identificadas as pessoas e as instalações necessárias para realizar uma avaliação e são descritas as atividades envolvidas na preparação para uma avaliação, na administração das escolas e após a administração. Será necessário fazer escolhas em momentos distintos na avaliação, dependendo das circunstâncias locais, mas os procedimentos adotados precisarão sempre atender aos padrões básicos. Caso contrário, a qualidade da avaliação e, portanto, o valor de seus resultados ficarão comprometidos. Muitos dos tópicos abordados na Parte I serão apresentados mais de� talhadamente em partes posteriores deste volume, bem como em outros volumes da série. CAP Í TULO 1 PREPARAÇÃO PARA A AVALIAÇÃO NACIONAL: DESENHO E PLANEJAMENTO E ste capítulo descreve as principais questões a serem consideradas no desenho de uma ava� liação nacional. Apresenta a importância da criação de uma comissão para supervisionar o desenho e a implemen� tação, identifica a seguir questões essenciais do planejamento e conclui com uma descrição de questões orçamentárias. Comissão Nacional de Coordenação (CNC) Em muitas, embora não em todas, avaliações nacionais, o Ministério da Educação indica uma Comissão Nacional de Coordenação (CNC), ou Comissão Consultiva, a fim de supervisionar o desenho e a implementa� ção da avaliação. Essa comissão apresenta diversas vantagens. Primeiro, pode ajudar a assegurar que a avaliação tenha status e credibilidade aos olhos dos órgãos públicos, instituições de treinamento de professores, organizações que representam professores e de outras partes interessa� das na comunidade. Segundo, pode contribuir para a identificação das principais questões de política a serem abordadas na avaliação. Terceiro, pode servir como canal de comunicação entre as partes interessadas da área educacional, uma consideração importante tanto para o desenho de 12  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal uma avaliação como para o aumento da probabilidade de que seus resul� tados tenham um papel na formação de políticas e tomada de decisões. Quarto, uma CNC pode ajudar a solucionar problemas administrativos e financeiros que surgirem durante a implementação da avaliação. Por fim, a comissão pode ter um papel importante para lidar com possíveis reações negativas dos políticos à avaliação, os quais podem temer que a publicação dos resultados provoque o debate político que refletirá em seu mandato, ou dos representantes dos professores, que podem perce� ber a avaliação como uma nova forma de responsabilização. A composição de uma CNC variará conforme o sistema educacional, dependendo da organização e estrutura de poder do sistema. Prevê-se que a comissão tenha representantes do Ministério da Educação (espe� cialmente analistas de política e corpos curriculares); da agência que im� plementa a avaliação; de professores, formadores de professores e pais; e dos principais grupos étnicos, religiosos e linguísticos (ver o Volume 1, Avaliação dos níveis de desempenho educacional). O tamanho da comissão deve refletir a necessidade de equilíbrio entre o número mínimo das partes interessadas que devem ser representadas e os custos e esforços logísticos necessários para se organizarem reuniões da co� missão. Este último aspecto é especialmente relevante em um país no qual os membros da comissão precisam viajar longas distâncias e pernoitar no local para participar das reuniões. Como observado no Volume 1, a CNC deve realizar um número limitado de reuniões. A necessidade de reuniões tende a ser maior nos estágios inicial e final da avaliação. Desenho de uma avaliação nacional A equipe indicada para realizar uma avaliação deve, desde o início, trabalhar em estreita colaboração com a CNC, se uma comissão tiver sido criada. A equipe de avaliação nacional e a CNC, juntamente com a agência financiadora (geralmente o Ministério da Educação), devem chegar a um acordo quanto aos objetivos, desenho geral e escopo da avaliação, levando em conta os recursos disponíveis, incluindo pessoal e orçamento. O esboço do desenho pode ser confiado à CNC ou à equipe de avaliação nacional. O desenho deve abranger as seguintes decisões: imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  13 yyIndicar as perguntas sobre política a serem abordadas. yyEspecificar a população-alvo a ser avaliada. yyIndicar se a avaliação deve basear-se em uma amostra ou na popula� ção-alvo inteira (censo). yyIdentificar as áreas ou os constructos curriculares a serem avaliados. yyDescrever os instrumentos de coleta de dados (testes e questionários), juntamente com os métodos a serem usados para coletar os dados. yyAtribuir responsabilidade pelo desenvolvimento de testes e questio� nários. yyEspecificar as perguntas específicas a serem abordadas nas análises. yyAtribuir responsabilidade para a preparação de relatórios finais e ou� tros documentos (por exemplo, relatórios para os formuladores de política) e decidir o número de cópias de cada relatório. yyEspecificar atividades de divulgação para garantir que o sistema educa� cional seja informado – e se beneficie – dos resultados da avaliação. Uma questão que deve ser levada em conta no desenho de um estudo é a necessidade de se monitorar a mudança ao longo do tempo, repetindo a avaliação em uma data futura. Além disso, é importante considerar se a avaliação será realizada em mais de uma série escolar para fornecer infor� mações sobre aproveitamento em níveis diferentes do sistema educacional. O orçamento alocado e os serviços de apoio que podem ser fornecidos sem nenhum custo adicional também devem ser levados em conta. Planejamento Um plano detalhado para a implementação da avaliação nacional deve ser formulado com base no desenho geral e refleti-lo. O plano do projeto é um documento que apresenta as atividades, tarefas, duração, crono� gramas e pessoas envolvidas. O plano deve: yyEspecificar o escopo da avaliação nacional. yyIdentificar as principais atividades e tarefas. yyAlocar recursos para cada atividade em termos dos indivíduos res� ponsáveis. yyDesenvolver uma programação com datas de início e de conclusão para cada atividade. 14  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal O plano deve ser uma referência para o projeto inteiro e uma base para monitorar seu progresso. A CNC pode, por exemplo, usar o plano para ve­ rificar discrepâncias entre os prazos realmente cumpridos e os prazos esti� pulados no planejamento, o que ajudaria na administração da avaliação. A Tabela 1.1 apresenta o exemplo de uma seção do plano de projeto desenvolvido para a África do Sul. O plano geral, que abrangeu um número muito maior de atividades do que as apresentadas aqui, referiu-se ao perío� do compreendido entre o início de 2004 até dezembro de 2006. O plano para a avaliação nacional deve levar em conta a programação para a liberação dos recursos. Não é recomendável recrutar pessoal e contratar serviços e equipamentos até estarem assegurados os recursos financeiros para os custos recorrentes e de capital. Muitos planos de avaliação nacional têm estimativas de tempo impra� ticáveis. Em países em desenvolvimento, em especial, uma grande va� riedade de problemas deve ser prevista quanto a atrasos na contratação de pessoal; identificação de especialistas qualificados; obtenção de dados atualizados e corretos sobre escolas e número de alunos; treinamento de funcionários locais em tarefas específicas (por exemplo, redação de itens, amostragem, análise estatística); realização de pilotos e desenvolvimento de versões finais de testes de aproveitamento; obtenção de permissão para administrar testes e questionários; impressão de materiais; e limpe� za de dados. As estimativas de tempo baseadas em estudos internacio� nais sobre aproveitamento ou estudos em países industrializados tendem a ser inadequadas, porque esses estudos normalmente não encontram problemas como dificuldades nos sistemas de comunicação e transporte, interrupções no fornecimento de energia elétrica e práticas e restrições de trabalho que limitam o tempo que os indivíduos podem dedicar às tarefas de avaliação nacional. Elaboração de orçamento É fundamental ter um orçamento realista e obter financiamento suficiente para avaliações em larga escala. Diversos esforços de avaliação nacional fa� lharam por causa de projeções orçamentárias insuficientes. Como não exis� te nenhuma fórmula pronta para estimar o custo de uma avaliação nacional, imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  15 a equipe de avaliação nacional pode começar com um orçamento inicial baseado nas várias fases do projeto e, a seguir, aprimorá-lo. O desenho da avaliação deve refletir o orçamento disponível. Tabela 1.1 Trecho de um Plano de Projeto de Avaliação Nacional Horas de Atividade principal trabalho Data de Data e subatividades Duração necessárias início de fim Pessoa Planejar e conduzir reunião 1 mês 40 05/01/04 05/02/04 com a CNC Identificar e entrar em contato com os participantes Determinar uma data apropriada para a reunião Providenciar transporte, local, hospedagem, reunião e merenda Enviar os convites Especificar um contexto de 1 mês 120 05/01/04 05/02/04 avaliação Selecionar amostra de escolas 2 meses 160 05/02/04 05/04/04 Especificar a população-alvo Entrar em contato com o Departamento Educacional para obter dados da escola Preparar procedimentos de amostragem da escola e entre escolas Selecionar a amostra Finalizar a amostra Desenvolver instrumentos 4 meses 640 20/02/04 30/06/04 Desenvolver, editar e finalizar itens e guias de pontuação Identificar redatores de item Indicar redatores de item Treinar redatores de item Fazer um esboço dos itens do teste, itens da amostra e manual de administração Revisar itens do teste 16  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal Tabela 1.1 Trecho de um Plano de Projeto de Avaliação Nacional (continuação) Horas de Atividade principal trabalho Data de Data e subatividades Duração necessárias início de fim Pessoa Conduzir o piloto dos itens do teste Desenvolver guias de pontuação Pontuar os itens do teste Após a revisão formal, selecionar o conjunto final de itens do teste e itens da amostra Terminar a arte-final e o layout do teste Estimar o tempo permitido para cada teste Preparar o manual de administração e guias de pontuação Fonte: Adaptado de Howie (2004). Alternativamente, dado um orçamento predeterminado, podem ser feitas adaptações a um desenho inicial. Se possível, especialistas em ava� liação e os responsáveis pelas decisões financeiras devem ser envolvidos nas discussões orçamentárias. Ao desenvolver um orçamento, todas as principais atividades incluí­ das no desenho da avaliação devem ser listadas, e os cronogramas e cus� tos devem ser alocados a cada item (atividade e subatividade ou tarefa) (Greaney e Kellaghan, 2008; Ilon, 1996). Esse processo pode levar vá� rios dias. As circunstâncias e os custos variarão extensamente de país para país. As tarifas nacionais de pagamento para tipos específicos de tarefa são normalmente levadas em consideração. Em alguns exemplos, será necessário fazer ajustes para refletir a escassez de aptidões em áreas profissionais-chave (tais como a análise estatística). Cumpre fazer uma provisão orçamentária para prováveis aumentos salariais durante o tem� po de vigência da avaliação (normalmente, de dois a três anos), para inflação e para eventos inesperados (contingências). imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  17 Lista de verificação de financiamento A lista de verificação apresentada na Tabela 1.2 apresenta os princi� pais itens de despesa normalmente associados a uma avaliação nacional. Como as circunstâncias variarão de país para país, alguns itens talvez não sejam relevantes para algumas avaliações. Tabela 1.2 Lista de Verificação para Financiamento da Avaliação Nacional Fonte de financiamento Fundos destinados Outros Não Itens à avaliação nacional fundos financiado Pessoal Instalações e equipamentos Desenho do contexto de avaliação Desenho e desenvolvimento do instrumento Treinamento (por exemplo, redação de itens, coleta de dados) Teste-piloto Tradução Impressão Comissão nacional de coordenação Viagens locais (até escolas) Coleta de dados Pontuação de dados (aberta) Registro de dados Processamento e limpeza de dados Análise de dados Elaboração de relatórios Impressão de relatórios Comunicado de imprensa e publicidade Conferência sobre resultados Materiais de consumo Comunicações Atividades subsequentes Fonte: Compilação dos autores. 18  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal Em alguns países, a coleta de dados para uma avaliação nacional con� sumiu 50% do orçamento, enquanto em outro país o registro dos dados usou aproximadamente 20% do orçamento. Os custos a serem arcados pelos órgãos públicos devem ser estabelecidos no início. Por exemplo, o Ministério da Educação pode arcar com os custos do tempo gasto pelos inspetores escolares na administração dos instrumentos da avaliação ou um departamento de censo nacional pode prestar os serviços de um pe� rito em amostragem. CAP Í TULO 2 Pessoal e instalações necessárias em uma avaliação nacional S e partirmos do princípio de que a razão para a realização de uma avaliação nacional é o fornecimento de informações válidas sobre o aproveitamento dos alunos no sistema educacional, as decisões sobre o pessoal que realizará a avaliação e as instalações necessárias são fatores cruciais. É possível prever todos os tipos de problemas se o pessoal não for competente ou se as instalações forem inadequadas. Por exemplo: o teste utilizado talvez não forneça informações válidas e confiáveis sobre o desempenho dos alunos na disciplina do currículo ou constructo a ser avaliado; a amostra selecionada talvez não represente adequadamente a população-alvo; os alunos que respondem aos testes talvez não sejam os selecionados; os aplicadores dos testes talvez não sigam exatamente as orientações para a aplicação dos testes; os dados coletados nas escolas talvez não sejam corretamente inseridos no banco de dados; a análise estatística dos dados talvez não seja feita de modo apropriado; talvez se chegue a conclusões equivocadas (por exemplo, sobre o nexo de causali� dade); e os relatórios talvez forneçam informações inadequadas sobre os aspectos técnicos do estudo, conteúdo dos testes de desempenho, mé� todos utilizados ou erro e tendenciosidade nas estimativas. Este capítulo descreve o pessoal, as instalações e os equipamentos básicos necessários em uma avaliação nacional para ajudar a prevenir esses problemas, con� 20  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal tribuindo, assim, para a qualidade do exercício. O planejamento para o controle da qualidade precisa começar pelo planejamento do projeto. Requisitos de pessoal Como princípio geral, o pessoal não precisa apenas ter aptidões espe� cializadas; deve também estar comprometido e de mente aberta, atento aos detalhes e disposto a trabalhar horas adicionais além do horário de trabalho normal. Do ponto de vista da adequação técnica e eficiência, esses atributos são mais importantes que o tempo de serviço em um ór� gão público ou em uma instituição acadêmica. O nível de financiamento fornecido para a avaliação nacional deter� minará, em grande medida, o número de funcionários-chave e seu nível de aptidão. A proposta de projeto ou planejamento pode ajudar a escla� recer os papéis e funções dos membros da equipe. Assim, a identificação da população-alvo (por exemplo, série escolar) e das áreas curriculares ou constructos a serem avaliados indicará o conhecimento e as aptidões que serão exigidas dos redatores de itens, enquanto a decisão de basear a avaliação em uma amostra, e não em toda a população, indicará a neces� sidade de uma pessoa especializada em amostragem de probabilidade. Alguns membros da equipe (por exemplo, redatores de item, aplica� dores de testes ou pessoal para registro dos dados) serão empregados temporariamente em várias etapas. Esta seção descreve o papel de fun� cionários-chave ou essenciais (por exemplo, o coordenador nacional), bem como os papéis de pessoal adicional, tais como administradores de testes, necessários para realizar a avaliação. Coordenador nacional O Coordenador Nacional (CN)1 deve fornecer orientações gerais e lide� rança em todos os estágios de planejamento e implementação da avalia� ção nacional. O CN precisa tomar providências para que a avaliação yyAborde as questões fundamentais de políticas solicitadas pelo minis� tério. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  21 yySeja tecnicamente adequada. yySeja realizada dentro do prazo e do orçamento. O CN deve ser um indivíduo respeitado na comunidade educacional e ter acesso aos principais interessados ligados à educação e às principais fon� tes de financiamento. Ele deve ser capaz de enxergar o “panorama geral”. Os CNs são recrutados em bancas de exames públicos, ministérios nacionais de educação, universidades e instituições de pesquisa. Os CNs devem estar familiarizados com os conceitos-chave da medição educa� cional e com o currículo ou construto a ser avaliado. Devem ter profun� da experiência na elaboração de testes, bem como no gerenciamento de projetos e na gestão de grandes grupos de pessoas. Devem ter forte capacidade de liderança e boas aptidões de comunicação. Entre algumas das principais responsabilidades do CN, podem estar: yyIntercâmbio com organizações e organismos nacionais envolvidos com educação e elaboração de relatórios para uma comissão de coor� denação nacional. yyAdministração do pessoal e orçamento em cada fase da avaliação. yyFornecimento de treinamento e liderança para os redatores de itens. yyRevisão de testes, questionários e outros materiais correlatos para garantir que os conteúdos sejam adequados e livres de preconceitos (por exemplo, relativos a homens e mulheres, alunos de áreas urba� nas e rurais ou pertencimento a um grupo étnico). yyFornecimento de aconselhamento sobre a interpretação dos resulta� dos dos testes. yyCoordenação e garantia da qualidade das publicações que seguem a avaliação nacional. yyGestão das relações públicas, incluindo a realização de seminários de sensibilização e conscientização durante e após a avaliação nacional. Coordenador nacional assistente Talvez seja necessária a presença de um coordenador nacional assistente, dependendo da estrutura do sistema educacional, do âmbito da avalia� 22  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal ção, das exigências feitas sobre o tempo do CN e da disponibilidade de recursos financeiros. O CN assistente deve ter muitos dos atributos exigidos do CN e reportar-se a ele e atuar como seu substituto, quando necessário. Ele pode ser o principal responsável por aspectos específicos da avaliação, como a elaboração do teste ou o gerenciamento de dados, ou concentrar-se em questões operacionais e de logística. É essencial que tenha conhecimento detalhado sobre o plano de implementação da avaliação nacional como um todo. Coordenadores regionais Em países grandes com sistemas administrativos regionais, recomen­ da-se que a equipe de avaliação nacional leve em conta a nomeação de coor� denadores regionais para organizar os testes e trabalhar em colaboração com as escolas e os administradores de testes. Esses coordenadores seriam responsáveis pela alocação e a entrega de materiais aos administradores de testes e por verificar o conteúdo das caixas provenientes do escritório central. Eles também seriam responsáveis pelos materiais retornados das escolas após a aplicação dos testes e questionários. De acordo com esse sistema, o escritório do coordenador se tornaria o escritório regional e local de armazenamento dos instrumentos de avaliação. Redatores de itens A experiência sugere que os professores que atuam em sala de aula e têm bom domínio do currículo são redatores de itens competentes. É uma boa ideia garantir que os professores sejam provenientes de diferentes tipos de escolas, incluindo escolas em áreas rurais e remotas. Acadêmi� cos, funcionários responsáveis por exames públicos e inspetores escola� res têm sido utilizados para elaborar itens-piloto para algumas avaliações nacionais. Todavia, a experiência nem sempre tem sido positiva, porque essas pessoas muitas vezes não têm contato com a realidade da sala de aula e podem ter expectativas altas sobre os padrões de aproveitamento dos alunos que não correspondam à realidade. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  23 Os redatores de itens devem ser treinados em como analisar o currí� culo, desenvolver objetivos de aprendizagem, identificar os equívocos e erros mais comuns dos alunos, redigir itens que forneçam informações de diagnóstico e avaliar a qualidade dos itens do teste-piloto, tanto em termos de conteúdo quanto de propriedades estatísticas. Eles, normal� mente, são recrutados em regime de meio período. Após um período de experiência, é possível que o coordenador de elaboração de testes pre� cise dispensar os serviços de algumas pessoas que não consigam redigir itens adequados ou que sejam descuidadas em termos de atenção aos detalhes ou de arquivamento. Estatístico O estatístico é o responsável pela adequação técnica das análises esta� tísticas. Costuma estar envolvido no desenho de uma avaliação, no de� senvolvimento de um quadro de amostragem nacional e na escolha da amostra representativa utilizada na avaliação nacional. Também ajuda a interpretar os resultados do teste-piloto e do teste final, pode estar en� volvido na construção do banco de dados e orienta ou realiza análises dos resultados da avaliação. O Volume 4 (a ser publicado) descreve muitas das tarefas estatísticas envolvidas em uma avaliação. O estatístico deve ter competência para utilizar o SPSS (Statistical Package for the Social Sciences), WesVar, Excel e Access. É possível que os serviços de um estatístico não sejam necessários em tempo integral. A carga de trabalho de estatística tende a ser pesada na fase inicial, quando o foco recai sobre o desenho e, em particular, sobre a amostragem e o piloto dos instrumentos, e novamente após a coleta e a limpeza dos dados. Entre as fontes de estatísticos competentes, estão universidades e alguns departamentos governamentais. O escritório do censo nacional pode ser uma boa fonte de recrutamento. Em alguns casos, pode ser necessário o recrutamento dos serviços de um estatístico externo e de fora do país, a fim de auxiliar na amostragem, análise e interpretação dos resultados. Se um estatístico externo for recrutado, espera-se que ajude a desenvolver a capacidade técnica da equipe de avaliação nacional. 24  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal Gerente de dados Em última análise, o gerente de dados (GD) tem uma dose considerável de responsabilidade pela qualidade dos dados utilizados nas análises. Em par� ticular, é responsável pela precisão dos dados, especificamente pela correta codificação, limpeza e gravação dos dados dos testes e questionários. Precisa ter conhecimentos práticos de Microsoft Word, Excel e Access, bem como de SPSS e WesVar. É ideal que também tenha experiência em gerencia� mento de dados, seja nomeado no início da avaliação e esteja envolvido em amostragem, desenho e codificação dos instrumentos. Com o consentimento do CN e juntamente com o estatístico da pesquisa que esteja trabalhando no desenho e na base de amostragem, o GD prepara o esquema de numeração e os procedimentos que serão utilizados durante a avaliação. Esse esquema deve ser aplicado a escolas, turmas e alunos. O esquema de numeração é um componente-chave do controle de qua� lidade. Ele é necessário para as atividades de amostragem e deve ser imple� mentado, o mais tardar, no momento da seleção da amostra. Cabe ao GD assegurar que os livretos, questionários e folhas de respostas (se houver) dos alunos possam ser identificados ao numerá-los antes de enviar os materiais para a administração. A numeração prévia é fundamental para monitorar as taxas de participação dos alunos e controlar a segurança dos materiais. Os números identificadores das escolas fornecidos pelo sistema de informação de gestão educacional podem ser usados para identificar as escolas selecionadas para uma avaliação. Uma alternativa é catalogar as escolas por meio de um sistema de numeração que identifique a pro� víncia ou região, escola e aluno. O Quadro 2.1 apresenta exemplos des� ses dois sistemas de numeração. O primeiro identifica individualmente cada escola; o segundo identifica não apenas as escolas individuais, mas também os estudantes que participam em cada escola. Um programador de computador, ou alguém com conhecimento e ex� periência suficientes na criação e gestão de bases de dados será necessário em momentos críticos durante a avaliação. Em alguns casos, a mesma pes� soa pode ser chamada a desempenhar vários papéis: programador e gerente de dados, ou gerente de dados e estatístico, dependendo da qualificação da mão de obra disponível localmente. A Parte III aborda a limpeza e gestão de dados, aptidões fundamentais que um GD precisa ter. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  25 QU ADRO 2. 1 Sistemas de Numeração Usados em Avaliações Nacionais yy A seguir, estão exemplos de sistemas de numeração utilizados em avaliações na- cionais: 1. Um número de quatro dígitos é usado. O primeiro dígito representa a região; o segundo, a zona; o terceiro, o distrito; e o último, a escola. O número 5342 refere- se à escola número 2 que está localizada no distrito 4, na zona 3, na região 5. 2. São utilizados seis dígitos. O primeiro dígito indica a província, os três dígitos seguin- tes indicam o número da escola e os dois últimos dígitos são o código de identificação do aluno. Por exemplo, aluno número 200537 refere-se a um aluno situado na provín- cia 2, na quinta escola da lista e o 37o na lista de chamada da turma. Fonte: Compilação dos autores. Designer gráfico Um designer gráfico é responsável por dar aparência profissional a todos os testes, questionários, manuais e relatórios associados com a avaliação nacional. Ele deve fornecer as representações pictóricas ligadas aos itens dos testes, bem como tabelas e gráficos e outros recursos visuais uti� lizados em relatórios. Algumas fontes de profissionais experientes são editoras e gráficas. Um designer gráfico deve estar disponível quando necessário e deve ser informado antecipadamente sobre a provável data de entrega do trabalho. O CD que acompanha o Volume 2, Desenvolvi- mento de testes e questionários para avaliação do desempenho educacional, contém exemplos de itens de teste bem apresentados com materiais de apoio pictóricos e gráficos. Tradutores Muitos países têm grandes populações de alunos que não têm o mesmo idioma e, nesse caso, os instrumentos talvez precisem ser traduzidos. É evidente que os tradutores devem ter um alto nível de competência nos idiomas envolvidos na tradução e devem estar familiarizados com o conteúdo do material que traduzem. É aconselhável ter um mínimo de 26  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal dois tradutores por idioma. Ambos podem traduzir o mesmo teste ao mesmo tempo, comparar os resultados e, onde surgirem inconsistên� cias, dialogar para chegarem a um acordo. Esse processo é denominado tradução simultânea. Uma alternativa é pedir a alguém para traduzir do primeiro idioma para o segundo e, em seguida, entregar o teste tra� duzido a outro tradutor, que, então, traduzirá do segundo idioma para o primeiro. As versões são comparadas e as discrepâncias são resolvidas por meio de diálogo. Esse processo é denominado retrotradução. Ape� sar dos melhores esforços dos tradutores, por várias razões, incluindo diferenças estruturais entre os idiomas, é muito difícil ou até mesmo impossível obter a equivalência perfeita entre um teste e sua versão traduzida. Os testes-piloto proporcionam uma boa oportunidade para a re� moção de termos ou palavras linguisticamente difíceis. Em Gana, por exemplo, pediu-se aos alunos que traduzissem algumas palavras (do inglês) para os idiomas locais durante um teste-piloto a fim de se iden� tificarem as palavras comumente mal interpretadas. De forma seme� lhante, crianças sul-africanas sublinharam palavras que não entende� ram durante a fase de testes-piloto. A informação ajudou a modificar itens para o estudo principal. Os serviços de tradutores são normal� mente necessários apenas durante a preparação da versão-piloto e a versão final de testes e questionários e quando os relatórios estão sendo preparados para publicação. Pessoa de contato da escola A pessoa de contato da escola, ou o coordenador, pode ser um professor ou orientador da escola, mas não deve estar ministrando aulas aos alu� nos selecionados para a avaliação. Frequentemente, o diretor da escola desempenha esse papel. A pessoa de contato da escola atua como ponto de contato para a equipe de avaliação nacional e ajuda a garantir que o pessoal da escola esteja ciente da avaliação. Escolhe o local do teste, de� fine horários e datas dos testes com os alunos e seus professores e recebe a equipe de avaliação no dia do teste. A pessoa de contato da escola deve coordenar o preenchimento dos formulários de acompanhamento dos imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  27 alunos e distribuir os questionários sobre os professores e sobre a escola. Ele é responsável por garantir que todos os materiais dos testes sejam recebidos e mantidos em segurança e, em seguida, devolvidos ao cen� tro nacional ou regional após a administração dos testes. Também deve procurar garantir que a sala de aula utilizada para a avaliação seja grande o suficiente para acomodar todos os alunos selecionados para realizar os testes, com espaço suficiente entre eles para impedir a comunicação com os outros e a cópia. A pessoa de contato da escola dá apoio à equipe de avaliação, organizando tudo o que for necessário para garantir o bom andamento da avaliação na escola. Pessoas encarregadas do registro de dados Algumas equipes de avaliação nacional utilizam profissionais de registro dos dados, para registrar ou captar os dados dos testes e questionários. As pessoas selecionadas para executar essa tarefa devem ter experiência e ser rápidas e precisas no registro de dados. O registro descuidado dos dados pode comprometer a qualidade da avaliação. Uma alternativa para o registro de dados pela própria instituição é a contratação dos serviços de uma agência externa. Nesse caso, um ou mais membros da equipe de avaliação devem verificar a qualidade do trabalho com regularidade. O controle de qualidade é essencial, seja o registro de dados realizado internamente ou por terceirizado. Scanners eletrônicos estão sendo cada vez mais utilizados para registrar dados de testes e questionários, que, em seguida, são arquivados para limpeza e análise de dados. Em alguns países, no entanto, o acesso a scanners ou a serviços de manutenção de backup necessários não está disponível. Aplicadores de testes Em alguns países, os professores de sala de aula aplicam os testes de ava� liação nacional em seus próprios alunos. Com elevada frequência, no en� tanto, professores diferentes daqueles que ensinam aos alunos que estão respondendo aos testes ou indivíduos externos à escola são encarregados 28  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal dessa tarefa. Práticas locais de trabalho, níveis de recompensa financeira e disponibilidade de pessoal desempenham papel importante na seleção dos aplicadores de testes. Entre o pessoal responsável pela aplicação de testes, estão professores (incluindo os professores aposentados), inspe� tores escolares, instrutores de professores, funcionários encarregados de exames públicos e estudantes universitários (especialmente alunos dos cursos de Educação e Psicologia). Em alguns países, a coleta de dados é encaminhada a uma instituição especializada nessa atividade. Os candi� datos a aplicar testes devem ter as seguintes características: yyBoa aptidão de organização e de comunicação. yyExperiência de trabalho em escolas. yyConfiabilidade, capacidade e disposição para seguir as instruções à risca. Algumas possíveis vantagens e desvantagens do uso de pessoal com formação diferente encontram-se resumidas na Tabela 2.1. O forneci� mento de orientações claras e treinamento intensivo pode ajudar a resol� ver as eventuais desvantagens existentes. Como a aplicação inadequada de testes costuma ser a fonte mais co� mum de erro em uma avaliação nacional, é preciso prestar atenção es� pecial às etapas de seleção, treinamento e supervisão dos aplicadores de testes e questionários. Acima de tudo, as pessoas designadas para essa tarefa devem ser confiáveis, responsáveis e comprometidas. Os aplicadores de testes devem yyGarantir que professores e outros funcionários não estejam presentes na sala quando os testes estiverem sendo aplicados. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  29 Tabela 2.1 Vantagens e Desvantagens de Categorias de Pessoal para a Aplicação de Testes Categoria Vantagens Desvantagens Professores Têm qualificação profissional Podem ter dificuldade para desaprender práticas usuais (por exemplo, ajudar os alunos) e aprender novas maneiras de lidar com os alunos Estão familiarizados com as Podem sentir que também estão crianças sendo avaliados e tentar ajudar as crianças (se a sua própria turma estiver sendo avaliada) Podem ser menos dispendiosos Pode ser difícil e dispendioso do que outros, especialmente organizá-los e treiná-los em termos de deslocamento e subsistência Costumam ser fluentes no idioma local ou da área Inspetores e Costumam ter experiência em Podem ser excessivamente instrutores de sala de aula autoritários professores Ficarão envolvidos como Podem sentir-se tentados a parceiros na avaliação nacional, o realizar atividades de inspeção, que pode deixá-los interessados além da aplicação de testes nos resultados Costumam conhecer a Costumam ser mais dispendiosos localização da maioria das do que os professores escolas Podem achar que não precisam seguir as instruções detalhadas no manual Estudantes Estão prontamente disponíveis, Podem não ser muito confiáveis universitários especialmente durante as férias escolares Costumam seguir instruções Talvez não tenham a autoridade necessária para lidar com os gerentes, diretores e outros Tendem a suportar condições São difíceis de responsabilizar adversas de viagem melhor do que os outros Muitas vezes querem ter uma Podem não ser fluentes no oportunidade de trabalho idioma local São relativamente menos Talvez não comuniquem um dispendiosos senso de respeito e autoridade diante dos alunos 30  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal TABELA 2.1 Vantagens e Desvantagens de Categorias de Pessoal para a Aplicação de Testes (continuação) Categoria Vantagens Desvantagens Pessoal de Têm qualificação profissional Podem ser muito autoritários, avaliação especialmente se estão ou banca acostumados a supervisionar examinadora exames públicos Reportam-se diretamente à Podem não ter experiência autoridade que os indicou recente em sala de aula e, portanto, não transmitir senso de autoridade diante dos alunos Tendem a ser confiáveis Podem não ter experiência no nível educacional específico que está sendo testado São bons em registrar dados São dispendiosos de manter em campo Tendem a fazer consultas antes Talvez não sejam fluentes no de tomar decisões importantes idioma local Fonte: Compilação dos autores. yyAssegurar que apenas os estudantes selecionados na amostra façam os testes. yyEstar familiarizados com as orientações de aplicação do teste e segui- las com rigor. yyDar instruções claras e em voz alta. yyAssegurar que os alunos entendam o procedimento para registrar suas respostas. yyRespeitar estritamente os limites de tempo. yyEvitar a cópia ou outra forma de comunicação entre os alunos. yyRecolher todos os materiais quando o teste tiver sido concluído. yyObservar e relatar quaisquer irregularidades antes, durante e após o teste. Pessoas para corrigir os testes Em muitas avaliações nacionais, as respostas a todos os itens ou à maio� ria deles são inseridas no sistema de registro de dados e corrigidas pelo imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  31 computador. Quando os itens são de resposta aberta, são necessários serviços de pessoas para corrigir os testes. As pessoas que corrigem os testes devem ter conhecimento adequado do assunto que está sendo testado. Em muitos países, são usados profes� sores para corrigir os testes. Entretanto, o recrutamento de professores pode ser difícil no período escolar, quando eles podem ter disponibili� dade apenas fora do horário escolar. Algumas avaliações nacionais uti� lizam pessoas da banca examinadora. Outras contratam os serviços de profissionais do Ministério da Educação ou de estudantes universitários. Independentemente de sua formação ou condição, as pessoas que corri� gem testes devem ser treinadas especificamente para corrigir os testes da avaliação nacional em questão. Um membro da equipe principal deve monitorar diariamente a qualidade da correção dos testes e dispensar os serviços de pessoas que não façam correções adequadas. Instalações As pessoas envolvidas na aplicação de uma avaliação nacional precisam de espaço para trabalhar e de uma gama de equipamentos. Espaço para o pessoal Os membros da equipe principal precisam de escritórios que sejam se� guros e equipados com computadores. É preciso espaço para os livros e arquivos. Os membros da equipe que trabalham em meio período tam� bém requerem algum espaço de escritório. Como as avaliações nacionais costumam prever vários encontros com especialistas no assunto, redato� res de itens e outros, recomenda-se acesso a uma sala que seja grande o suficiente para acomodar reuniões de grupo. Espaço para organizar e armazenar instrumentos É preciso atender adequadamente aos requisitos de espaço associados com a embalagem dos testes para distribuição às escolas. Algumas ava� 32  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal liações nacionais alugam um auditório ou outro espaço em uma insti� tuição de ensino. Os requisitos de espaço podem ser significativos (ver Quadro 2.2). Pode ser útil abrir pelo menos um pacote de livretos de testes da escola e outros materiais para se ter uma ideia de quanto espaço será necessário para todas as escolas na avaliação nacional. É necessário uma grande sala de armazenamento antes e depois da correção, registro de dados e limpeza de dados. Se possível, dedicar uma sala específica ao registro dos dados. Essa sala deve fornecer espaço ade� quado de trabalho, incluindo o espaço do computador, para cada um dos responsáveis por registrar os dados. Será preciso um espaço adicional para armazenar e organizar os livretos que estão sendo processados. Os livretos de testes e questionários devem estar facilmente acessíveis por� que talvez seja preciso verificar alguns itens. QU ADRO 2. 2 Necessidades de Armazenamento As dimensões dos livretos de testes e questionários afetam a altura e a profundidade das estantes usadas para o armazenamento. Os livretos de testes são geralmente impressos em papel tamanho A4 (210 × 297 milímetros ou 8,27 × 11,69 polegadas). Na maioria das vezes, os livretos são agrupados por turma e por escola. Se um livreto de testes de determinada matéria tem 1,5 milímetro de espessura e a amostra na- cional inclui 5 mil alunos, é necessário haver um mínimo de 7,5 metros de espaço de armazenamento. Será necessário espaço adicional de armazenamento para livretos de testes em outras matérias curriculares, para questionários de alunos e de professo- res, e para manuais de administração e dos coordenadores da escola, bem como para correspondência, material de embalagem e outros documentos relacionados com a avaliação nacional. Fonte: Compilação dos autores. Equipamentos e suprimentos A quantidade e a natureza dos equipamentos e materiais que são ne� cessários variam de acordo com a dimensão da avaliação nacional e das condições locais. O equipamento básico essencial inclui: imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  33 yyTelefones, mesas, cadeiras, escaninhos, estantes, mesas de embala� gem, armários e carrinhos para transporte de instrumentos. yyMaterial de escritório (folhas de papel, blocos de papel, cartuchos de impressão, discos, fitas, furadores, tesouras, grampeadores, canetas, lá� pis, fita adesiva, barbante, etiquetas, cola e canetas de ponta grossa). yyPapel para embalagem e caixas ou sacos. yyVeículos para transporte dos testes e outros materiais, conforme ne� cessário. O orçamento disponível ajudará a determinar a quantidade e a qua� lidade do equipamento técnico. Algumas equipes de avaliação nacional (por exemplo, nos ministérios da educação ou em universidades) podem ter acesso a equipamentos eletrônicos como computadores, software (como Microsoft Office e SPSS), impressoras, fotocopiadoras, scanners e aparelhos de fax. Outras equipes podem ter de comprar ou alugar al� guns equipamentos. O software adequado pode aumentar a precisão e a eficiência, especialmente em áreas como registro e gravação de dados, limpeza e análise de dados, além do design gráfico. NOTA 1. Alguns países podem empregar termos diferentes. CAP Í TULO 3 Preparação para aplicação nas escolas A pós a seleção da amostra, o Coordenador Nacional deve informar às escolas que foram selecionadas para a avaliação nacional o mais rapidamente possível. Convidá-las a participar é um gesto de cortesia. A experiência reunida até hoje sugere que a grande maioria das escolas pú� blicas nos países em desenvolvimento está disposta a participar de uma avaliação nacional. Em alguns países, as escolas têm a opção de se recu� sar a participar. É provável que as escolas particulares (não incluídas em muitas avaliações nacionais) tenham essa opção. Em muitas jurisdições, a opção de recusa não é possível para as escolas públicas. Em alguns países, a permissão dos pais é necessária para que seus filhos participem de uma avaliação. Nesse caso, é preciso tomar providências para obter essa permissão. Pode ser suficiente solicitar aos pais para res� ponderem somente no caso de recusarem a permissão à participação de seus filhos. Se os pais não responderem, o consentimento está implícito. Este capítulo descreve as etapas preparatórias para a aplicação de uma avaliação nacional. Essas etapas envolvem o contato com as escolas, a organização de instrumentos e a preparação de escolas. Estabelecendo contato com as escolas Se necessário, deve-se obter a autorização do Ministério da Educação ou da autoridade regional de educação antes de estabelecer contato com as 36  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal escolas. Quando é feito contato com as escolas e elas são convidadas a participar, recomenda-se pedir que confirmem o recebimento do convi� te. A comunicação inicial deve ser acompanhada de forma regular até o dia anterior ao teste. A escola deve ser solicitada a indicar uma pessoa de contato – pessoa de contato da escola – ou coordenador para a avaliação. A equipe de avaliação nacional deve esforçar-se para garantir um bom relacionamento com as autoridades locais de educação, caso existam. Comunicação com as escolas Muitas escolas, sobretudo no nível primário, preferem receber cartas, que podem ser arquivadas. Em Uganda, a agência nacional de avaliação envia cartas a todas as escolas selecionadas, bem como para cada escritório dis� trital de educação. Esse passo é seguido por telefonemas (principalmente por meio de telefones celulares) e mensagens entregues por bodaboda (ci� clistas e motociclistas contratados para transportar pessoas ou bagagem). A primeira comunicação deve informar às escolas que elas foram sele� cionadas para participar de uma avaliação nacional (ver Quadro 3.1). A comunicação também deve incluir as datas preliminares para a aplicação do teste. Um lembrete que deve chegar às escolas cerca de um mês antes da aplicação de teste deve informar a data exata e mais detalhes sobre o exercício de avaliação. É aconselhável confirmar a participação da escola duas semanas antes do teste e, mais uma vez, na véspera do evento. A equipe de avaliação nacional deve manter uma lista atualizada ou documento de acompanhamento das escolas participantes para ajudar a monitorar o progresso do trabalho de campo. O formulário fornecerá informações sobre as escolas, tais como nome da escola, tamanho e in� formações de contato (ver Tabela 3.1). Substituição de escolas Na medida do possível, após as escolas terem sido selecionadas, recomen� da-se que não sejam alteradas ou substituídas. Apesar dos melhores es� forços de uma equipe de avaliação nacional, contudo, pode ser necessário realizar algumas substituições de escolas. Caso seja possível prever a ne� cessidade de substituir escolas, essa possibilidade deve ser discutida com imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  37 o estatístico de amostragem para que sejam empregados procedimentos adequados de amostragem e as escolas de reposição sejam adequadamente selecionadas. Em hipótese alguma a seleção de escolas substitutas deve ser deixada a critério do administrador do teste ou de funcionário da escola local. Esse tópico é discutido na Parte II deste volume. QU ADRO 3. 1 Exemplo de uma Carta para as Escolas Prezado(a) _____________, Estou escrevendo para solicitar seu apoio para a Avaliação Nacional de Aproveita- mento em Matemática 2012 (NAMA), que está sendo realizada pelo Centro Nacional de Pesquisas Educacionais. Como é de seu conhecimento, o nível de aproveitamento dos alunos em matemática no sistema educacional é avaliado a cada cinco anos. Em outubro de 2012, serão co- letados dados de alunos da 6a série em 160 escolas de todo o país. Os alunos serão testados por dois períodos de 1 hora durante a terceira semana de outubro. Sua esco- la foi selecionada aleatoriamente para participar desse importante estudo nacional. Seu inspetor escolar local irá visitá-lo nos próximos dois meses para responder a quais- quer perguntas que o(a) sr.(a). queira fazer e para discutir a participação de sua escola. As datas exatas dos testes serão confirmadas pela rádio local. Um representante do Centro Nacional de Pesquisas Educacionais aplicará o teste e um pequeno questio- nário aos alunos e também solicitará que você e o professor da turma respondam a questionários. Todas as informações coletadas em sua escola serão tratadas com sigilo, e os resultados de alunos ou escolas individuais não serão revelados. As infor- mações coletadas serão utilizadas pelo Ministério da Educação para ajudar a identi- ficar os pontos fortes e fracos de aprendizado no sistema. O ministério solicita essas informações para ajudar a melhorar a qualidade do aprendizado de nossos alunos, e o NAMA conta com o apoio e a aprovação do Sindicato Nacional de Professores. O(A) sr.(a). não precisa fazer preparativos especiais para a avaliação, mas, por favor, in- forme os alunos uma semana antes da avaliação. Os alunos não precisam preparar-se para o teste. Cada aluno receberá um lápis para responder ao teste e ao questionário, e será autorizado a ficar com o lápis após a conclusão da avaliação. Sinceramente, Diretor Centro Nacional de Pesquisas Educacionais Fonte: Compilação dos autores. Tabela 3.1 Avaliação Nacional: Formulário de Acompanhamento Escolar Nome, endereço, Nome e número de Status Data de Data de Prioridade ID da número de telefone telefone do coorde- Tamanho (Participante ou envio dos recebimento Data da escolaa Escola da escola nador da escola da escola não participante) materiais dos materiais do teste 1 1 1 1 1 1 1 1 1 2 2 2 2 2 Fonte: Adaptado de TIMSS 1998c. a. Escolas selecionadas a partir da amostra são prioridade 1. Escolas de substituição são prioridade 2. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  39 Organização dos instrumentos O Coordenador Nacional ou a pessoa por ele indicada deve verificar a qualidade de todos os testes, questionários e manuais para garantir que: yyErros de ortografia e de digitação sejam removidos. yyO tamanho da fonte nos cadernos de teste seja grande o suficien� te. Fontes de tamanho grande são especialmente importantes para as crianças. Uma fonte tamanho 14 pontos é recomendada para as 3a e 4a séries, e uma fonte tamanho 12 é recomendada para as séries pos� teriores. Um conjunto de testes nacionais de aproveitamento utiliza fonte tamanho 16 para a 1a e 2a séries; fonte tamanho 13 para a 3a, 4a e 5a séries; e fonte tamanho 12 para a 6a série. Números nas perguntas ou nos itens devem usar uma fonte maior. yyO espaçamento adequado seja usado entre linhas de texto. yyOs diagramas sejam simples e claros. Sempre que possível, devem estar na mesma página que o texto a eles relacionado. Uma pessoa qualificada responsável pelo registro de dados que este� ja familiarizada com programas de computador como Microsoft Office deve digitar os testes, questionários e outros materiais. Secretárias de manuscritos utilizadas por bancas examinadoras têm experiência consi� derável, tanto na disposição das perguntas e dos gráficos que as acompa� nham quanto em garantir a segurança dos testes. Algumas medidas de economia de custos nessa fase incluem yyPreparação de cadernos de teste para caber em um número par de páginas. yyRevisão cuidadosa, especialmente das versões finais, o que pode aju� dar a evitar a reimpressão dos cadernos de testes por causa de erros gráficos ou tipográficos sérios. yyDar à gráfica tempo suficiente para imprimir os testes e questioná� rios, evitando o pagamento de horas extras quando o trabalho tem de ser concluído em um prazo relativamente curto ou quando a gráfica tem outras prioridades. Três pessoas independentes devem revisar as versões finais de todos os materiais utilizados em uma avaliação nacional. Esse sistema é pre� 40  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal ferível a pedir que o mesmo revisor examine os documentos três vezes. Quando as tiragens são pedidas, devem ser solicitadas cópias adicionais de cada pacote para as escolas, antecipando-se à necessidade de escolas substitutas e de alguma perda. O Volume 2 desta série, Desenvolvimento de testes e questionários para avaliação do desempenho educacional, tem uma extensa seção sobre layout e impressão. Preparação das escolas Líderes eficazes de equipes de avaliação nacional fazem um planejamen� to cuidadoso e antecipado da aplicação da avaliação nas escolas. Tam� bém tendem a delegar responsabilidade, mantendo o controle geral do processo de preparação através de medidas de controle de qualidade, em particular verificações aleatórias do trabalho dos outros. Embalagem Um conjunto de procedimentos de embalagem deve ser definido e do� cumentado. O Quadro 3.2 fornece um exemplo. É necessário fazer uma lista de verificação dos conteúdos da embalagem. Os funcionários da avaliação nacional devem assinar e datar as caixas apropriadas nas co� lunas “Embalado” e “Devolvido” na lista de verificação de conteúdos da embalagem. A pessoa de contato da escola deverá fazer o mesmo nos campos das colunas “Recebido” após a verificação do material enviado pelo escritório de avaliação nacional. A Tabela 3.2 apresenta a cópia de uma lista de verificação utilizada na avaliação sul-africana. Entrega As circunstâncias locais determinarão o método mais adequado e eco� nômico de entrega e coleta de materiais para a avaliação nacional. Em alguns casos, os materiais são entregues a escritórios centrais que sejam seguros (por exemplo, escritórios distritais de educação ou escritórios do imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  41 governo local), e os aplicadores de teste recolhem-nos usando transporte público. Em outros casos, em que existam sistemas de entrega seguros e confiáveis, os materiais são entregues na residência dos aplicadores de teste. Às vezes, as equipes de administradores viajam em uma van e são levadas junto com os materiais necessários até as escolas. QU ADRO 3. 2 Embalagem de Instrumentos A seguir, estão procedimentos típicos para a embalagem de instrumentos: yy Agrupar os cadernos em conjuntos de 20 unidades. yy Organizar as unidades em ordem antes de embalá-las em envelopes. yy Verificar manualmente um número de amostras quando os cadernos forem con- tados por máquina. yy Incluir testes adicionais para circunstâncias inesperadas (por exemplo, alunos adicionais). yy Usar materiais de embalagem fortes, mas acessíveis (por exemplo, envelopes de plástico). yy Anotar o conteúdo de cada pacote e acrescentar as assinaturas dos embaladores às folhas à medida que cada conjunto de itens é embalado. yy Rotular cada pacote de forma clara e visível. yy Adicionar um adesivo ou sinal colorido para mostrar que o processo de embala- gem foi concluído. yy Rotular cada caixa em pelo menos dois lados. yy Preparar uma lista de verificação dos conteúdos da embalagem (ver Tabela 3.2) para que os aplicadores de teste possam confirmar que têm os materiais neces- sários. yy Fazer um pacote de materiais para cada escola. yy Colocar os materiais para um distrito em uma caixa ou saco resistente. Fonte: Compilação dos autores. Manual de aplicação do teste Visando a eficiência e a limitação do número de documentos que os aplicadores de teste precisam carregar consigo, as principais informações relacionadas com tempo, preparação dos alunos, embalagem e devo� lução de testes e questionários, e as instruções para sua aplicação de� vem ser incluídas em um documento: o manual de aplicação de testes. 42  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal As instruções que serão lidas em voz alta para os alunos devem ser im� pressas em fonte grande e em negrito. A pessoa encarregada de treinar os aplicadores de teste deve ler todo o manual com pelo menos uma amos� tra dos aplicadores de teste antes do treinamento formal dos aplicadores selecionados. Não importa o grau de qualificação que os aplicadores ale� guem ter, não se deve permitir que leiam o manual por conta própria. No Volume 2, Desenvolvimento de testes e questionários para avaliação do desempenho educacional, o desenvolvimento do manual de aplicação do teste é descrito em detalhes. Tabela 3.2 Lista de Verificação do Conteúdo das Embalagens Número Item Embalado Recebido Devolvido 40 Cadernos dos alunos 40 Questionários dos alunos 45 Lápis 45 Borrachas  5 Cadernos extras  5 Questionários extras 45 Elásticos  3 Envelopes endereçados ao remetente  2 Formulários para aplicação do teste  1 Formulário de monitoramento dos alunos Fonte: Compilação dos autores. Local do treinamento O local para treinamento dos aplicadores de teste dependerá principal� mente do tamanho do país e do número de aplicadores. Se possível, o melhor é oferecer treinamento em um local central. Em um país de grandes dimensões, talvez o treinamento tenha de ser realizado em vá� rios locais. CAP Í TULO 4 Aplicação em escolas E ste capítulo descreve o papel do aplicador do teste. Em seguida, aborda os problemas fre� quentemente encontrados na aplicação do teste e os procedimentos para melhorar a qualidade do exercício. Aplicador do teste Se os aplicadores de teste forem externos à escola, devem seguir os pro� cedimentos convencionais para visitas escolares, incluindo relatórios para o escritório do diretor da escola (se houver). Em algumas avaliações nacionais, a aplicação do teste é feita ao mesmo tempo em todas as escolas, geralmente durante um ou dois dias. Em ou� tras, os aplicadores de teste deslocam-se de escola para escola por um cur� to período. Neste último caso, é preciso cuidado para manter a segurança dos materiais de teste e assegurar que informações relacionadas ao teste não sejam trocadas entre as escolas. A tentação de se obterem informações sobre os testes antes da aplicação tende a ser grande em sistemas educa� cionais com uma tradição de avaliação com consequências significativas, pois, nessa situação, alguns professores podem ter a impressão de que eles ou suas escolas estão sendo avaliados. Essa situação pode ocorrer mesmo quando a primeira carta para as escolas e os anúncios nos meios de comu� 44  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal nicação deixam claro que o sistema educacional como um todo – e não os professores ou as escolas individualmente – está sendo avaliado. Quando os aplicadores de teste viajam para uma região e aplicam testes em um número de escolas na mesma localidade em uma semana, normalmente carregarão consigo apenas os materiais a serem usados du� rante um único dia de testes. A equipe de avaliação nacional deve assegurar que cada aplicador do teste tenha consigo – ou tenha acesso a – um dispositivo de controle de tempo para ser usado durante a aplicação do teste. Em uma avalia� ção nacional que ignorou esse requisito, constatou-se que praticamente 50% dos aplicadores de teste não tinham acesso a um relógio durante a aplicação do teste. O papel do aplicador durante o teste é descrito no Volume 2 desta série, Desenvolvimento de testes e questionários para ava- liação do desempenho educacional. São abordadas questões relacionadas com as instruções do teste, o nível de assistência aos alunos, o tempo e os materiais permitidos no local de teste. Cabe ao aplicador do teste garantir que os professores não ajudem os alunos, e que os alunos não copiem uns dos outros ou tragam materiais não autorizados para a sala. As condições da escola determinarão as op� ções de distribuição de assentos. O aplicador do teste deve verificar se as mesas estão livres de livros e outros materiais antes do teste. As ava� liações nacionais que utilizam mais do que uma forma de teste reduzem a possibilidade de cópia, exigindo que os alunos sentados perto uns dos outros recebam versões diferentes do teste. Formulário de monitoramento dos alunos O desenho de uma avaliação nacional vai especificar como será feita a seleção dos alunos em uma escola. Se for especificada a seleção de uma turma completa, isso pode ser feito antes da aplicação realizada pelo cen� tro de avaliação nacional, ou o aplicador do teste pode receber instruções sobre a forma de selecionar a turma. Se o desenho da avaliação especifica a seleção de alunos de todas as turmas da série relevante, o centro de avalia� ção nacional pode selecionar os alunos antes da aplicação, ou o aplicador do teste será instruído sobre como eles devem ser selecionados. Durante a aplicação do teste, o aplicador deve preencher um for� mulário de acompanhamento do aluno, que é enviado para as escolas imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  45 QU ADRO 4. 1 Formulário de Monitoramento dos Alunos Nome da escola: ____________________________________________________________ ID da Escola ID da turma Nome da turma Série Nome ID Data de Gênero Excluído Desistente Sessão Sessão de do do nascimento reposição aluno aluno Fonte: Compilação dos autores. com os cadernos de teste e questionários. Informações deste formulário serão necessárias nas fases de limpeza e análise de dados (por exemplo, na ponderação de dados). As informações registradas no documento de acompanhamento geralmente incluem nome de cada aluno, o número identificador atribuído (ID), data de nascimento, gênero e registro de presença nas sessões de testes individuais e, se for o caso, sessões de re­ posição (ver Quadro 4.1). Se o teste exigir mais do que uma sessão, a presença do aluno deve ser registrada para cada sessão. O formulário do Quadro 4.1 inclui uma coluna que identifica os alu� nos excluídos. Esses alunos podem ter uma deficiência, ser imigrantes re� centes ou não estar familiarizados com o idioma utilizado no teste, e, por� tanto, estão dispensados, sob a justificativa de que a avaliação seria injusta em relação a eles. O formulário também inclui uma coluna que identifica desistências, ou seja, alunos que foram listados na população compilada no início do ano escolar, mas que posteriormente deixaram a escola. 46  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal Devolução dos instrumentos O aplicador do teste deve garantir que todos os testes e questionários, utilizados e não utilizados, sejam mantidos em segurança e devolvidos ao centro de avaliação nacional. Essa etapa é importante porque alguns itens e, em alguns casos, o teste completo podem ser utilizados em uma avaliação nacional subsequente. Se alguns professores e alunos tiverem acesso prévio a esses itens, a credibilidade da avaliação subsequente es� taria comprometida. O papel ou as anotações utilizadas pelos alunos durante o teste também devem ser devolvidos ao escritório nacional de avaliação. Instruções de embalagem devem ser fornecidas para os aplica� dores do teste (ver Quadro 3.2). Os métodos de devolução de materiais tendem a ser semelhantes aos métodos de entrega. Instruções claras devem ser fornecidas sobre como organizar as devolu� ções das escolas para o centro de avaliação nacional. É necessário que haja um espaço considerável para acomodar as devoluções. Os instrumentos devolvidos devem ser separados e colocados em prateleiras claramente identificadas. Testes e questionários devem ser armazenados de modo que possam ser facilmente recuperados para o registro e a limpeza de dados. Todas as devoluções devem ser registradas em um livro de devoluções ou em uma base de dados do computador (não em um pedaço de papel). Problemas comuns na aplicação Problemas associados à aplicação de uma avaliação nacional tendem a variar de país para país, tanto em natureza quanto em magnitude. Quanto mais grave o problema, mais prejudicado o projeto de toda a avaliação nacional. Desde o início, a equipe de avaliação nacional deve garantir que as escolas da amostra sejam de fato aquelas nas quais os alunos estão sendo avaliados. É sabido que, em determinado país, funcionários do distrito insistiram, após a amostra nacional ter sido escolhida, que eleitorados políticos diferentes fossem representados na seleção final. Algumas equipes descobriram esco� las “fantasma” (falsas) após o uso de fontes de dados nacionais para fins de amostragem. O aplicador do teste e a pessoa de contato da escola devem definir que os alunos que respondem aos testes sejam, de fato, aqueles que foram selecionados para participar da avaliação. As listas de escolas ou os dados de matrículas podem ser aumentados, especialmente em situações imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  47 em que bolsas de estudo se baseiam em dados de matrículas dos alunos. Não é incomum que os professores queiram substituir alunos ao argumento de que “somente os atrasados foram selecionados”. A seguir, outros problemas identificados na aplicação: yyData do teste coincide com um evento da escola. yyOs alunos realizam a primeira parte do teste e deixam a escola antes da segunda parte. yyOs professores e alunos chegam atrasados. yyOs professores, e até mesmo o diretor, insistem em permanecer na sala enquanto os alunos estão fazendo o teste. yyFalta de disposição adequada de assentos para o teste. yyNão observância dos limites de tempo. yyO aplicador do teste ou outros dão assistência aos alunos. yyCópia por parte dos alunos. Baixas taxas de participação Altas taxas de participação são necessárias em uma avaliação nacional para fornecer informações válidas sobre o aproveitamento dos alunos no sistema educacional. Os estudos da Associação Internacional para a Avaliação do Aproveitamento Escolar (IEA), por exemplo, exigem (a) uma taxa de par� ticipação de pelo menos 85% para escolas e alunos ou (b) uma taxa combi� nada (o produto da escola e da participação dos alunos) de 75% (ver a Parte IV). A IEA também define o limite superior de exclusões (por motivos como a localização distante da escola e incapacidade) em 5% da população- alvo desejada. Em um esforço para melhorar o nível de cooperação escolar em um país, sessões de reposição foram realizadas em uma data posterior para os alunos que estiveram ausentes na primeira sessão de testes. Essa experiência sugere que os alunos e as escolas tenderam a cooperar mais plenamente quando perceberam que os aplicadores de teste continuariam voltando até que todos os alunos selecionados houvessem sido testados. Garantia de qualidade Para monitorar a qualidade da aplicação do teste, o aplicador deve preencher um formulário de aplicação do teste (Quadro 4.2) depois que o trabalho em 48  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal QU ADRO 4. 2 Formulário de Aplicação do Teste Preencha um formulário para cada sessão de testes. Nome do aplicador do teste: __________________________________________________ ID da Escola: _ _______________________________________________________________ Nome da escola: _____________________________________________________________ Nome da turma: _ ____________________________________________________________ Pessoa de contato da escola: __________________________________________________ Primeira sessão de testes: _____________________________________________________ Sessão de reposição de testes (se aplicável): ____________________________________ Data do teste: _______________________________________________________________ Hora do teste: Hora de início Hora de término Detalhes Aplicação dos materiais de teste Sessão de testes 1 Sessão de testes 2 Sessão de testes 3 Sessão de testes 4 1. Houve alguma circunstância especial ou episódio incomum durante a sessão? NÃO _______________ SIM _______________ Por favor, forneça os detalhes. ____________________________________________________________________________ 2. Os alunos tiveram problemas específicos com o teste (por exemplo, o teste foi muito difícil, o tempo não foi suficiente, problemas com o idioma, teste cansativo, as instruções não foram claras)? NÃO _______________ SIM _______________ Por favor, forneça os detalhes. 3. Houve algum problema com os materiais de teste (por exemplo, erros, páginas em branco, linguagem inadequada, omissões nos formulários de acompanhamen- to dos alunos, número insuficiente de testes ou questionários)? NÃO _______________ SIM _______________ Por favor, forneça os detalhes. ____________________________________________________________________________ Fonte: TIMSS 1998a. Reproduzido com permissão. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  49 cada escola tenha sido concluído. O formulário irá fornecer um registro do grau de cumprimento dos procedimentos administrativos adequados. Para verificar com segurança se o teste foi realizado de acordo com os procedimentos prescritos, muitas avaliações nacionais designam um pe� queno número de monitores de controle de qualidade para fazer visitas sem aviso prévio às escolas. Embora todos os aplicadores de teste pre� cisem estar cientes de que existe a possibilidade de monitoramento, na prática apenas 10% a 20% das escolas são visitadas. Pessoas encarregadas do controle de qualidade devem estar familiarizadas com o propósito da avaliação nacional, o desenho amostral e seu significado, os papéis do coordenador da escola e aplicador do teste, o conteúdo dos testes e questionários, e o registro de observação em sala de aula. Eles devem ser informados sobre como realizar visitas às escolas sem interromper a avaliação em andamento. Os monitores devem preencher um formulá� rio sobre as condições administrativas e outras condições em cada escola visitada. Exemplos de atividades cujas informações são registradas no formulário utilizado para o TIMSS (Tendências Internacionais no Estu� do de Matemática e Ciências) são fornecidos no Quadro 4.3. QU ADRO 4. 3 Exemplos de Perguntas Respondidas pelos Monitores de Controle de Qualidade no TIMSS 1. Atividades preliminares do aplicador do teste O aplicador do teste verificou se os cadernos de teste foram fornecidos em núme- �������������������������������������������������������������������������������� ro suficiente? Todos os lacres dos cadernos de testes estavam intactos antes da distribuição? Havia espaço adequado para os alunos trabalharem sentados e sem distrações? O aplicador tinha um cronômetro ou relógio? O aplicador do teste tinha uma quantidade adequada de lápis e outros materiais? 2. Atividades da sessão de testes O aplicador do teste seguiu à risca o roteiro que lhe foi designado durante (a) a preparação dos alunos, (b) a distribuição dos materiais, e (c) o início do teste? Exemplos de Perguntas Respondidas pelos Monitores de Controle de Qualidade no TIMSS (continuação) O aplicador do teste registrou corretamente o comparecimento dos alunos? A duração do teste correspondeu ao tempo permitido? O aplicador do teste recolheu os cadernos de teste individualmente de cada aluno? 50  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal QU ADRO 4. 3 (continuação) 3. Impressões gerais Durante a sessão de testes, o aplicador caminhou pela sala para garantir que os alunos trabalhassem na seção correta do teste e se comportassem corretamente? Em sua opinião, o aplicador do teste respondeu às perguntas dos alunos de forma adequada? Você viu alguma evidência de alunos tentando trapacear no teste (por exemplo, copiando respostas de um vizinho)? 4. Entrevista com o coordenador da escola Você recebeu a encomenda correta de itens? O coordenador nacional respondeu às suas perguntas ou dúvidas? Você teve a chance de recolher os questionários preenchidos dos professores antes da aplicação do teste? Você ficou satisfeito com as instalações (sala) para a realização do teste? Você prevê que sessões de reposição serão necessárias em sua escola? Os alunos receberam qualquer instrução especial, palestra motivacional ou incen- tivo para prepará-los para a avaliação? Os alunos tiveram qualquer oportunidade de praticar perguntas como as do teste antes da sessão de testes? Fonte: TIMSS 1998b. Reproduzido com permissão. CAP Í TULO 5 Tarefas posteriores à aplicação N este capítulo são descritas as tarefas que res� tam após a aplicação dos instrumentos nas escolas e sua devolução para o centro nacio� nal da avaliação: correção do teste, registro de dados, análise de dados e elaboração do relatório. Correção do teste Algumas avaliações nacionais usam exclusivamente itens de múltipla escolha e, em algumas, as folhas de resposta são digitalizadas eletroni� camente. Outras avaliações combinam itens de múltipla escolha e itens abertos e corrigem ambos manualmente, o que requer uma quantidade de tempo considerável. Se um teste inclui mais de um tipo de item, é preciso decidir qual será a ordem da correção. Qualquer que seja a ordem usada, a correção para uma região (estado ou província) geralmente é concluída antes de ser feita na região seguinte. Idealmente, o material em uma sala deve ser limitado a uma região por vez. À medida que o trabalho de cada região for concluído, os testes corrigidos podem ser enviados para o registro de dados. 52  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal O monitoramento do número de instrumentos que são corrigidos manualmente ou registrados em uma base de dados para correção ele� trônica no período de uma hora permite que se estime quanto tempo o processo provavelmente levará. QU ADRO 5. 1 Formulário de Acompanhamento de Instrumentos Nome da escola: _____________________________________________________________ Número da escola: ___________________________________________________________ Número do instrumento A: ____________________________________________________ Número do instrumento B: ____________________________________________________ ____________________________________________________________ Horário de início: _ Horário de término: _ _________________________________________________________ Nome e código do responsável pela correção: __________________________________ ______________________ Nome e código do responsável pela garantia de qualidade: _ Fonte: Compilação dos autores. Esse método também pode ajudar a fornecer uma estimativa razoável dos custos. Um formulário simples (como o exemplo contido no Qua� dro 5.1) permite o acompanhamento da velocidade e a exatidão da cor� reção quando todos os testes da mesma escola são corrigidos. Uso de guias de pontuação A equipe de desenvolvimento do teste é encarregada de preparar os guias de correção. Os guias para correção (pontuação) de itens abertos devem especificar com clareza os tipos de respostas que são ou não aceitáveis. Entretanto, os guias podem ter de passar por modificações ligeiras após a aplicação do teste porque alguns estudantes talvez tenham dado respos� tas que não foram listadas no estágio de desenvolvimento do teste. Nesse caso, a tarefa de modificar o guia não deve ser deixada aos cuidados dos responsáveis pela correção ou por registrar os dados no computador. A equipe de desenvolvimento do teste é a responsável final por indicar se respostas inesperadas a um item aberto são adequadas. Um guia de cor� imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  53 reção separado, que deve ser finalizado antes do início do processo de correção, deve ser fornecido para cada idioma usado na avaliação. O CD que acompanha o Volume 2, Desenvolvimento de testes e questionários para avaliação do desempenho educacional, contém exemplos de guias utilizados para a correção de itens. Correção Os responsáveis pela correção e pelo registro de dados precisam de es� paço adequado para se sentar confortavelmente. É importante ter um sistema claro em vigor para lidar com os materiais, dada a grande quan� tidade de material que está sendo processada, a fim de evitar desordem. Constatou-se que permitir que dois responsáveis pela correção traba� lhem lado a lado é mais eficiente e resulta em menos conversa fútil durante a correção. O procedimento permite também que quem está corrigindo esclareça as eventuais dúvidas com o colega. A sala em que se faz a correção deve ter um número suficiente de mesas e caixas para embalar os testes após a correção, para que possam ser enviados ao re� gistro de dados. O Coordenador Nacional é o responsável final pela qualidade da cor� reção dos itens. Ele deve implementar um procedimento de garantia de qualidade para assegurar a exatidão e a consistência da correção. Esse procedimento envolve a nova correção de uma amostra dos testes, cujo tamanho varia de uma avaliação nacional para outra. Em alguns casos, os avaliadores líderes verificam 50% dos cadernos de testes, enquanto, em outros casos, somente 10% são verificados. Os fatores a serem considera� dos na decisão sobre o tamanho da amostra de controle da qualidade in� cluem a experiência dos responsáveis pela correção, o número de alunos que estão sendo testados, o tempo disponível e o tamanho do orçamen� to. As respostas aos itens do teste que são corrigidos por computador podem ser registradas duas vezes, e os resultados, comparados. Em uma avaliação nacional, os responsáveis pela correção corrigiram as respostas de múltipla escolha nos cadernos de teste. No caso dos itens abertos, 100% dos itens foram verificados. Em outra avaliação, as pon� tuações foram registradas em outra folha de verificação, e um colega 54  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal corrigiu os mesmos itens sem ver a correção feita anteriormente. Ambas as pontuações foram comparadas e as discrepâncias foram resolvidas. A folha de verificação também ajudou a identificar os responsáveis pela correção que cometiam erros sérios com certa regularidade. Recomenda-se a realização de intervalos durante o trabalho, pois a qualidade da correção e do registro dos dados pode ficar comprometida se os responsáveis ficarem cansados e perderem a concentração. Reco� menda-se também que sejam fornecidos lanches adequados. Em uma avaliação nacional, os responsáveis do governo pela correção ameaçaram entrar em greve porque não haviam recebido lanche entre as refeições. Às vezes, quando itens de múltipla escolha são corrigidos, é possível que os responsáveis pela correção não consigam ler ou compreender al� gumas respostas, ou podem ter duas respostas para determinado item. Em vez de deixar a solução desses problemas para a fase de registro de dados, os responsáveis pela correção devem resolvê-los logo e registrar suas decisões. No caso de não se chegar a um acordo, a decisão final cabe ao avaliador líder. Quando itens de múltipla escolha são corrigidos pelo computador, os procedimentos para lidar com respostas duplas farão parte do programa de correção. Registro de dados A atenção ao detalhe e o registro cuidadoso dos dados ajudarão a reduzir o tempo gasto na limpeza de dados e na retificação de erros. Essa seção esboça os princípios gerais que se relacionam com a equipe e as instala� ções necessárias para o registro de dados, garantia de qualidade, limpeza e armazenamento de dados. Os procedimentos para limpeza e gerencia� mento de dados são descritos em detalhes na Parte III deste volume (ver também TIMSS 1998a). Instalações para o registro de dados Durante o planejamento da fase de registro de dados, é importante ter em mente o orçamento disponível e a data-limite para a entrega dos imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  55 dados. Por meio do cálculo do tempo necessário para registrar e verificar os dados em cada teste (por exemplo, para um caderno de teste de ma� temática e um caderno de teste de linguagem) e cada questionário (por exemplo, os questionários do aluno e do professor), é possível estimar o tempo necessário para registrar ou digitar e verificar todos os dados. Essa estimativa dará uma orientação aproximada de quantas pessoas se� rão necessárias para o registro dos dados, de modo a concluir a tarefa a tempo. Após determinar quantas pessoas serão necessárias, recomenda-se fornecer um computador para cada uma responsável pelo registro dos dados, além de um computador para o supervisor. Idealmente, os com� putadores devem estar ligados a uma rede. Algumas equipes de avalia� ção nacional usam software feito sob encomenda (como o WinDem ou o EpiData, da Associação Internacional para Avaliação do Aproveitamen� to Escolar) para o registro dos dados; outras equipes usam pacotes de base de dados, tais como Access e Excel. Exemplos de registro de dados usando o Access são apresentados na Parte III deste volume. As necessidades de mobília preveem cadeiras adequadas para as pes� soas que ficarão por um longo período registrando dados, e mesas com� pridas para organizar os testes e questionários. Cada pessoa encarregada do registro de dados também precisa ter um espaço de trabalho adequa� do (a) para o material que precisa ser registrado; (b) para o material que foi registrado; e (c) para os documentos com problemas a serem discuti� dos com o supervisor, gerente de dados ou líder. Equipe para o registro de dados O gerente de dados tem papel crucial no processo de registro de dados e deve ser consultado constantemente. Ele deve, se possível, estar envol� vido na seleção do pessoal para registro dos dados. Um gerente de dados competente geralmente identifica os problemas causados por práticas ineficientes de trabalho ou por inexperiência. O gerente de dados deve ser responsável por adquirir e assegurar a adequação do hardware e do software usados no registro de dados. Se possível, a equipe de avaliação nacional deve empregar pessoal experiente no registro dos dados e que 56  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal seja meticuloso em seu trabalho. Embora a contratação de indivíduos inexperientes a um pagamento reduzido possa parecer econômica, no longo prazo eles podem acabar custando mais do que os profissionais. Registro de dados e garantia da qualidade Os modelos de gravação de dados para cada instrumento devem ser pre� parados assim que os instrumentos forem desenvolvidos. O modelo é a matriz dentro da qual os dados são digitados. Os modelos têm aparência diferente conforme o software de gravação de dados empregado. A Parte III deste volume fornece detalhamento considerável sobre como criar e usar um modelo para a inserção de dados. Não se recomenda alterar um modelo depois que o registro de dados tenha começado. O pessoal para registro dos dados cometerá erros. Como parte da garantia da qualidade, a equipe de avaliação nacional deve decidir (ao estimar as exigências orçamentárias) qual porcentagem (talvez entre 6% e 10%) dos registros de teste será inserida duas vezes. Essa dupla inser� ção pode determinar se há um problema disseminado ou se a maioria de erros pode ser atribuída a um ou dois responsáveis pelo registro dos dados. Limpeza de dados Quando o registro de dados for concluído, os testes e questionários de� vem ser cuidadosamente armazenados de maneira sistemática porque é possível que alguns documentos tenham de ser consultados durante a limpeza de dados. A limpeza de dados, que é tratada em detalhes na Par� te III, é uma etapa entediante mas muito importante do processamento de dados. Ela prevê verificações para assegurar que os dados pareçam plausíveis e que as pontuações e categorias de resposta estejam dentro de limites aceitáveis. Ela fornece a oportunidade de verificar respostas problemáticas aos itens do teste e do questionário. Os dados também podem ser verificados quanto a eventuais padrões sugestivos de cópia das respostas. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  57 Armazenamento de dados Após o término da avaliação, pode ser necessário armazenar os dados por vários anos. Muitas instituições de pesquisa consideram que cinco anos é um período apropriado para o armazenamento. Em alguns países, os testes e questionários são digitalizados e os dados são armazenados em formato eletrônico. Análise de dados Nesta seção são levantadas algumas questões de logística que podem influenciar a qualidade e a eficiência da análise de dados. O Volume 4 (a ser publicado) trata da geração de itens estatísticos e de resultados da pontuação de testes, além da análise para a geração de dados na elabo� ração de políticas. Um membro central da equipe, com competência comprovada em estatística, inclusive de psicometria, deve ser o responsável pela análise de dados. Outros indivíduos podem ajudar essa pessoa. Embora nem sempre seja possível empregar um estatístico em tempo integral, os ser� viços de um estatístico serão necessários em muitos estágios do processo de avaliação, desde o projeto inicial até a elaboração do relatório. A equipe de avaliação nacional necessitará dos serviços de um analista de dados no estágio de pré-teste de desenvolvimento do teste. Nessa eta� pa, os itens do teste são aplicados a uma amostra de alunos semelhante àquela que fará o teste. O pré-teste é abordado em detalhes no Volume 2 desta série, Desenvolvimento de testes e questionários para avaliação do desempenho educacional. O analista deve ser capacitado a empregar os pacotes de software apropriados à análise dos resultados do pré-teste. Ele deve trabalhar em estreita colaboração com os redatores de itens e especialistas no assunto para selecionar os itens do conjunto de itens pré- testados que serão incluídos no teste aplicado na avaliação nacional. A experiência sugere que a seleção do hardware apropriado e do sof� tware especializado; obtenção da liberação do governo, do doador ou de outros fundos; requisição de equipamento e software (se necessário); e sua instalação e operacionalização podem levar uma quantidade de tem� 58  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal po considerável. A equipe de avaliação nacional precisa assegurar que foi realizada provisão no orçamento para adquirir e manter o hardware, bem como para itens como papel e cartuchos de tinta. Idealmente, o hardware e software apropriados devem estar em funcionamento antes do pré-teste. Muitas universidades e departamentos de governo têm acesso a vários pacotes de software e recebem atualização regular. No momento em que este volume é escrito, entre os pacotes mais usados, estão o SPSS (Statistical Package for the Social Sciences), usado extensamente no Vo� lume 4; SAS (Statistical Analysis Software); e STATISTICA. Entre os softwares especializados relevantes, além do software de análise de itens e de teste, desenvolvido para esta série e apresentado no Volume 4, estão ƒƒIteman (http://www.assess.com/xcart/product.php?productid=541). ƒƒConquest (https://shop.acer.edu.au/acer-shop/group/CON2/9). ƒƒWinsteps (uma versão gratuita e menos potente, Ministep, está dis� ponível em http://www.winsteps.com/). O analista de dados deve ter acesso a uma impressora de qualidade e alta velocidade, que será necessária em muitos estágios, mas especial� mente durante a limpeza de dados, a análise de itens e a análise de dados mais geral, bem como para produzir textos, tabelas e gráficos para os relatórios da avaliação. Elaboração de relatório O Volume 5, O uso dos resultados da avaliação do desempenho educacio- nal, trata, em detalhes, da elaboração de relatórios. Por isso, os seguintes parágrafos são limitados a alguns aspectos logísticos associados a essa tarefa-chave. O Coordenador Nacional e a equipe principal precisam planejar o relatório antes de conduzir análises representativas, visto que o plano pode auxiliar na orientação da análise. Para ajudar a desenvolver o senso de apropriação e esclarecer as análises, é uma boa ideia criar tabelas de imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  59 Tabela 5.1 Tabela de Exemplo que Descreve Características dos Professores da Escola Primária Gênero Idade Nível mais elevado de instrução formal obtido Província Feminino Masculino Abaixo Acima Concluiu Concluiu Concluiu de 30 de 30 primeiro segundo pelo menos ciclo do ciclo do 2 anos de nível nível nível pós- secundário secundário -secundário A B C D Fonte: Compilação dos autores. exemplo e verificar se a avaliação nacional pode fornecer dados para cada célula. Os membros da comissão de coordenação nacional e for� muladores de políticas podem fornecer percepções valiosas nesse estágio e sugerir títulos para as tabelas. A Tabela 5.1 representa o exemplo de uma tabela baseada em dados do questionário. Algumas semanas antes da divulgação dos resultados, o Coordenador Nacional deve pedir a colegas profissionais de sua confiança ou pro� váveis usuários-chave para fornecer feedback sobre o primeiro esboço de cada relatório (por exemplo, comunicado de imprensa, sumário do relatório, relatório técnico, relatório para professores). Entre esses indi� víduos, podem estar formuladores seniores de políticas no Ministério da Educação, pesquisadores, instrutores de professores e outras partes inte� ressadas importantes. Os professores em atividade devem ser incluídos, especialmente se forem distribuídos a eles boletins de notícias com os resultados. A equipe de avaliação nacional deve analisar os comentários recebidos, fazer uma revisão onde for necessário e finalizar os relatórios para sua distribuição. A equipe de avaliação nacional terá a responsabilidade de assegurar que seja feita uma provisão orçamentária para cobrir os custos de for� matação de texto e preparação de tabelas, mapas e gráficos, além da impressão de cópias dos relatórios. A equipe também terá de coordenar a preparação e a produção dos relatórios finais e assegurar que as grá� 60  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal ficas tenham tempo adequado para entregar as versões publicadas dos relatórios em uma data predeterminada. A equipe deve revisar os ma� nuscritos e fazer acompanhamento posterior para se certificar de que as mudanças apropriadas tenham sido feitas. A experiência sugere que em países em desenvolvimento o processo da preparação, desde o primeiro esboço até o lançamento oficial de um relatório final, pode levar de três a seis meses. A equipe de avaliação nacional deve planejar uma coletiva de im� prensa no dia marcado para a divulgação dos resultados e convidar as partes interessadas da área de educação para participar. A equipe deve fazer uma provisão orçamentária para cobrir os custos relacionados à coletiva de imprensa. Em pelo menos um país, os repórteres esperam ter suas despesas pagas pelos organizadores desses eventos. Se uma equipe de avaliação nacional almeja contar com a presença do ministro da Edu� cação ou de outros funcionários seniores responsáveis pela formulação de políticas no lançamento do relatório, deve fazer o convite com ante� cedência, considerando a agenda ocupada dessas pessoas. Pa r t e II Metodologia de amostragem escolar Jean Dumais e J. Heward Gough A Parte II descreve como definir a população que deve ser examinada na avaliação nacio� nal. São descritas abordagens distintas de amostragem. Grande parte da seção é dedicada à metodologia para a seleção de uma amostra que será representativa dos alunos no sistema educacional. A ênfase recai sobre o “aprender fazendo”. Os leitores são conduzidos pelas várias etapas da amostragem para trabalhar em um conjunto de tarefas concretas apresentadas no texto e para usar os ar� quivos de dados contidos em www.elsevier.com.br/implementacao. Eles podem verificar suas respostas comparando-as com as respostas corretas que são apresentadas nas imagens de captura de tela apresentadas no texto. Os arquivos se baseiam em dados de avaliação nacional de um país fictício, Sentz. Capítulo 6 Definição da população de interesse E ste capítulo apresenta os termos população- alvo e população da pesquisa, os primeiros ele� mentos básicos no desenho de uma pesquisa probabilística. Os capítulos posteriores descrevem a base amostral (Ca� pítulo 7) e a amostragem probabilística (Capítulo 8). A primeira tarefa importante é identificar e definir a população a ser avaliada de acordo com os objetivos da avaliação. Essa tarefa envolve a especificação de quem (alunos, professores, auxiliares, diretores, ou pais) ou o que (todas as escolas ou somente escolas que recebem recur� sos públicos) será abrangido pela avaliação. O escopo do estudo ajuda a definir as populações de interesse e determinar se os resultados podem ser comparados com aqueles provenientes de estudos similares. A população-alvo desejada compreende todas as unidades de interesse – a população para a qual a informação é procurada e as estimativas são necessárias. Em uma avaliação nacional, a população pode ser composta por todos os alunos matriculados na 5a série de todas as escolas no país ou por alunos da 5a série matriculados somente em escolas públicas. Uma população-alvo desejada também pode abranger todos os professo� res empregados em escolas primárias. Infelizmente, em alguns casos, razões práticas impedem a pesquisa de alguns elementos de uma população-alvo e, por isso, talvez tenham 64  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal de ser excluídos. As razões para a exclusão podem estar relacionadas a custo, ausência de estradas, isolamento geográfico (ilhas remotas ou regiões montanhosas), desordem civil, escolas que atendem a poucos alunos ou a crianças com necessidades especiais. Os elementos restan� tes da população formarão a população-alvo definida – a população que pode ser abrangida razoavelmente pela equipe de avaliação nacional. Estudos internacionais sobre aproveitamento escolar publicam rotinei� ramente dados sobre as populações-alvo desejadas e definidas para cada país participante. As exclusões devem ser mínimas e não devem ser usadas como meio de obter uma amostra “por conveniência”. Os estudos internacionais costumam ajustar o limite superior das exclusões em 5% da população- alvo desejada. Os dados provenientes de países que não atendam a esse critério vêm acompanhados de uma advertência no relatório. O não atendimento do critério de exclusão em uma avaliação nacional pode ser destacado por um comentário como o seguinte: “Os dados das esco� las secundárias de áreas rurais na região Y devem ser interpretados com cautela porque três áreas remotas representativas foram excluídas da pesquisa.” Recomenda-se que a comissão de coordenação nacional desempenhe papel-chave na tomada de decisão sobre a população a ser avaliada. Ela poderia, por exemplo, definir a população-alvo desejada como todos os alunos matriculados na 6a série durante qualquer parte de um ano esco� lar específico ou de referência. Entretanto, a comissão pode especificar que a população-alvo definida deve ser limitada aos alunos matriculados na 6a série em 31 de maio de um ano de referência nas escolas com pelo menos 10 alunos nessa série. Dos pontos de vista logístico e orçamentá� rio, seria impraticável avaliar alunos em escolas menores. Além disso, a comissão de coordenação estaria ciente de que alguns alunos da 6a série teriam abandonado a escola ou migrado durante o ano escolar, e seria inviável tentar encontrar e avaliar esses alunos. A Figura 6.1 descreve uma situação razoavelmente comum em que a população-alvo desejada é definida (barra esquerda). A população-alvo foi reduzida por meio da omissão de determinadas categorias de escolas (como escolas em áreas remotas ou escolas muito pequenas, ou ainda escolas que atendam a crianças com necessidades especiais) e dos resul� imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  65 tados em uma população nova, a população-alvo definida (barra inter� mediária). O tamanho dessa população pode ser reduzido ainda mais, principalmente pela identificação de unidades excluídas (por exemplo, estudantes com necessidades especiais) em escolas participantes no dia do teste, tendo por resultado a população obtida (coluna direita). Figura 6.1 Porcentagem de Alunos nas Populações Desejadas, Definidas e Obtidas 100 porcentagem de alunos 75 50 25 0 população-alvo população-alvo população nacional nacional desejada nacional definida obtida (pesquisa) escolas abrangidas unidades excluídas dentro das escolas escolas excluídas Fonte: Representação dos autores. A comissão de coordenação nacional também pode querer identificar os grupos subnacionais de interesse que definir, por exemplo, em termos de região ou gênero. Após haver determinado a população-alvo definida e, possivelmente, os subgrupos de interesse, a equipe de avaliação na� cional ou seus peritos da amostragem devem então construir uma base amostral apropriada. Capítulo 7 Criação da base amostral E ste capítulo apresenta a ferramenta mais sim� ples para a amostragem de pesquisas: a base amostral. O capítulo mostra como a base amostral e a população podem ser muito semelhantes ou completamen� te diferentes, assim como as propriedades de uma base “eficaz”. Por fim, o capítulo introduz a avaliação de demonstração conduzida em Sentz. A base amostral Em uma situação ideal, uma base amostral é uma lista abrangente, com� pleta e atualizada que (a) inclui os alunos da população-alvo definida e (b) contém informações que ajudam a ter acesso aos alunos. No caso de uma avaliação nacional de aproveitamento escolar, a disponibilidade de uma lista de todos os alunos matriculados nas séries escolares de in� teresse permitiria que a equipe da amostragem escolhesse diretamente uma amostra dos alunos. Em muitos países, é impossível obter uma lista tão completa e atuali� zada, mesmo quando a administração pública central (como o Ministé� rio da Educação) conduz a avaliação. Esses países podem ter de recorrer a fontes alternativas da informação ou construir a própria base completa e atualizada. 68  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal Uma alternativa para a obtenção de uma lista detalhada, completa e atualizada é a cobertura parcial atualizada da população-alvo. É possível obter acesso indireto a uma lista de alunos selecionando-se primeiro as escolas e depois seus alunos. De fato, isso significa que as listas de alunos são necessárias somente no caso das escolas selecionadas para participar da avaliação nacional. Em muitos países, o ministro da Educação ou autoridade equivalente será a fonte preliminar de informação para construir a base amostral. Essa lista provavelmente conterá um identificador nacional da escola, o nome e o endereço da instituição, o nome do diretor da escola, um nú� mero de telefone, as séries abrangidas, o tamanho da equipe de funcio� nários, a matrícula do aluno e, possivelmente, a fonte de financiamento e tipo de instrução fornecido. Na prática, a base amostral geralmente terá algum grau de imperfei� ção porque não cobrirá exatamente a população-alvo definida. Algumas entradas da base podem não corresponder às reais unidades da popu� lação-alvo. As entradas da base de escolas podem conter mais escolas do que as existentes na população real, uma situação conhecida como sobrecobertura, que ocorre, por exemplo, quando uma escola fecha ou se funde com outra entre a época da criação da base amostral e a coleta de dados. Além disso, alguns elementos da população-alvo podem estar au� sentes da base amostral (subcobertura), por exemplo, quando uma escola não está listada na base ou foi erroneamente classificada como fora do escopo. Os elementos cobertos pela base amostral constituem a popula� ção a partir da qual a amostra da pesquisa é selecionada, normalmente, são conhecidos como a população pesquisada. Os elementos essenciais de uma base amostral são apresentados na Tabela 7.1. As bases amostrais podem assumir várias formas. O seguinte exemplo se baseia em uma população-alvo desejada de todos os alunos matriculados em escolas primárias durante qualquer parte do ano escolar de referência e em uma população-alvo definida de alunos matriculados em escolas pri� márias em 31 de maio do ano de referência. Nesse exemplo, a base amostral se baseou na lista do Ministério da Educação de todos os alunos matricula� dos em escolas primárias em 15 de abril do ano de referência. Essa aborda� gem deve ser adequada, contanto que a lista seja atualizada diversas vezes ao ano. Entretanto, a população pesquisada definida por essa base amostral imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  69 pode não cobrir a população-alvo definida se alguns alunos saírem da escola e outros se matricularem após 15 de abril. Se o Ministério tiver uma lista desatualizada ou incompleta das escolas, será necessária uma abordagem alternativa para se construir uma base amostral. Essa abordagem pode de� mandar uma maneira mais tradicional e mais trabalhosa de elaborar listas de escolas e de alunos, mediante a qual indivíduos percorrerão ruas e estra� das listando todas as escolas e os respectivos alunos. Sistemas modernos de gestão de informações educacionais, especialmente aqueles que são ligados aos computadores do Ministério, facilitarão imensamente a tarefa de se de� senvolverem bases amostrais atualizadas. Ao criar a base amostral, é preciso atribuir números de identificação únicos para as unidades da base. É possível que os números de identi� ficação já existam nos arquivos-fonte do Ministério ou da autoridade equivalente. Esses números oficiais de identificação devem ser mantidos na base para facilitar a comunicação com o Ministério sobre os dados por ele fornecidos. Tais números podem ser suficientes para as necessidades da avaliação. Entretanto, conforme o trabalho de preparação progredir, Tabela 7.1 Elementos Essenciais de uma Base Amostral para uma Avaliação Nacional Elemento Descrição Identificação Todas as escolas devem ser identificadas com clareza (por exemplo, pelo nome ou pelo número). Comunicação A equipe de avaliação nacional deve ter informações que possibilitem o contato com as escolas. As informações apropriadas podem incluir endereços postais, números de telefone ou ambos. Se tal informação não existir, será preciso fazer visitas diretas ao campo e, para tanto, é preciso conhecer a localização física da escola. Classificação As informações de classificação devem ser incluídas na base amostral se uma avaliação nacional exigir a classificação das escolas (tais como agrupamento das escolas por área geográfica, grupo linguístico ou cultural ou administração pública ou particular), para fins de amostragem, estimativa ou elaboração de relatórios. Medida do Uma medida do tamanho, como o número de matrículas da escola tamanho ou o número de salas de aula, pode ser requerida se a amostragem envolver probabilidades desiguais. Atualização A base amostral deve conter detalhes sobre quando a informação usada para construí-la foi obtida ou atualizada. Essa informação será considerada caso a avaliação nacional seja repetida. Fonte: Compilação dos autores. 70  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal serão adicionados itens e estruturas (por exemplo, informações sobre os diretores da escola, professores, turmas dentro das escolas e alunos nas turmas). As unidades de cada camada devem ser corretamente identi� ficadas quando forem adicionadas à base ou às bases. O objetivo final é criar um conjunto de identificadores que permitam a localização e o monitoramento de cada indivíduo e de cada instituição ao longo de todo o processo de avaliação. O Quadro 2.1, na Parte I, apresenta exemplos de sistemas de identificação numérica usados em avaliações nacionais. Estudo de caso Sentz Em www.elsevier.com.br/implementacao você encontrará alguns arqui� vos com a base amostral e dados de amostra necessários para o estudo de caso de Sentz. Uma descrição resumida dos arquivos pode ser encon� trada no Anexo II.A. Acompanhe o estudo de caso (ver Exercício 7.1) passo a passo para se familiarizar com as etapas necessárias ao desenho e à seleção de uma amostra de avaliação nacional. Sentz está prestes a adotar um programa plurianual de avaliação nacio� nal de aproveitamento escolar. Em Sentz, a escolaridade é obrigatória até o término do nível 2 (ensino básico) da Classificação Internacional Nor� malizada da Educação (ISCED) (UNESCO, 1997). O Ministério pretende definir os níveis de aproveitamento dos alunos nos vários estágios do siste� ma educacional, a começar pela 8a série. Ele especificou que o letramento deve ser medido durante cada avaliação. A primeira avaliação nacional deve também aferir o aproveitamento dos alunos em matemática e ciências. As avaliações futuras incluirão outras áreas do currículo. Sentz tem duas regiões geográficas distintas, o Nordeste e o Sudoeste, que são separadas pelo Grand River (ver Figura 7.1). A capital nacional, Capital, está situada na região Sudoeste. O Nordeste tem três províncias (províncias 1, 3 e 5) e 21 cidades, enquanto o Sudoeste tem duas pro� víncias (províncias 2 e 4), com um total de 12 cidades. (O termo cidade abrange cidades, cidades pequenas ou áreas rurais compostas por fazen� das e vilarejos.) Cada província é dividida em uma área urbana e uma área rural, com exceção da província 4 no Sudoeste, que tem apenas uma área rural. Cada cidade é classificada como urbana ou rural. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  71 Exercí cio 7. 1 Início Em seu disco rígido ou servidor, crie uma pasta chamada NAEA SAMPLING (ou algo similar). Crie cinco subpastas diferentes dentro de NAEA SAMPLING. As subpastas são BASE FILES, MYSAMPLSOL (My Sampling Solutions), SRS400, 2STG4400 e NA- TASSESS (para uma amostra de avaliação nacional real que usaremos mais adiante). Copie os arquivos para as subpastas BASE FILES, SRS400, 2STG4400 e NATASSESS da pasta SPSS VERSION em www.elsevier.com.br/implementacao. Você usará a pas- ta MYSAMPLSOL para arquivar seus resultados após ter terminado um exercício. A estrutura sugerida de arquivos pode ser vista na Figura II.A.1 do Anexo II.A. Os vários exercícios são organizados de modo que você possa trabalhar com o estudo de caso e complementar o trabalho já realizado e arquivado em MYSAMPLSOL. Entretanto, também é possível começar a partir de um dos arquivos permanentes (localizados em SRS400 ou em 2STG4400); essa opção impedirá a realização de análises a partir de arquivos incompletos ou incorretos de exercício. Para evitar desperdiçar esforços mais tarde, tenha bastante cuidado ao criar a pasta NAEA SAMPLING e suas subpastas. A menos que seja instruído a proceder dessa forma, não use a opção de salvar automa- ticamente e não sobrescreva os arquivos permanentes nas subpastas. Desse ponto em diante, você deve trabalhar com os arquivos localizados em seu disco rígido ou servidor. Se for necessário, pode abrir os arquivos de respostas contidos em www.elsevier.com.br/implementacao. À medida que progredir pelas várias tarefas ou exercícios, você estará acessando, criando e armazenando os arquivos equivalentes em seu disco rígido ou servidor. Observe que o SPSS17,a incluindo os módulos adicionais Complex Samples, foi usado para criar esse estudo de caso. Versões anteriores do SPSS podem mostrar ligeiras diferenças na apresentação ou nas opções do menu. O módulo opcional Complex Samples do SPSS é necessário para realizar alguns dos exercícios. Os motivos para as escolhas de estratificação, alocação de amostra, esquema de se- leção de amostra e vários outros conceitos-chave, bem como terminologia e abrevia- turas relacionadas, são explicados à medida que forem introduzidos. O gerente de pesquisa de Sentz conseguiu obter, junto ao Ministério da Educação, uma lista das 227 escolas no país que oferecem ensino de 8a série. A lista é organizada por região, província, densidade (urbana ou rural), cidade e escola. Cada escola na lista tem um número de identificação (schoolid) composto por província (dígito à es- querda), cidade (segundo dígito) e escola dentro da cidade (dois dígitos à direita). Por exemplo, a escola identificada pelo número 1413 está situada na província 1, cidade 4. De modo similar, para turmas dentro das escolas (neste caso, as turmas de 8a série em uma escola), será criado um número de identificação para a turma, adicionando-se um dígito à direita do identificador da escola: 14131, 14132, 14133, e assim por dian- te. Dois outros dígitos são adicionados para identificar os alunos dentro de sua turma. Se, por exemplo, a turma tiver 43 alunos, você usaria 1413101, 1413102, ..., 1413143. Para cada escola, o Ministério forneceu o número de turmas de 8a série (nbclass), o número total das crianças matriculadas em turmas de 8a série (medida de tamanho, ou school_size) e o tamanho médio da turma (avgclass). 72  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal Exercí cio 7. 1 (continuação) O arquivo SCHOOLS.SAV é a base amostral provisória das escolas em Sentz. Você pode abri-lo no visualizador do SPSS seguindo as instruções do SPSS dadas aqui. As palavras-chave e as instruções do SPSS estão em caixa baixa. Para ler a base amostral da escola na barra de menu, escolha as seguintes opções:    File – Open – Data – Look in ]      …\BASE FILES\SCHOOLS.SAV    Open Verifique se Data View, e não Variable View, está selecionado na parte inferior da tela. Verifique o registro número 6. Você deve ver que a escola 1202 está na região Nordeste, província 1, cidade 2, e é a escola número 2 na cidade. Essa escola tem três turmas com um total de 153 alunos na 8a série, para um tamanho médio de turma de 51.0 alunos (Figura 7.1.A do exercício). FIGURA 7.1.A EXERCÍCIO  Dados da Escola Sentz Fonte: Exemplo do autor usando o software SPSS. O SPSS não permite uma sessão aberta sem uma série ativa de dados. Para esco- lher a série de dados SCHOOLS sem fechar o SPSS, clique nas opções File – New – Data, e um conjunto de dados em branco aparecerá na tela. Em seguida, traga a série de dados SCHOOLS de volta para a tela e clique em File – Close para fechar SCHOOLS. a. A versão 17, usada aqui, foi lançada originalmente como SPSS. Durante 2009 e 2010, as versões lançadas receberam o nome Predictive Analytic Software (PASW). imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  73 Figura 7.1 Mapa de Sentz Nordeste Província 5 Província 1 Província 3 Província 2 Capital Grand River Província 4 Sudoeste Fonte: Representação dos autores. As crianças em Sentz podem frequentar uma escola local até o nível 2 da ISCED (segundo estágio de instrução básica: ensino básico), inclu� sive. As 227 escolas que oferecem instrução nesse nível compreendem 27.654 alunos em 702 turmas de 8a série. O ISCED nível 3 (ensino se­ cundário) é oferecido nas capitais regionais; o ISCED nível 4 (ensino pós-secundário não superior) e o nível 5 (primeiro estágio do ensino su­ perior) estão disponíveis somente na Capital. Nesse estudo de caso, são demonstrados dois projetos de amostra. O primeiro, um caso para referência, é uma amostra aleatória simples de 400 alunos da lista nacional. O número foi selecionado porque é o tamanho de amostra-alvo eficaz na maior parte das pesquisas sobre avaliação educacio� nal nacional e internacional.1 A pasta SRS400 do material encontrado em www.elsevier.com.br/implementacao contém os arquivos com as respos� tas para essa amostra. Em geral, é impossível executar um desenho de amos� tragem aleatória simples (SRS), por causa da ausência de uma lista com a base amostral completa e atualizada de todos os alunos elegíveis. Além disso, mesmo que uma lista desse tipo estivesse disponível, o projeto SRS 74  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal seria muito oneroso, porque envolveria a seleção de alunos em um número muito grande de escolas, envolvendo apenas um ou dois alunos em escolas selecionadas. A aplicação dos testes e das medidas de controle da qualidade absorveria grande parte do orçamento da avaliação nacional. O exemplo de SRS é usado aqui principalmente com fins pedagógicos e para permitir a comparação dos resultados usando essa abordagem com os resultados de um desenho real ou recomendado. O segundo desenho, referenciado como desenho recomendado, é o projeto padrão real usado na maioria das avaliações nacionais. Os arqui� vos com as respostas estão na pasta 2STG4400, assim chamada porque o desenho será uma amostra de dois estágios com um tamanho previsto de 4.400 alunos. O desenho inclui a estratificação geográfica ou admi� nistrativa, nesse caso as cinco províncias de Sentz. O desenho da amos� tra envolverá a seleção inicial das escolas (Fase 1), seguida pela seleção de uma turma por escola selecionada (Fase 2). Caso os pesquisadores queiram isolar o efeito dos professores no desempenho dos alunos do desempenho da escola, mais de uma sala de aula seria selecionada. Se estiverem interessados apenas no efeito da escola, a amostra de alunos deve ser selecionada a partir da série-alvo completa, independentemente da turma. Por razões orçamentárias e práticas, Sentz decidiu examinar uma sala de aula inteira de cada escola. O tamanho desejado da amostra de alunos se baseia na informação disponível sobre o tamanho da turma, a correlação intraclasse, os efeitos previstos do desenho e as necessidades analíticas e de relatório da avaliação. Na primeira fase, as escolas são alocadas em proporção ao número de alunos elegíveis em cada provín� cia e são selecionadas segundo a probabilidade sistemática proporcional à amostragem do tamanho (PPS). Em seguida, realiza-se uma amostra aleatória simples de uma turma inteira por escola. NOTA 1. Em algumas avaliações principais (tais como Tendências Internacionais no Estudo de Matemática e Ciências – TIMSS), as escalas psicométricas são centradas em 500, com desvio-padrão estabelecido em 100. Logo, para um tamanho de amostra igual a 400, o coeficiente de variação das pontuações estimadas é aproximadamente 1%, e os intervalos de confiança para a prevalência de características desconhecidas são de ± 5 pontos percentuais. Capítulo 8 Elementos da teoria da amostragem E ste capítulo descreve os elementos funda� mentais da teoria da amostragem, incluindo a amostra aleatória e algumas das técnicas de amostra aleatória mais importantes, como amostragem estratificada, amostragem multiestágio e amostragem por conglomerados. A amostragem probabilística costuma ser usada quando são necessá� rias estimativas confiáveis e válidas de determinadas características da população a partir de uma amostra, porque permite estimar a precisão (variância amostral ou erro-padrão) dessas estimativas. Essas caracterís� ticas podem ser expressas como contagens (por exemplo, número de crianças entre 10 e 15 anos); como totais (por exemplo, matrículas totais em escolas de ensino básico); ou como proporções (por exemplo, pro� porção de crianças que vivem em domicílios cuja renda anual está abaixo da linha nacional de pobreza). Todas essas características podem ser esti� madas a partir de uma amostra, contanto que tenham sido selecionadas segundo um esquema de amostragem probabilística, e procedimentos apropriados de campo tenham sido desenvolvidos e implementados. A amostragem probabilística requer que cada unidade na população de interesse – a população para a qual se buscam estimativas – tenha uma probabilidade conhecida não igual a zero de ser selecionada para compor a amostra. A amostragem probabilística não requer que todas as 76  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal unidades tenham a mesma probabilidade de seleção, mas sim que tenham uma probabilidade de ser selecionadas. Em uma avaliação nacional, as unidades relevantes são os alunos, seus professores, diretor e escola. Amostragem aleatória simples Quando todas as unidades têm a mesma probabilidade de seleção, o esquema de amostragem faz parte de um grupo maior de esquemas de amostragem chamados métodos iguais de amostragem probabilística. A população de interesse pode ser de 10 escolas. Os nomes das escolas são escritos em pedaços de papel idênticos, que são depositados em uma cai� xa. Os pedaços de papel idênticos são embaralhados e 2 dos 10 pedaços são sorteados da caixa. Em tese, cada escola tem 2 chances em 10, ou 1 em 5, de ser selecionada. O ponto de partida para todos os desenhos de amostragem probabilís� tica é a amostragem aleatória simples (SRS). A SRS é um método de se� leção composto por uma etapa que garante que cada amostra possível de tamanho n tenha uma possibilidade igual de ser selecionada. Consequente� mente, cada unidade na amostra tem a mesma probabilidade de inclusão. Essa probabilidade π é igual a n/N, em que N é o número de unidades na população e n é o tamanho da amostra. No exemplo do parágrafo anterior, como n = 2 e N = 10, π = 1/5. A Figura 8.1 descreve uma amostra aleatória simples de 7 escolas extraída de uma população de 45 escolas. A amostragem pode ser feita com ou sem reposição. A amostragem com reposição permite que uma unidade seja selecionada mais de uma vez; esse método não costuma ser usado na prática. A amostragem sem reposição significa que, uma vez que uma unidade (uma escola ou um aluno) tenha sido selecionada, não pode ser escolhida outra vez. A SRS com reposição e a SRS sem reposição são praticamente idênticas, se o tamanho de amostra for uma fração muito pequena do tamanho da po� pulação, porque a possibilidade de a mesma unidade aparecer mais de uma vez na amostra é pequena. Em geral, a amostragem sem reposição gera resultados mais precisos e é operacionalmente mais conveniente. Por várias razões, apenas a SRS normalmente não tem um custo ra� zoável, nem é prática em pesquisas nacionais realizadas em larga escala. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  77 Figura 8.1 SRS sem Reposição de Escolas Fonte: Representação dos autores. Nota: N = 45 escolas; n = 7 escolas (cinza). Hoje, programas de computador como o Excel e o SPSS (Statistical Pa� ckage for the Social Sciences), entre outros, oferecem ferramentas para a extração de amostras. Essas ferramentas podem ser bastante limitadas em escopo, como no caso do Excel, ou bastante amplas, como no caso do SPSS. O Exercício 8.2 usa o SRS como ferramenta de aprendizagem para extrair uma amostra de 400 alunos a partir de uma lista hipotética de alunos, para fins de exemplo. Amostragem aleatória sistemática Na amostragem aleatória sistemática (SYS), as unidades são selecionadas da base amostral em intervalos regulares. É necessário haver um interva� lo amostral e um início aleatório. Quando o tamanho da população, N, é um múltiplo do tamanho da amostra, n, cada ka unidade é selecionada em que o intervalo k é igual a N/n. Os ajustes simples a esse método es� 78  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal tão disponíveis se N não for um múltiplo exato de n. O início aleatório, r, é um número aleatório único que varia de 1 a k. As unidades selecio� nadas são: r, r + k, r + 2k,… r + (n – 1) k. Como na SRS, cada unidade tem uma probabilidade de inclusão igual a 1/k, mas, ao contrário da SRS, nem toda combinação de unidades n tem uma possibilidade igual de ser selecionada. A SYS pode selecionar apenas as amostras em que as unidades são separadas por k. Assim, sob esse método, somente as amostras possíveis de k podem ser extraídas da população. Como uma ilustração da SYS, suponha que um pesquisador em uma pro­víncia com uma população de N = 36 escolas tenha de extrair uma amos­ tra do tamanho n = 12 escolas. O intervalo de amostragem seria k = N/n = 36/12 = 3. Em seguida, o investigador seleciona um número aleatório que varia de 1 a 3, o valor para k. Suponha que seja 1. As esco� las selecionadas para a amostra são aquelas numeradas 1, 4, 7,… , 31 e 34. Com uma população de tamanho 36, existem somente três amostras possíveis SYS de tamanho 12, enquanto há mais de 1,2 bilhão de amos� tras aleatórias simples possíveis do mesmo tamanho. A SYS pode ser usada quando não existe nenhuma lista prévia das unidades da população. Nesse caso, uma base conceitual pode ser cons� truída pela amostragem de cada ka unidade até que o final da população seja alcançado. Por exemplo, se uma turma de aproximadamente 50 alunos for selecionada, mas não houver nenhuma lista de turmas, e for necessária uma amostra de alunos de “um a três”, o aplicador do teste pode receber um número de início aleatório que varia de 1 a 3. Suponha que o número seja 2. Quando o aplicador chegar à sala de aula selecio� nada, começará por um canto predeterminado da sala (por exemplo, primeiro lugar à esquerda da fileira dianteira), selecionará o segundo aluno, o quinto, e assim por diante. Se, na realidade, a turma tiver 46 alu­ nos, a amostra será composta pelos alunos 2, 5, 8,… , e 44. (Nenhum aluno receberá o número 47 ou 50.) Se a turma tivesse 54 estudantes, a amostra seria estendida para incluir os alunos 47, 50 e 53. Essa técnica é usada com frequência quando um aplicador de teste ou entrevistador pode viajar a campo somente uma vez. Observe que a parte “aleatória” da amostragem é feita antes da visita às escolas. A Figura 8.2 apresenta uma amostra aleatória sistemática de 7 escolas extraídas de uma popu� lação de 45 unidades. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  79 Figura 8.2 Amostra Aleatória Sistemática de Escolas Fonte: Representação dos autores. Nota: N = 45 escolas; n = 7 escolas (cinza); fase = 6; início = 4. Amostragem por conglomerados A amostragem por conglomerados é o processo de selecionar aleatoria� mente grupos completos (conglomerados) de unidades da população a partir da base da pesquisa. Em geral, é uma estratégia de amostragem de menos eficiência estatística do que a SRS porque tem uma variân� cia amostral maior para um dado tamanho de amostra. A amostragem por conglomerados, entretanto, apresenta diversas vantagens distintas. Primeiro, a amostragem por conglomerados pode reduzir significativa� mente o custo do levantamento de dados, principalmente se a popula� ção da escola estiver espalhada por um país de grandes dimensões. Por exemplo, uma avaliação nacional que envolva a amostragem de 1.000 alunos de 3a série em escolas a uma taxa de 25 em cada uma das 40 es� colas selecionadas será muito menos dispendiosa do que a amostragem de 1.000 alunos da mesma série espalhados aleatoriamente pelo país. 80  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal Segundo, nem sempre é prático fazer a amostragem de unidades indi� viduais da população. Às vezes, a amostragem de grupos das unidades de população ou conglomerados (por exemplo, salas de aula inteiras) é muito mais fácil, ou pode ser necessária por razões administrativas. Por fim, a amostragem por conglomerados apoia a produção das estimativas (por exemplo, aproveitamento médio por sala de aula ou por escola). A Figura 8.3 fornece um bom exemplo de uma amostra de três conglome� rados escolares envolvendo 19 escolas, extraída de uma população de 45 escolas agrupadas em 7 conglomerados. A amostragem por conglomerados é um processo em duas etapas. Pri� meiro, a população é agrupada em conglomerados. (Os conglomerados naturais, como escolas ou salas de aula, podem já existir.) Segundo, uma amostra dos conglomerados é selecionada, e todas as unidades dentro dos conglomerados selecionados são incluídas na pesquisa (por exemplo, to� dos são testes aplicados). A base amostral da pesquisa pode determinar o método de amostragem. Se as unidades da população forem naturalmente Figura 8.3 Amostra por Conglomerados de Escolas Fonte: Representação dos autores. Nota: N = 7 conglomerados (45 escolas); n = 3 conjuntos (19 escolas = unidade). imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  81 agrupadas, será mais fácil criar uma base amostral desses grupos, e realizar a amostragem, do que tentar criar uma lista de todas as unidades individuais na população. Por exemplo, uma lista das escolas pode ser o único dado disponível para uma equipe de avaliação nacional. Na Figura 8.3, cada uma das sete áreas retangulares separadas por linhas contínuas representa uma área da escola. Três áreas escolares fo� ram selecionadas por um método de amostragem aleatória, e todos os alunos nas áreas selecionadas (mostradas em cinza) devem ser testados. Esse método de amostragem requer a visita a três áreas geográficas com� pactas apenas, mas gera amostras em 19 escolas. A SRS, por outro lado, requereria a visita a sete escolas geograficamente dispersas, como a SYS (ver Figuras 8.1 e 8.2). Há um número de considerações a serem feitas quando se leva em conta a amostragem por conglomerados. Para que as estimativas sejam estatisticamente eficientes, as unidades dentro de um conglomerado de� vem ser tão diferentes quanto possível. Se as unidades dentro de um conglomerado forem muito similares, tendem a fornecer informações semelhantes. Infelizmente, unidades dentro de um conglomerado ten� dem frequentemente a ter características similares e são mais homogê� neas do que as unidades selecionadas aleatoriamente na população geral. Em consequência, normalmente é necessária uma amostra maior para se conseguir um nível fixo de precisão que seria o caso da SRS. Algumas escolas ou sistemas educacionais organizam as turmas levando em conta fatores como a competência percebida dos alunos em áreas do currículo. Nessa situação, uma escola pode, por exemplo, ter um número suficiente de alunos em determinado nível para formar três turmas. Uma turma pode ser composta de alunos sobre os quais recaia a expectativa (se� gundo os resultados dos anos anteriores ou seus interesses expressos) de continuar seus estudos em matemática ou ciências; outra pode ser com� posta de alunos que tenham aptidão ou preferência pela área de humanas; e uma terceira turma pode ser composta por alunos para os quais a expec� tativa é que não continuem por muito tempo na escola. Nessa situação, seria esperado que a maioria dos alunos da primeira turma se saísse bem em testes de matemática, o segundo grupo talvez se saísse não tão bem em matemática mas melhor em línguas, enquanto provavelmente o terceiro grupo pareceria relativamente fraco em ambas as áreas. Em tais circunstân� 82  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal cias, a amostragem por conglomerados seria estatisticamente ineficiente: a seleção de uma única turma inteira sugeriria que os alunos são excelentes em matemática e fracos em línguas, ou o contrário, ou fracos em ambas as áreas. Uma situação desse tipo sugere que, do ponto da vista da eficiência amostral, selecionar alguns alunos de cada uma das três turmas seria melhor para aumentar as possibilidades de se obter um retrato equilibrado dos ní� veis de aproveitamento dos alunos na escola. Entretanto, frequentemente existem razões práticas – relacionadas a objetivos da pesquisa, restrições ad� ministrativas ou custos de testagem – para selecionar salas de aula intactas. As razões para selecionar turmas intactas incluem o interesse do diretor ou gerente de escola em minimizar a quantidade de transtornos em uma escola durante o teste ou o interesse do pesquisador em aplicar um modelo analíti� co específico ou em quantificar a influência relativa da escola, do professor ou da turma no aproveitamento individual. A eficiência estatística da amostragem por conglomerados depende do grau de homogeneidade dos conglomerados, de quantas unidades de popu� lação se situam em cada agrupamento e do número de conglomerados que fazem parte da amostragem. Uma medida-padrão dessa eficiência (na reali� dade, ineficiência) é chamada de efeito do conglomerado ou efeito do dese� nho. Um valor 1 significa que o desenho em questão é tão eficiente quanto a SRS. Se o efeito do desenho for muito superior a 1, como geralmente ocorre na amostragem por conglomerados, o desenho é menos eficiente. Uma amostra por conglomerados com um efeito de desenho 5 necessitaria extrair uma amostra cinco vezes maior do que uma amostra aleatória sim� ples para gerar estimativas de precisão comparável. O valor do efeito do desenho depende de dois fatores: (a) o núme� ro de unidades no conglomerado (número de alunos na turma, nesse exemplo) e (b) o grau em que os alunos da mesma turma se assemelham uns aos outros mais do que se assemelham àqueles em outras turmas ou escolas no que diz respeito a alguma variável ou a variáveis a serem medidas. Esta última medida é conhecida como correlação intraclasse ou como roh (taxa da homogeneidade), ou ainda como rho. No caso de pontuações no teste de matemática, que esse exercício entende como a variável mais importante da avaliação nacional de Sentz, essa correlação intraclasse chega frequentemente a 0,25 ou 0,30. O valor do roh seria provavelmente diferente para outras variáveis. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  83 A amostragem da avaliação nacional, ou o pessoal da área de estatísti� ca, deve usar a seguinte fórmula para calcular o efeito do desenho (deff) (Kish, 1965; Lohr, 1999): deff = (1 + roh × (M – 1)), em que M é o tamanho do conglomerado (turma) e roh é a taxa de ho� mogeneidade ou correlação intraclasse. Para um roh = 0,25 e tamanho da turma M = 35, deff = (1 + 0,25 × (35 – 1)) = 1 + 8,5 = 9,5. As estimativas do roh podem ser obtidas a partir das avaliações nacio� nais anteriores de séries similares ou adjacentes. Se esses dados não esti� verem disponíveis, as estimativas podem ser obtidas dos resultados dos exames públicos ou “emprestadas” de avaliações de um país vizinho con� duzidas em um país com características educacionais similares. Quando as unidades vizinhas são semelhantes, a seleção de muitos conglomera� dos pequenos é estatisticamente mais eficiente do que selecionar alguns conglomerados maiores. No exemplo de Sentz, o desenho recomendado é selecionar deter� minado número de escolas e pegar uma turma inteira como um conglo� merado em cada escola selecionada. Embora essa abordagem seja usada, em grande parte, por questões administrativas, há um preço substancial a pagar em função da eficiência estatística, porque as correlações intra� classe e os tamanhos grandes de turma tendem a tornar os efeitos do desenho mais elevados. Estratificação A SRS e a SYS dos elementos e dos conglomerados são métodos simples e básicos para se extraírem amostras aleatórias, mas podem não ser os métodos mais eficientes. Uma estratégia eficaz com frequência emprega a informação disponível nas unidades de interesse criando grupos ho� mogêneos de unidades – chamados de estratos (strata) – e aplica algum método básico de amostragem dentro dos estratos. Antes da seleção da amostra, a equipe de avaliação nacional pode querer organizar a amostragem de modo que grupos específicos de uni� dades ou de determinadas áreas do país sejam cobertos com certeza. Os 84  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal formuladores de políticas, por exemplo, podem desejar obter estima� tivas do aproveitamento escolar para províncias ou regiões ou podem querer examinar dados de grupos linguísticos diferentes ou de escolas grandes e pequenas. A equipe pode esperar que as escolhas aleatórias rendam um número suficiente de unidades em cada província ou re� gião para permitir estimativas de confiança. Alternativamente, ela pode organizar sua estratégia de amostragem listando primeiro a população das escolas nos grupos (por exemplo, províncias ou grupos linguísticos) e, então, selecionar a parte da amostra total de cada um desses grupos. Essa estratégia, denominada estratificação, pode ser usada com qualquer método de amostragem probabilística. A estratificação requer mais tra� balho no início da avaliação nacional, mas as recompensas superam em muito o trabalho extra requerido. As escolas foram estratificadas nas avaliações nacionais por localização, idioma, afiliação religiosa, fonte de financiamento e grau de urbanização. A experiência mostra que a estratificação em um número excessi� vo de critérios é contraproducente. Na verdade, as exigências impostas pela estratificação frequentemente aumentam o tamanho da amostra. Além disso, o número de unidades que acabam no estrato “errado” pode aumentar com o número dos estratos, especialmente aquelas que se baseiam em uma informação mais temporária ou menos confiável, tal como o número de membros da equipe de funcionários ou matrícula do aluno. Dependendo da situação, algumas avaliações nacionais usam uma, duas ou mais variáveis de estratificação. A estratificação pode melho� rar a eficiência estatística e total, reduzindo o tamanho (e o custo) da amostra e mantendo o nível de confiabilidade. Esse curso de ação requer o trabalho de um estatístico de pesquisa acostumado a lidar com esses problemas. A Figura 8.4 ilustra uma amostra aleatória estratificada de 45 escolas usando uma variável de estratificação de três níveis. Uma população pode ser estratificada pela variável para a qual os dados estão disponíveis a todas as unidades da base amostral antes da avaliação. Essa informação pode ser tão simples quanto o endereço da escola, que possibilitaria a estratificação por localização geográfica. As variáveis de estratificação geralmente usadas em pesquisas de avaliação incluem localização geográfica (como a região, a província ou a cidade); imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  85 Figura 8.4 Amostra Aleatória Estratificada das Escolas Fonte: Representação dos autores. Nota: H = 3 estratos; N1 = 32; N2 = 5; N3 = 8; n1 = 2; n2 = 4; n3 = 2. financiamento particular ou público; tipo de programa educacional (pri� mário ou secundário, acadêmico ou vocacional); e gênero dos estudantes (meninas, meninos, turmas mistas). Três razões principais justificam a estratificação. Primeiro, ela torna a estratégia de amostragem estatisticamente mais eficiente do que SRS ou SYS. Segundo, ajuda a assegurar tamanhos de amostra adequados a do� mínios específicos de interesse para análise posterior. Terceiro, protege contra a extração de uma amostra “ruim”. As seções seguintes examinam em mais detalhes cada uma dessas razões. Aumento da eficiência estatística Para determinado tamanho de amostra e estimador, a estratificação pode conduzir a um erro menor de amostragem ou, inversamente, para deter� minado erro de amostragem, a um tamanho de amostra menor. Embora a 86  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal amostragem por conglomerado e a estratificação sejam métodos de agrupar unidades na população, na amostragem estratificada, amostras de unidades são extraídas dentro de cada estrato, enquanto na amostragem por conglo� merados as amostras de conglomerados são extraídas e todos no conglo� merado são avaliados. A estratificação geralmente aumenta a precisão da estimativa no que diz respeito à SRS, enquanto o aglomerando geralmente a diminui (porque as unidades vizinhas costumam ser similares). Para maior eficiência estatística de uma estratégia de amostragem no que diz respeito à SRS, deve haver forte homogeneidade dentro de um estrato (isto é, as unidades dentro de um estrato devem ser similares com respeito à variável do interesse), e os estratos devem ser tão diferen� tes quanto possível (quanto à mesma variável de interesse). Geralmente, esse objetivo é conseguido se as variáveis de estratificação forem correla� cionadas com a variável de interesse da pesquisa (tal como o aproveita� mento em letramento e a localização em área rural e urbana). O exemplo de três turmas (matemática, humanas e possíveis alu� nos que abandonarão antes de concluir) já dado para a amostragem por conglomerados pode ser estendido para a ilustração. Suponha que as listas provinciais de turmas possam ser organizadas em três estratos, cor� respondendo aos três tipos de turmas. A seleção aleatória das turmas do primeiro estrato geraria, com frequência, amostras de alunos fortes em matemática, independentemente das turmas que foram seleciona� das. Da mesma forma, o segundo estrato resultaria em uma seleção de alunos que, em geral, eram relativamente fracos em matemática. Com a amostragem aleatória estratificada, a amostra de cada um dos três es� tratos deve dar um resultado que seja representativo dos estratos como um todo e, quando os resultados são combinados, deve fornecer uma estimativa precisa para a província como um todo. A estratificação pode aumentar a precisão das estimativas relativas à SRS. De acordo com Cochran (1977, p. 90), se cada estrato for homogêneo onde as medidas variem pouco de uma unidade para a outra, uma estimativa precisa de qualquer média de estrato pode ser obtida a partir de uma amostra pequena nesse estra� to. Essas estimativas podem então ser combinadas em uma estimativa precisa para a população inteira. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  87 A estratificação é particularmente importante no caso de populações oblíquas (isto é, quando a distribuição dos valores de uma variável de interesse não é simétrica, mas se inclina à direita ou à esquerda). Por exemplo, a base amostral de primeira fase pode ser apenas uma lista das escolas que contêm números de matrículas aproximados, mas desa� tualizados. Nesse caso, uma estimativa mais exata das matrículas totais pode ser um objetivo da pesquisa sobre a avaliação. Se a SRS for usada, algumas escolas podem exercer grande influência nas estimativas das matrículas totais. Se as escolas maiores forem selecionadas, podem cau� sar grande superestimação do total. A estratificação pelo tamanho (um estrato para as escolas maiores, um estrato para escolas de tamanho mé� dio e um estrato para escolas pequenas) pode ajudar a assegurar que as escolas selecionadas em cada estrato representem outras escolas de um tamanho aproximadamente semelhante na população. A estratificação pelo tamanho da escola parece razoável se for de� sejável obter uma estimativa do tamanho da população matriculada. A estratificação pelo tamanho da escola, entretanto, pode não ser reco� mendada se a variável de interesse for, por exemplo, a idade média dos professores de matemática, porque não existe razão para supor correla� ção entre a idade do professor e o tamanho da escola. Com frequência, as variáveis de estratificação são escolhidas com base em sua correlação esperada com as variáveis-chave que estão sendo avaliadas (como lingua� gem ou matemática) em âmbito nacional. Observe que uma abordagem de estratificação que seja estatisticamente eficiente para uma variável de pesquisa pode não ser eficiente para outras. Assegurando a cobertura do domínio de interesse Em uma avaliação nacional, os formuladores de políticas podem buscar estimativas de aproveitamento para subgrupos da população, chamados domínios, e também para a população total. Eles podem, por exemplo, desejar comparar níveis de aproveitamento de alunos em províncias ou em regiões diferentes, ou de meninas e meninos, ou de alunos que fre� quentam tipos diferentes de escolas (públicas ou particulares). A cria� ção de estimativas para subgrupos é chamada estimativa do domínio. 88  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal Se forem necessárias estimativas de domínio, o desenho da amostra deve garantir que o tamanho da amostra para cada domínio seja adequado. Idealmente, os estratos devem corresponder aos domínios de interesse. Evitando amostras “ruins” A estratificação ajuda a evitar uma amostra “ruim” ou incomum. Na SRS, a seleção da amostra é deixada inteiramente ao acaso. A amostragem estratifi� cada tenta restringir amostras potencialmente extremas ao procurar garantir que determinadas categorias da população de alunos estejam incluídas na amostra. Por exemplo, se uma avaliação nacional enfatizou os efeitos do tamanho da escola no aproveitamento escolar, o desenho da amostra pode incluir a estratificação por tamanho da escola. A equipe de avaliação nacional de Sentz considerou várias opções de estratificação. Limitar a base amostral às duas regiões, Nordeste e Sudoeste, foi considerada uma opção inadequada porque não forneceria dados com informações suficientes para os formuladores de políticas. Em vez disso, a equipe optou pela estratificação por província (três no Nordeste e duas no Sudoeste). O cálculo de estimativas seria um processo simples de adição quando as estimativas em nível de província estivessem disponíveis. Além disso, se os arquivos para cada estrato de província forem classi� ficados por densidade de cidade (isto é, urbana ou rural) antes da seleção das escolas, a amostragem sistemática (seja com probabilidade igual ou com probabilidade proporcional ao tamanho da cidade) garantirá que algumas escolas de áreas urbanas e algumas de áreas rurais sejam sele� cionadas, gerando estimativas de domínio razoavelmente eficientes se a análise urbana comparada com a análise rural for considerada impor� tante. A equipe de avaliação nacional percebeu que era desnecessário usar as cidades diretamente como estratos (teria gerado 33 estratos, um número com apenas duas escolas elegíveis). Alocação da amostra através dos estratos Após a população ser dividida em estratos, a equipe de avaliação nacio� nal, com a orientação do conselheiro de amostragem, deve determinar imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  89 quantas unidades de amostra devem ser usadas para cada estrato. Essa etapa é conhecida como alocação da amostra. As probabilidades de inclusão (isto é, a probabilidade de que a uni� dade seja escolhida em uma amostra) variam geralmente de estrato para estrato porque dependem de como a amostra é alocada a cada estrato. Para calcular as probabilidades de inclusão para a maioria dos desenhos de amostra, devem-se considerar o tamanho da amostra e o tamanho da população em cada estrato. Para fins de exemplo, considere uma popu� lação de N = 1.000 escolas estratificadas em dois grupos, rural e urbano. O grupo, ou estrato urbano, tem N1 = 250 escolas e o estrato rural tem N2 = 750 escolas. Se a SRS for usada para selecionar n1 = 50 escolas do primeiro estrato e n2 = 50 escolas do segundo, a probabilidade de uma escola do primeiro estrato ser selecionada é π1 = 50/250 = 1/5, e a probabilidade de uma escola do segundo estrato ser selecionada é π2 = 50/750 = 1/15. As escolas têm assim probabilidades diferentes de in� clusão, dependendo de sua localização ou estrato. Nesse exemplo, uma escola de área urbana tem mais probabilidade de ser selecionada do que uma escola de área rural. A alocação da amostra de avaliação nacional aos estratos pode ser uma tarefa difícil. Com orçamento fixo e conhecimento limitado (se é que o conhecimento existe) das características das unidades de interesse, a maior parte da teoria sobre estratificação e alocação de amostra ótima é de uso limitado. Com frequência, é necessário recorrer às considera� ções práticas e procurar conselhos de especialistas para elaborar uma estratégia viável de alocação de amostra. Duas estratégias comuns de alocação de amostra são (a) alocação igual e (b) alocação proporcional. Com alocação igual, cada estrato recebe o mesmo número de unidades de amostra; esse método é recomendado para estratos equilibrados. Na alocação proporcional, cada estrato recebe uma parte da amostra correspondente à sua parte da população. Esse método é a opção preferida quando as estimativas nacionais são de grande interesse. A alocação igual pode não ser tão boa quanto a alocação proporcional para estimativas nacionais, mas pode ser preferível se as estimativas de domí� nio forem necessárias e se houver correspondência entre os estratos e os domínios. A alocação igual também pode ajudar a assegurar que unidades suficientes componham a amostra para cada domínio ou estrato. 90  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal Se a alocação proporcional for usada, a amostra das escolas deve ser alocada de modo que o número de alunos na amostra em cada estrato seja proporcional ao número de alunos na população em cada estrato. Algumas escolas podem ter uma medida de tamanho (MOS) equivalente a zero para a população-alvo. Elas devem permanecer na base amostral se tiverem alguma possibilidade de adquirir alunos elegíveis no período de teste. Também devem receber um valor MOS preliminar de um e ser incluídas nos totais relevantes. Se não houver nenhuma possibilidade de que essas escolas venham a conseguir qualquer aluno elegível a tempo para a avaliação, devem ser removidas da base amostral. Em geral, se são necessárias estimativas separadas para os estratos, se� rão necessários níveis iguais de precisão da amostragem para cada estra� to. Tal precisão geralmente requer a amostragem de um número igual de escolas em cada estrato, não obstante o tamanho do estrato. Como cada estrato deve ter um mínimo de duas escolas participantes para permitir a estimativa do erro amostral (ver Anexo IV.C), o número alocado para a seleção deve ser ajustado para a não resposta prevista. Os membros da equipe de avaliação nacional encarregados da amos� tragem são responsáveis por assegurar que a amostra da escola esteja alo� cada corretamente. Eles devem consultar um especialista em amostra� gem. Tais especialistas são encontrados frequentemente em ministérios além do da Educação (como o escritório estatístico nacional ou o minis� tério responsável por pesquisas domiciliares nacionais). Um especialista em amostragem pode fornecer auxílio em questões como quantas esco� las devem ser incluídas por estrato e o que fazer quando um estrato tem poucas escolas. O Exercício 8.1 trata mais profundamente da alocação nos estratos. Outras estratégias de amostragem que requerem informa� ções muito mais detalhadas sobre as unidades individuais estão além do escopo deste capítulo. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  91 Exercí cio 8. 1 Cálculo do Tamanho da Amostra e Alocação aos Estratos De acordo com as informações mais recentes disponíveis do Ministério da Educação de Sentz, espera-se que o tamanho médio da turma seja de aproximadamente 37 alunos. As sugestões dos colegas em países vizinhos com características educacio- nais similares sugerem que a correlação intraclasse para a pontuação de matemática, escolhida como a principal variável-alvo, tende a estar entre 0,25 e 0,30. Essa taxa de homogeneidade iguala-se a um efeito do desenho em algum lugar entre 10 e 12. Ao calcular o tamanho da amostra, a equipe de amostragem optou pelo ponto médio dessa escala, 11. Assim, para obter um tamanho de amostra eficaz equivalente a 400 abaixo da SRS, seria necessária uma amostra de 4.400 alunos para o desenho proposto. Como o plano envolve a escolha de uma única turma por escola seleciona- da, a equipe deve selecionar 4.400/37 = 118,9 escolas. Com finalidade prática, esse número pode ser arredondado para até 120 escolas. O Ministério da Educação havia recomendado que a equipe de avaliação nacional otimizasse a precisão das estimativas nacionais. Logo, a equipe usou uma alocação de amostra proporcional ao tamanho dos estratos (neste caso, as cinco províncias), em que o MOS é a medida relevante do tamanho. Segundo essa abordagem de alo- cação, a porcentagem de alunos na amostra em cada estrato deve ser mais ou menos como a porcentagem dos alunos na população em cada estrato.a Ao concluir as seguintes etapas do SPSS, você poderá: yy Examinar informações em nível de província. yy Calcular os totais das províncias. yy Calcular um total nacional. yy Calcular a alocação proporcional de um tamanho de amostra de n = 120 escolas para os estratos (províncias). yy Armazenar toda essa informação para uso posterior. Primeiro, abra o arquivo PROVINCES usando os seguintes comandos:    File – Open – Data – Look inb       …\BASE FILES\PROVINCES.SAV    Open Você verá um MOS total (PROV_SIZE) para as partes rurais e urbanas de cada provín- cia. O total nacional também será necessário. Logo, uma variável dummy COUNTRY será criada e ajustada para 1 como se segue: Selecione Transform – Compute Variable. Digite COUNTRY em Target Variable. Digite 1 em Numeric expression, e clique em OK. Selecione Data – Aggregate. Em seguida, mova COUNTRY PROVINCE para Break variables. Em seguida, mova PROV_SIZE para Summaries of variables. 92  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal Exercí cio 8. 1 (continuação) Clique em Function e selecione Sum. Clique em Continue. Clique em Name & Label. Digite PROV_TOT como nome e clique em Continue. Clique em Create a new dataset… e digite um nome, PROVTOT. Clique em OK. Você deve ver os dados PROV_TOT para cada uma das cinco províncias. Verifique as janelas de resultados porque eles podem aparecer em uma janela diferente, Untitled [PROVTOT]. O dado PROV_TOT para a província 2 é 4.448. Traga os dados PROVTOT que você acabou de criar para a tela de visualização e se- lecione Data – Aggregate. Em seguida, mova COUNTRY para Break variables. Em seguida, mova PROV_TOT para Summaries of variables. Clique em Function e selecione Sum. Clique em Continue. Agora, clique em Name & Label. Digite COUNTRY_TOT como nome e clique em Continue. Clique em Add aggregated…. Por fim, clique em OK. Você deve ver um total nacional de 27,654 na tela Data View. Agora, a série de dados PROVTOT contém os totais nacionais e da província. A alo- cação das províncias de 120 escolas pode agora ser computada, e os resultados, armazenados para uso futuro. Esse exercício usa a função RND para obter valores de números inteiros. Selecione Transform – Compute Variable. Em seguida, digite ALLOC em Target Variable. Digite RND(120*PROV_TOT/COUNTRY_TOT) em Numeric expression. Clique em OK. O arquivo que contém a alocação de amostra agora se parece com o exibido na Fi- gura 8.1.A do exercício. FIGURA 8.1.A EXERCÍCIO  Alocação de Amostra Sentz Fonte: Exemplo do autor dentro do software SPSS. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  93 Exercí cio 8. 1 (continuação) Salve esse arquivo no diretório MYSAMPLSOL, como se segue: Selecione File – Save as – Look in    …\MYSAMPLSOL\ Digite SCHOOLALLOC como nome do arquivo. Clique em Save. Em seguida, clique em File – Close. Você também pode fechar a série de dados PROVINCES sem salvar nenhuma mudança que tenha feito. a. Se o ministério ou comissão de coordenação especificou que fosse dada prioridade a determinadas estimativas subnacionais (tais como regiões), alguma forma de alocação des- proporcional pode ser mais eficiente, à custa de uma precisão ligeiramente inferior para as estimativas nacionais. Uma situação desse tipo deve ser discutida com um estatístico expe- riente porque também pode afetar as decisões sobre estratificação. b. O SPSS17 foi usado para preparar todos os programas e exemplos. SPSS18 tem algumas mudanças menores; os detalhes de algumas funções ou itens do menu podem ter mudado (por exemplo, a instrução “next” não é mais necessária para fechar alguns submenus). De- pendendo das opções selecionadas durante a instalação, SPSS18 pode compilar automatica- mente um registro muito útil de todos os procedimentos e scripts executados. Amostragem com probabilidade proporcional ao tamanho A amostragem de probabilidade desigual ocorre quando as probabilida� des de seleção diferem de uma unidade para a outra. Por exemplo, cida� des maiores ou escolas maiores podem ter informação mais diversificada porque têm mais alunos do que cidades ou escolas menores. Em con� sequência, o conselheiro de avaliação nacional pode dar prioridade, na forma de uma probabilidade mais elevada de seleção, a unidades maio� res em detrimento das menores. Cidades ou escolas menores podem, em alguns exemplos, gerar poucas informações adicionais, e os custos do levantamento de dados podem ser quase tão dispendiosos quanto para unidades maiores. Em nome da economia, a equipe de amostragem pode sentir-se tentada a restringir a amostragem às unidades maiores, talvez até limitar a seleção às 5 ou 10 cidades ou escolas maiores. Se isso acontecer, as unidades menores não terão nenhuma possibilidade de ser selecionadas na prática. A amostra não é uma amostra probabilística da população definida ou da base amostral disponível porque muitas esco� las foram excluídas. 94  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal Uma abordagem alternativa seria adotar um plano de amostragem probabilística desigual que desse uma probabilidade mais elevada para as unidades maiores e uma probabilidade menor às unidades menores. Segundo esse plano, todas as unidades teriam alguma possibilidade de ser selecionadas, mas as unidades maiores e mais informativas recebe� riam tratamento preferencial. Supondo o exemplo de uma população de 12 escolas, 4 com 100 estudantes e 8 com 50 estudantes cada, é possível extrair uma amostra de alunos selecionando as escolas grandes com pro� babilidade 1/4 (ou 100/400), e as escolas menores com probabilidade 1/8 (ou 50/400). As escolas maiores teriam duas vezes mais probabilida� de de ser selecionadas do que as escolas menores, mas todas elas teriam alguma probabilidade de ser selecionadas. Na amostragem probabilística, cada unidade da amostra representa de� terminado número de unidades na população de tal maneira que a amos� tra como um todo representa a população inteira. O número de unidades da população representadas por uma unidade da amostra é chamado seu peso amostral. Quando a amostra for extraída com probabilidade igual (por exemplo, duas escolas selecionadas com probabilidade 1/10 cada), então cada escola selecionada representará o mesmo número de escolas na popu� lação. Do mesmo modo, na amostragem probabilística desigual, o número das escolas na população representada por uma escola da amostra variará de acordo com as possibilidades que a escola tinha de ser selecionada: quanto mais chances de ser selecionada, menor o peso amostral, e vice-versa. Os principais estudos internacionais de aproveitamento escolar (como o Programa Internacional de Avaliação de Alunos, o Estudo In� ternacional sobre o Progresso do Letramento em Leitura e as Tendências Internacionais no Estudo de Matemática e Ciência) usam a amostragem probabilística desigual. As amostras são extraídas com um método de pro­ babilidade desigual conhecido como PPS, que significa probabilidade proporcional ao tamanho, em inglês. Tipicamente, as probabilidades de seleção da escola se baseiam em seu MOS (isto é, o número de alunos na população-alvo em cada escola). Por exemplo, em uma cidade com cinco escolas que tenham 400, 250, 200, 100 e 50 alunos para um total de 1.000 alunos, a amostragem PPS resultaria nas probabilidades da se� leção da escola proporcionais a estes tamanhos: 400/1.000, 250/1.000, 200/1.000, 150/1.000, e 50/1.000, respectivamente, se for preciso imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  95 selecionar apenas uma escola, ou 800/1.000, 500/1.000, 400/1.000, 300/1.000, e 100/1.000, se for preciso selecionar duas escolas. Observe que, se for preciso selecionar três escolas nesse exemplo, a primeira não poderá receber uma probabilidade de 1.200/1.000, que é superior a 1; ela deve ser selecionada com certeza. A probabilidade de seleção com PPS para as duas escolas restantes selecionadas é determinada pela rea� locação das medidas restantes de tamanho entre as outras quatro escolas. As probabilidades de seleção sob o PPS dessas quatro escolas seriam 500/600, 400/600, 200/600 e 100/600. Essa aproximação da amostragem pode ser aplicada às bases amostrais em nível de escola e também às bases amostrais fundamentadas em área (tais como listas das províncias ou das cidades) se os dados apropriados do MOS forem conhecidos. Amostragem multiestágio Em muitas pesquisas de população humana, o acesso direto aos indiví� duos não é possível. Pode não haver um registro atualizado central das pessoas ou, se existir, seu uso pode ser rigidamente regulado, ou estar fora do alcance dos indivíduos que respondem à pesquisa. Essa situação é quase sempre o caso das avaliações educacionais de alunos dentro das salas de aula, dentro das escolas, dentro das cidades ou dentro de outras jurisdições. O acesso indireto aos membros da população-alvo pode ser viável com a utilização de uma técnica chamada amostragem multiestá- gio. Na amostragem multiestágio, prepara-se uma lista de unidades gros� seiras (como unidades geográficas ou escolas em pesquisas educacionais) e algumas dessas unidades são amostradas. Para cada unidade amostrada, prepara-se uma lista de unidades menores (tipicamente, endereços ou casas, ou, em pesquisas educacionais, professores ou alunos). Em segui� da, uma amostra dessas unidades menores é selecionada dentro de cada unidade selecionada antes, e o processo continua até que a equipe de amostragem identifique os indivíduos a serem pesquisados ou testados. As unidades amostradas na primeira fase são chamadas unidades primá- rias de amostragem (PSUs); de forma similar, há unidades secundárias de amostragem e unidades terciárias de amostragem. 96  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal Figura 8.5 Amostragem Multiestágio Fonte: Representação dos autores. Muitas avaliações nacionais de aproveitamento escolar empregam um desenho de duas fases para escolas como PSUs e de alunos como unidades secundárias de amostragem. Esse desenho corresponde a um dos planos de amostragem considerados para o estudo de caso de Sentz. Alguns países maiores estendem o desenho a três fases, selecionando pri� meiro as áreas geográficas dentro das quais o desenho de duas fases que acabou de ser descrito é implementado. Dentro das escolas, a unidade selecionada é frequentemente a turma, porque os administradores de grandes escolas acreditam que testar uma turma-alvo inteira causa me� nos inconveniente que testar alunos individualmente selecionados em turmas-alvo diferentes na escola. A Figura 8.5 apresenta uma amostra de alunos em três estágios: três de sete bairros são selecionados na fase 1; em seguida, três, quatro e duas escolas são selecionadas na fase 2; finalmente, alguns alunos de cada es� cola são selecionados (fase 3). imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  97 Extração de amostras Chegou a hora de selecionar as amostras para os dois desenhos para Sentz: (a) a referência SRS de 400 alunos (ver Exercício 8.2) e (b) a amostra de 4.400 alunos que usa o desenho recomendado de duas fases. Exercí cio 8. 2 Seleção do SRS de 400 Alunos As seguintes instruções extraem uma amostra aleatória simples de tamanho n = 400 alunos da base amostral completa armazenada no diretório SRS400. Se você quiser reproduzir essa mesma amostra, terá de especificar o valor iniciala que o SPSS recebeu ao criar essa amostra. Escolha File – Open – Data – Look in… …\BASE FILES\STUDENTS.SAV. Clique em Open. Use, então, os seguintes comandos: Analyze – Complex samples – Select a sample. Selecione Design a sample e escolha um nome para salvar o arquivo (por exemplo, SRS400). Clique em Next. Pule Design variables. Clique em Next outra vez. Em Sampling Method, escolha simple random sampling e clique em without repla- cement. Em seguida, clique em Next. Em Sample size, escolha counts, clique em value, e digite 400. Em seguida, clique em Next. Em Output variables, selecione pelo menos population size, sample size, e sample weight. Clique em Next. Em Summary, clique em No porque não há mais nenhuma outra fase de amostragem. Em seguida, clique em Next. Agora, o plano de amostra está detalhado, e a seleção da amostra pode prosseguir. Em Draw sample selection options, clique em Yes e fase All (1). Clique em Custom value,b e digite 1234321 para obter a amostra que aparecerá mais tarde nesta seção; caso contrário, clique em A randomly-chosen number para obter uma nova amostra. Clique em Next. Em Draw sample output files, selecione External file e nomeie-o …\MYSAMPLSOL\ STUDENTSRSAMPLE. Clique em Save e, em seguida, em Next. Em Completing the sampling wizard, escolha Save the design to a plan file and draw the sample. Clique em Finish. 98  |  SÉ R IE Pe s quis a s do Ba nc o Mundial sobre avalia ç õe s de D e se mpe nh o E du c ac i onal Exercí cio 8. 2 (continuação) As primeiras variáveis do arquivo …\MYSAMPLSOL\STUDENTSRSAMPLE devem parecer aquelas exibidas na Figura 8.2.A do exercício. Em alguns exemplos, a ordem das variáveis pode diferir daquela que é mostrada aqui. FIGURA 8.2.A DO EXERCÍCIO  Variáveis de Seleção SRS (Continua) Fonte: Exemplo do autor dentro do software SPSS. a. Um número inicial é um número usado como ponto de partida por programas que com- putam números “pseudoaleatórios”; cada número inicial gerará uma sequência única de nú- meros pseudoaleatórios. b. Esse é o valor inicial usado neste exemplo. Vários pacotes de software, com destaque para SPSS, SAS (Statistical Analysis Software) e Stata, têm suas próprias ferramentas de seleção de amostra. O SPSS oferece um conjunto de procedimentos chamados Complex Sample. O Stata oferece um número de scripts, e o SAS pro� põe cinco procedimentos criados especificamente para se trabalhar com desenhos complexos de amostra. O Research Triangle Institute criou um grande número de rotinas SAS chamadas SUDAAN (Survey Data Analysis), a fim de processar e analisar dados complexos de pesquisa. O software WesVar, da Westat Inc., pode ser obtido gratuitamente no site da Westat. Os usuários devem observar, contudo, que o WesVar não extrai amostras aleatórias. A função de amostragem do Excel apre� senta limitações; quando este livro foi escrito, os resultados pareceram oblíquos em algumas circunstâncias. Uma equipe de avaliação nacional deve procurar a orientação de um estatístico de amostragem antes de selecionar um pacote de software para amostragem. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  99 O desenho de amostra recomendado para Sentz tem duas fases. Cál� culo da amostra, estratificação e alocação da amostra de primeira fase para o estrato já foram feitos. O exercício prossegue agora com a seleção da amostra. O processo geral de amostragem que leva à seleção de uma turma selecionada aleatoriamente por escola a partir de uma amostra de escolas selecionadas aleatoriamente está esboçada no Exercício 8.3. Como o exercício envolve diversas etapas, para facilitar a leitura, é divi� dido em várias etapas (Exercícios 8.3 a 8.8). Os arquivos de base amostral das escolas e de alocação de escolas são consolidados no Exercício 8.4. Uma vez que a consolidação dos arquivos de escolas e da alocação de escolas esteja concluída, a primeira fase da seleção amostral pode começar. Isso requer uma seleção de 120 escolas (veja o Exercício 8.1) de um total de 227 escolas (Exercício 8.5). Exercí cio 8. 3 PPS Estratificado sem Reposição, Seleção de Escolas: Leitura de Arquivos de Escola e Alocação de Escolas A seleção da amostra deve ser feita de forma independente em cada estrato (neste caso, dentro de cada província). Alguns arquivos de resposta foram colocados na pasta 2STG4400 para facilitar essa tarefa. Uma alocação de amostra já foi computada e armazenada e deve ser especificada aqui. Você já completou a tarefa de alocação de amostra (Exercício 8.1) e usará esses dados na tarefa seguinte. Tal alocação será anexada à base amostral antes que a seleção das escolas siga adiante. Comece clas- sificando os arquivos por província. Novamente, para reproduzir o resultado amostral que verá mais tarde, você deve usar o valor inicial dado ao SPSS. A amostra fica arma- zenada em um arquivo chamado …2STG4400\PPS_SAMPLE_OF_SCHOOLS. Primeiro, leia e classifique a base amostral da escola usando os seguintes comandos:  File – Open – Data – Look in      …BASE FILES\SCHOOLS.SAV Clique em Open, e selecione Data – Sort cases. Mova PROVINCE para Sort by e clique em OK. A seguir, leia e classifique o arquivo de alocação da escola usando os seguintes co- mandos:  File – Open – Data – Look in      …\MYSAMPLSOL\SCHOOLALLOC.SAV Clique em Open. Selecione Data – Sort cases. Mova PROVINCE para Sort by e clique em OK. 100  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 8. 4 PPS Estratificado sem Reposição, Seleção de Escolas: Consolidação de Arquivos de Escola e Alocação de Escolas No SPSS, a ordem em que os arquivos são manipulados é importante: o arquivo maior (base amostral da escola) deve aparecer na tela quando os menus do comando forem clicados. Traga o arquivo SCHOOLS para a tela; selecione o arquivo como se segue: Data – Merge files – Add variables. Escolha SCHOOLALLOC de Open dataset, e clique em Continue. Clique em Match cases on key variables. Mova PROVINCE de Excluded variables para Key variables. Mova COUNTRY, PROV_TOT, e COUNTRY_TOT de New active dataset para Excluded variables. Clique em Non-active dataset is keyed table e, por fim, clique em OK. Clique em OK se a seguinte mensagem de advertência aparecer: “Warning: Keyed match will fail if data are not sorted in ascending order of key variables.” A variável ALLOC deve aparecer agora como a última variável da série de dados SCHOOLS. Por segurança, nesse momento você pode salvar o arquivo SCHOOLS em seu arquivo ...\MYSAMPLSOL\SCHOOLS. Exercí cio 8. 5 PPS Estratificado sem Reposição, Seleção de Escolas: Seleção de Escolas Verifique se seu arquivo SCHOOLS está na tela de visualização. Então, use os seguin- tes comandos: Analyze – Complex samples – Select a sample Selecione Design sample e escolha um nome para salvar o arquivo (por exemplo, 2STAGE_1). Se o SPSS não aceitar prontamente um nome, clique em Browse e sele- cione o subdiretório MYSAMPLSOL em seu drive antes de digitar o nome do arquivo. Clique em Next. Em Design variables, faça o seguinte: Mova PROVINCE para Stratify by. Mova SCHOOLID para Clusters. Digite um nome em Stage Label, por exemplo, STAGE1. Clique em Next. Em Sampling Method faça o seguinte: Selecione PPS Systematic. Mova SCHOOL_ SIZE para Measure of size – Read from variable. Clique em Next. Em Sample size faça o seguinte: Escolha Read values from variable. Mova ALLOC para essa caixa de seleção. Clique em Next. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  101 Exercí cio 8. 5 (continuação) Em Output variables, selecione population size, sample size e sample weight. Clique em Next. Em Summary, clique em No porque não há nenhum outro estágio de amostragem para agora e clique em Next. Agora, o plano de amostra está detalhado, e a seleção da amostra pode prosseguir. Em Draw sample selection options, clique em Yes e fases All (1). Clique em Custom value, e digite 1234321 para obter a amostra que aparece mais tarde nessa seção do Volume 3. Caso contrário, clique em A randomly-chosen num- ber para obter uma nova amostra. Clique em Next. Em Draw sample output files, selecione External file e nomeie-o …\MYSAMPLSOL\ PPS_ SAMPLE_OF_SCHOOLS. Se o SPSS não aceitar prontamente o nome do ar- quivo, clique em Browse primeiro para selecionar o subdiretório e digite o nome do arquivo. Clique em Save e, em seguida, em Next. Em Completing the sampling wizard, escolha Save the design to a plan file and draw the sample. Por fim, clique em Finish. Se a amostra recém-selecionada não aparecer na tela, abra o arquivo ...\MYSAMPLSOL\PPS_SAMPLE_OF_SCHOOLS. A Figura 8.6 apre� senta um trecho das primeiras linhas dos dados de …\MYSAMPLSOL\ PPS_SAMPLE_OF_SCHOOLS que deve aparecer em sua tela. Figura 8.6 Excerto dos Dados Fonte: Exemplo do autor usando o software SPSS. 102  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Agora que a amostra das escolas está selecionada, a fase seguinte con� siste em selecionar uma sala de aula por escola. Essa fase é similar à amostra aleatória simples que foi extraída antes, selecionando-se uma unidade secundária (uma classe) por unidade primária selecionada (por escola). O arquivo CLASSES contém a informação relevante sobre tur� mas em todas as escolas, não apenas as selecionadas. Na vida real, o coor­ denador da avaliação nacional de cada escola criaria uma lista de salas de aula elegíveis e a enviaria ao coordenador do exame ou seria instruído a extrair uma amostra aleatória de uma turma elegível, de acordo com uma série prescrita de procedimentos de avaliação nacional. Nas etapas seguintes, o SPSS é usado para selecionar uma turma em cada escola. Primeiro, a amostra de 120 escolas deve ser consolidada no arquivo da turma para gerar uma lista de todas as salas de aula elegíveis para cada escola selecionada (Exercício 8.6). O procedimento é similar àquele de anexar a alocação de amostra à base amostral da escola que foi extraída mais cedo (ver Exercício 8.4). Com a conclusão do Exercício 8.6, as escolas a serem selecionadas em cada estrato foram identificadas e a lista de salas de aula elegíveis para Exercí cio 8. 6 PPS Estratificado sem Reposição, Seleção de Escolas: Identificação de Turmas Elegíveis Leia e classifique a base amostral da escola por SCHOOLID usando os seguintes comandos:  File – Open – Data – Look in     …\MYSAMPLSOL\PPS_SAMPLE_OF_SCHOOLS.SAV Então, clique em Open. Selecione Data – Sort cases. Mova SCHOOLID para Sort by. Clique em OK. Leia a lista de salas de aula e classifique-a por SCHOOLID usando os seguintes co- mandos:  File – Open – Data – Look in     …\BASE FILES\CLASSES.SAV Clique em Open. Nota: A escola 1101 tem duas turmas, uma com 41 alunos e outra com 48 alunos. Selecione Data – Sort cases. Mova SCHOOLID para Sort by. Clique em OK. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  103 Exercí cio 8. 6 (continuação) Faça a fusão do arquivo de base amostral da escola e do arquivo de alocação das escolas; outra vez, para o SPSS, o arquivo que está visível na tela e qual é a “tabela chaveada” (ver instruções a seguir). Traga o arquivo PPS_SAMPLE_OF_SCHOOLS para a tela. Use, então, os seguintes comandos:   Data – Merge files – Add variables Escolha CLASSES a partir do Open dataset. Clique em Continue. Clique em Match cases on key variables. Mova SCHOOLID de Excluded variables para Key variables. Clique em Active dataset is keyed table. Clique em OK e então clique em OK no- vamente. Essas etapas modificarão o PPS_SAMPLE_OF_SCHOOLS e adicionarão informações de nível de sala de aula, mesmo para as escolas que não tenham sido selecionadas. Esses registros devem ser removidos. Para remover os registros desnecessários, use o Filter e retenha aqueles casos em que PROVINCE tenha um valor numérico, como se segue:  Data – Select Cases – Use filter variable Mova PROVINCE para Use filter variable. Clique em Copy selected cases…. Digite um nome como CLASS_FRAME e clique em OK. Feche e não salve a PPS_SAMPLE_OF_SCHOOLS modificada. Traga a série de dados CLASS_FRAME para a tela de visualização e salve-a usando os seguintes comandos:  File – Save as – Look in     …\MYSAMPLSOL\ Digite CLASS_FRAME como nome de arquivo e clique em Save. cada escola selecionada foi construída ou obtida. A etapa seguinte é se� lecionar uma turma por escola para testar. Esse procedimento é similar à amostra aleatória simples extraída mais cedo, selecionando uma unidade secundária (uma turma) por unidade primária selecionada (por escola). A Figura 8.7 mostra como seria a aparência do CLASS_FRAME. Antes de extrair a amostra, entretanto, a base amostral da turma pre� cisa ser limpa. Algumas variáveis herdadas da fase de amostragem da escola interferirão nas variáveis do projeto que o SPSS criará automati� camente quando a amostra das salas de aula for criada (Exercício 8.7). 104  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Figura 8.7 Class_Frame Fonte: Exemplo do autor usando o software SPSS. Após a limpeza de dados, a base amostral da turma pode ser sub� metida ao software Complex Samples para a extração de uma turma aleatória de cada escola selecionada (Exercício 8.8). No exemplo de Sentz, todos os alunos das turmas selecionadas são examinados porque as turmas são de tamanho moderado. Em um país no qual as turmas fossem muito maiores (por exemplo, mais de 50 alu� nos), talvez fosse preciso selecionar uma amostra dos alunos de cada turma selecionada (talvez 25 a 30 por turma). O desenho da amostra se transformaria, então, em um projeto de três fases. Em Sentz, a ter� ceira fase (amostra de alunos das turmas amostradas) é “invisível” neste ponto. Isso ficará evidente quando surgir a não resposta (ver a Parte IV deste volume). As fases seguintes no processo da avaliação consistem em entrar em contato com as escolas e fazer os arranjos administrativos e organizar os materiais com cada escola participante, de modo que os instrumentos de avaliação possam ser aplicados aos alunos selecionados. Após a aplicação da pesquisa, os dados da avaliação nacional serão tabu� lados e limpos (ver a Parte III deste volume). imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  105 Exercí cio 8. 7 PPS Estratificado sem Reposição, Seleção de Escolas: Limpeza da Base Amostral Agora, a base amostral da escola pode ser submetida ao software Complex Samples para a extração de uma turma aleatória de cada escola selecionada, mediante o uso dos seguintes comandos:  File – Open – Data – Look in     …\MYSAMPLSOL\CLASS_FRAME.SAV Clique em Open. Para limpar a base amostral da turma, primeiro clique na aba Variable View, no canto inferior esquerdo da tela do SPSS. Assinale a linha avgclass e delete a variável (faça um clique com o botão direito e Clear). Assinale a linha InclusionProbability_1_ e delete a variável. Assinale a linha SampleWeightCumulative_1_ e delete a variável. Assinale PopulationSize_1_ e renomeie-a PopulationSize1. Assinale SampleSize_1_ e renomeie-a SampleSize1. Assinale SampleWeight_1_ e renomeie-a Weight1. Assinale a linha SampleWeight_Final_ e delete a variável. Salve o arquivo como …\MYSAMPLSOL\CLASS_FRAME, e clique na aba Data View. O CLASS_FRAME deve se parecer com a base mostrada na Figura 8.7.A do exercício. FIGURA 8.7.A DO EXERCÍCIO  Base Amostral Limpa da Turma Fonte: Exemplo do autor usando o software SPSS. 106  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 8. 8 PPS Estratificado sem Reposição, Seleção de Escolas: Seleção de uma Turma por Escola Para selecionar uma turma por escola, use os seguintes comandos:  Data – Sort cases Mova SCHOOLID CLASSID para Sort by. Clique em OK. Abra Analyze – Complex samples – Select a sample. Selecione Design sample e escolha um nome para salvar o arquivo (por exemplo, 2STAGE_1). Clique em Next. Em Design variables, faça o seguinte: Mova SCHOOLID para Stratify by. Mova CLASSID para Clusters. Digite um nome em Stage Label, por exemplo, STAGE2. Clique em Next. Em Sampling Method, escolha Simple Random Sampling e clique em without re- placement. Clique em Next. Em Sample size, escolha counts, clique em value e digite 1. Em seguida, clique em Next. Em Output variables, selecione population size, sample size e sample weight. ���� Cli- que em Next. Em Summary, clique em No porque não há nenhuma outra fase de amostragem a ser executada nessa base amostral, e clique em Next. Agora, o plano de amostra está detalhado, e a seleção da amostra pode prosseguir. Em Draw sample selection options, clique em Yes e todas as fases – All (1). Clique em Custom value e digite 1234321 para obter a amostra que aparece neste manual.a Caso contrário, clique em A randomly-chosen number para obter uma nova amostra. Clique em Next. Em Draw sample output files, selecione External file e clique em Browse para ga- rantir que você esteja usando o diretório correto. Nomeie seu arquivo como …\MY- SAMPLSOL\CLASS_SAMPLE e clique em Save. Clique em Next. Em Completing the sampling wizard, escolha Save the design to a plan file and draw the sample. Clique em Finish. Agora, traga a amostra de turmas para a tela e limpe o arquivo usando os seguintes comandos:  File – Open – Data – Look in     …\MYSAMPLSOL\CLASS_SAMPLE.SAV Clique em Open. Clique na aba Variable View no canto inferior esquerdo da tela do SPSS. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  107 Exercí cio 8. 8 ( continuação) Assinale a linha InclusionProbability_1_ e delete a variável. Assinale a linha SampleWeightCumulative_1_ e delete a variável. Assinale PopulationSize_1_ e renomeie-a PopulationSize2. Assinale SampleSize_1_ e renomeie-a SampleSize2. Assinale SampleWeight_1_ e renomeie-a Weight2. Assinale a linha SampleWeight_Final_ e delete a variável. Salve o arquivo como …\MYSAMPLSOL\CLASS_SAMPLE e clique na aba Data View. O CLASS_SAMPLE deve se parecer com a base mostrada na Figura 8.8.A do exer- cício. FIGURA 8.8.A DO EXERCÍCIO  Seleção de uma Turma por Escola Fonte: Exemplo do autor usando o software SPSS. As turmas selecionadas nas escolas eleitas estão armazenadas agora na série de da- dos permanente do SPSS chamada …\MYSAMPLSOL\CLASS_SAMPLE. a. Em aplicações reais, talvez seja recomendável mudar os valores iniciais a cada extração e registrá-los para referência e eliminação de erros. ANE X O Amostragem: II.A pastas e arquivos E m www.elsevier.com.br/implementacao você encontrará alguns arquivos com a base amos� tral e dados de amostra necessários para o es� tudo de caso de Sentz. Uma descrição resumida dos arquivos pode ser encontrada na Tabela II.A.1. A Figura II.A.1 mostra a estrutura do dire� tório de arquivos de amostragem. Tabela II.A.1 Descrição dos Conteúdos das Pastas Arquivos BASE Descrição ou conteúdos (arquivos SPSS) Número de registros Províncias Número de cidades e de alunos nas áreas 9 rurais e urbanas em cada província e região Cidadesa Número de escolas e de alunos por 33 cidade, grau de urbanização, província e região Escolas Número de turmas, número de alunos 227 e tamanho médio da turma por escola, cidade, grau de urbanização, província e região Turmas Número de alunos por turma, para 702 cada turma, escola, cidade, grau de urbanização, província e região 110  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Tabela II.A.1 Descrição dos Conteúdos das Pastas (continuação) Arquivos BASE Descrição ou conteúdos (arquivos SPSS) Número de registros Alunos Idade e gênero de cada aluno em cada 27.654 turma de cada escola, com todos os outros marcadores geográficos Respostas Idade, gênero, notas de aproveitamento, 27.654 situação socioeconômica e situação de participação de cada aluno em cada turma, escola, cidade, grau de urbanização, província e região Censo Idade, gênero, notas de aproveitamento, 27.654 situação socioeconômica de cada aluno em cada turma, como se todos tivessem participado Arquivos 2STG4400 Descrição ou conteúdos (arquivos SPSS) Número de registros SCHOOLALLOC Número de escolas alocadas para cada 5 província ASSIGNJK SCHOOLID, JKZONE, JKREP e duas 120 variáveis temporais PPS_SAMPLE_OF_ Escolas selecionadas, com ponderação de 120 SCHOOLS primeira fase CLASS_FRAME Lista das turmas disponíveis para 397 amostragem entre 120 escolas selecionadas CLASS_SAMPLE Turmas selecionadas das escolas 120 selecionadas, com ponderação de primeira fase, ponderação de segunda fase e ponderação total do desenho PPSRESPONSES Identificadores, variáveis de antecedentes, 4.896 pontuações, situação da participação e ponderação do desenho para cada aluno selecionado, por turma, escola, província RESP2STGFINAL Identificadores, variáveis de antecedentes, 4.896 WTb pontuações, situação da participação, ponderação do desenho, ajuste para não resposta e ponderação final para cada aluno selecionado, por turma, escola, província RESP2STGWTJKb Identificadores, variáveis de antecedentes, 4.896 pontuações, situação da participação, ponderação do desenho, ponderação final, estrato JK e replicação JK para cada aluno selecionado, por turma, escola e província imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  111 Tabela II.A.1 Descrição dos Conteúdos das Pastas (continuação) Arquivos SRS400 Descrição ou conteúdos (arquivos SPSS) Número de registros STUDENTSR Identificadores, variáveis de antecedentes, 400 SAMPLE e ponderação do desenho para cada aluno selecionado SRSRESPONSES Identificadores, variáveis de antecedentes, 400 pontuações, situação da participação e ponderação do desenho para cada aluno selecionado RESPSRSFINALWTb Identificadores, variáveis de antecedentes, 400 pontuações, situação da participação, ponderação do desenho, ajuste para não resposta e ponderação final para cada aluno selecionado Arquivos Descrição ou conteúdos (versões SPSS NATASSESS e WesVar) Número de registros NATASSESS Identificadores, variáveis de antecedentes, 4.747 pontuações de matemática, pontuações derivadas, ponderação da estimação e ponderação normalizada, estrato JK, e replicações JK Fonte: Compilação dos autores. a. Os dados em nível de cidade não foram analisados no exercício. b. Estes arquivos têm versões WesVar. 112  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Figura II.A.1. Estrutura do Diretório dos Arquivos de Amostragem NAEA SAMPLING Arquivos BASE 2STG4400 SRS400 NATASSESS MYSAMPSOL PROVÍNCIAS SCHOOLALLOC STUDENTSRSAMPLE NATASSESS ESCOLAS ASSIGNJK SRSRESPONSES TURMAS PPS_SAMPLE RESPSRSFINAL a OF SCHOOLS WT ALUNOS CLASS_FRAME RESPOSTAS CLASS_SAMPLE CENSO PPSRESPONSES RESP2STGFINAL CIDADES a WT RESP2STG a WTJK Fonte: Representação dos autores. a. SPSS e WesVar. Pa r t e III Preparação, validação e gerenciamento de dados Chris Freeman e Kate O’Malley A Parte III aborda as tarefas geralmente reali� zadas em uma avaliação nacional pelos ana� listas envolvidos na limpeza de dados. São usados exemplos e exercícios para demonstrar os processos empreen� didos. O principal objetivo é criar condições para que a equipe de ava� liação nacional desenvolva e implemente um conjunto sistemático de procedimentos para garantir que os dados da avaliação sejam corretos e confiáveis. Em www.elsevier.com.br/implementacao você encontrará exemplos de arquivos com erros típicos de levantamento de dados que permitem que o leitor pratique os procedimentos descritos. As soluções para os dados do exercício, junto com os arquivos limpos que contêm os dados do teste, são fornecidas para permitir que o leitor compare e verifique os produtos ou resultados dos exercícios. O aplicativo Access 2007, da Microsoft, é usado nesta seção para o registro de dados e a validação de dados, enquanto o SPSS (Statistical Package for the Social Sciences)1 e, em menor escala, o Excel 2007 são usados para verificação dos dados. Alternativamente, um módulo es� pecializado de registro de dados no SPSS pode ser usado para executar as funções de registro de dados que são realizadas pelo Access nesta seção. Independentemente da abordagem empregada, uma vez que os dados sejam capturados, devem ser importados para o SPSS para pro� 114  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal cedimentos de limpeza e verificação. Os três aplicativos citados nesta seção são usados para limitar os perigos inerentes à transição de dados de um programa para outro. Não obstante, a transposição de dados, inevitavelmente, traz consigo possibilidades de ocorrência de erros, e a transferência de dados entre programas deve ser mantida a um mínimo possível. Esse tópico é abordado em mais detalhes em partes posteriores desta seção. A seguinte lista de verificação resume os assuntos abordados nos ca� pítulos desta parte. Eles listam as principais fontes reconhecidas de erros de dados que, se não forem solucionados, podem comprometer a con� fiança na integridade dos dados. Lista de Verificação Resumida dos Processos de Limpeza de Dados Documentos Componente ou processos Questões-chave Verificado Formatos de Livro de código Tipos de dados definidos? dados do teste Dados obrigatórios definidos? Comprimento dos campos definidos? O livro de código do teste corresponde ao conteúdo do teste? Coleta de Software para Formatos de dados de campo dados registro de consistentes com as definições do dados livro de código? As rotinas de validação no software de registro de dados foram estabelecidas? Adjudicação de erros da captura? Limpeza de Verificações Fusão de dados de fontes diferentes? dados entre arquivos Rotinas para assegurar a exatidão e a integralidade dos dados? Houve prestação de contas de todos os registros? Verificação Códigos curinga foram verificados? de dados e Códigos incorretos foram retificados? verificações entre arquivos Dados (obrigatórios) ausentes foram verificados? imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  115 Documentos Componente ou processos Questões-chave Verificado Outros campos de dados ausentes foram corrigidos? Rotinas para assegurar a exatidão e a integralidade dos dados? Identificadores O caderno de avaliação corresponde únicos a uma, e apenas uma, entrada nas bases amostrais e formulários de monitoramento? Os registros duplicados foram removidos? Os registros ausentes foram verificados? Documentação Histórico As cópias dos arquivos de dados do arquivo, antes e depois do processamento histórico da foram arquivadas? limpeza de dados README. Os registros completos dos processos DOCX e das saídas foram mantidos? As rotinas descritas nesta seção são apoiadas por exercícios práticos, apresentados em arquivos na pasta de Exercícios em www.elsevier. com.br/implementacao. As soluções ou arquivos corrigidos podem ser examinados na pasta Soluções dos Exercícios. Para ajudar a dominar as principais habilidades de limpeza de dados, o leitor precisa implementar o sistema de arquivamento descrito a seguir, fácil de ser acompanhado. Etapa importante: Salvar os Arquivos do site em seu Disco Rígido ou Servidor  Em seu disco rígido ou servidor, crie uma pasta chamada NAEA DATA CLEANING (ou similar) e copie os arquivos do site para esta pasta.  Crie uma nova subpasta chamada MY SOLUTIONS, que será usada para salvar todas as soluções dos seus exercícios, a fim de que sejam comparadas com os arquivos localizados nas pastas EXERCISE SOLUTIONS.  Você agora deve ter três pastas dentro da pasta NAEA Data Cleaning: EXERCISES, EXERCISE SOLUTIONS e MY SOLUTIONS. Desse ponto em diante, você deve trabalhar com os arquivos localizados em seu disco rígido ou servidor. O Anexo III.A contém um breve resumo dos vários arquivos e um diagrama da estrutura do arquivo usado na Parte III. Observe que foi usado o Microsoft Office 2007 para preparar os arquivos. Os arquivos 116  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal podem ser abertos no Microsoft Office 2010. Embora as opções no topo de algumas páginas possam ser ligeiramente diferentes daquelas da versão 2007, as seções de trabalho de cada programa são virtualmente idênticas. Os quatro avisos seguintes, se observados, ajudarão a assegurar a exa� tidão dos dados usados nas análises. 1. Desconfie. Mesmo os sistemas mais sofisticados de avaliação ten� dem a ter códigos curinga e registros duplicados após os dados terem sido inseridos pela primeira vez. Tenha em mente que alguns dados es� tarão incorretos e devem ser alterados. 2. Seja sistemático. Tenha um plano (uma lista de verificação) para identificar as fontes de erro mais prováveis. Verifique se há registros du� plicados e respostas fora do intervalo. Eles geralmente fornecerão indi� cadores de possíveis áreas com problemas e também trarão informações sobre a qualidade dos processos de coleta de dados e registro de dados. 3. Seja ativo no processo de coleta de dados. Uma das melhores ma� neiras de assegurar que os dados da avaliação nacional estejam limpos é insistir na aplicação de práticas eficazes na fase de coleta. A pessoa responsável pelo registro de dados deve ser um membro do grupo que elabora o livro de código, porque isso terá impacto fundamental na qua� lidade dos processos de registro de dados. Certificar-se de que procedi� mentos e processos corretos sejam implementados na fase de registro de dados pode reduzir sensivelmente o tempo e o custo necessários para corrigir dados defeituosos. 4. Documente todas as mudanças e versões. Seja meticuloso ao re� gistrar todas as mudanças que são feitas em relação aos dados durante o processo de limpeza de dados e mantenha um registro preciso das ver� sões criadas e de qual versão contém os arquivos finais dos dados limpos para análise. NOTA 1. Esta versão 17 do SPSS também é chamada de Predictive Analytic Software, ou PASW 17, durante 2009 e 2010. Capítulo 9 Livros de código A o fazer a limpeza e a análise de dados, é pre� ciso estar sensível às – e orientado pelas – necessidades de informação dos membros das equipes de avaliação nacional responsáveis por preparar os relatórios finais. As pessoas envolvidas na preparação de dados têm a responsabili� dade específica de assegurar que os formatos de dados forneçam o nível necessário de detalhe que os analistas requerem. Essas pessoas devem também estar bastante familiarizadas com os conteúdos dos cadernos de testes e questionários, bem como com os livros de códigos. O ponto de partida para qualquer análise de um instrumento de ava� liação é o planejamento. A equipe de avaliação nacional deve fazer um planejamento de forma a assegurar que a maneira pela qual os dados são coletados produza as informações necessárias e que os dados estejam dis� poníveis em um formato acessível. O livro de código do teste define de que maneira os dados coletados na avaliação serão registrados para a aná� lise. O livro de código define as informações sobre cada componente do teste e ajuda o pessoal de registro dos dados e os analistas a compreen­ derem o que deve ser esperado em cada campo de dados. O livro de código deve ser preparado em conjunto pelos desenvolvedores do teste e pela pessoa com responsabilidade total pelo registro de dados. Da mesma forma, o livro de código do questionário do aluno define como os dados do questionário são registrados. Tipicamente, os dados do 118  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal questionário referem-se a itens demográficos (tais como gênero, contexto e antecedentes sobre o idioma falado ou profissões dos pais) e são geral� mente armazenados em separado dos dados de aproveitamento do aluno, porque os dados do questionário costumam conter um número substancial de respostas qualitativas que podem precisar ser codificadas ou analisadas de forma diferente. Um exemplo de instrumento de questionário de aluno, STUDENTQUESTIONNAIRE.DOCX, foi incluído na pasta EXERCISES para informações sobre o contexto. Para os fins dos exercícios a seguir, en� tretanto, somente um pequeno número de itens demográficos relacionados a gênero, idade, série e antecedentes sobre o idioma é incluído. Por causa do pequeno número de itens do questionário, esses dados são gravados no mesmo arquivo que os dados de aproveitamento do aluno. A Figura 9.1, página inicial do caderno de testes, apresenta informa� ções relacionadas ao aluno que foram coletadas durante a aplicação de um teste de matemática. Ela mostra o identificador original do estu� Figura 9.1 Exemplo de uma Página Inicial do Teste 2007 MATEMÁTICA 3A ID do Aluno: 1894305 Nome: Nome: Sobrenome Escola: Série: (ex. 3ª série): Você é menino ou menina? Menino Menina Quantos anos você faz este ano? menos de 8 8 9 mais de 9 Você costuma falar outro idioma além do em casa? Sim Não Fonte: Representação dos autores. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  119 dante (Student ID), que foi criado no Exercício 7.1 e inclui detalhes de gênero, idade e idioma. A capacidade de fornecer informações sobre os alunos depende das informações coletadas dos testes e questionários. Por exemplo, as infor� mações coletadas da página inicial do teste (Figura 9.1) não permitem que se relate o idioma falado na casa do aluno porque não foi feita uma pergunta sobre o idioma falado em casa. Consequentemente, somente a porcentagem de alunos que falam outro idioma além do idioma em que o teste foi impresso pode ser relatada. Outra limitação na coleta de dados está exemplificada na maneira como o campo Nome é tratado. Os dados no campo Nome podem ser coletados como um único conjunto de dados que inclui o primeiro nome e o so� brenome (por exemplo, Juan Gonzalez) ou como dois campos separados: Nome (Juan) e outro campo Sobrenome (Gonzalez). Como regra geral, é melhor coletar informações específicas. Se, por exemplo, a avaliação coletar apenas um campo chamado Nome, a classificação pelo nome seria baseada no primeiro nome do aluno e provavelmente conduziria à duplicação des� necessária. Nesse caso, as informações para o campo do nome devem ser coletadas como dois campos separados, Nome e Sobrenome. Observe que o sobrenome aparece primeiro em algumas culturas. A Figura 9.2 mostra como as informações demográficas fornecidas por alunos na página inicial do caderno de teste, exibida na Figura 9.1, foram documentadas no livro de código. (Ver EXERCISES-MATHS 3A CODE� BOOK TEMPLATE.XLSX) . O Excel foi usado para preparar o livro de código nesse exemplo, embora o Microsoft Word também pudesse ser usado com essa finalidade. Observe que, se os dados fossem capturados diretamen� te no software SPSS (Statistical Package for the Social Sciences), o livro de código seria criado automaticamente pelo SPSS e estaria disponível median� te uma simples solicitação no menu: Analyze – Reports – Codebook. Cada coluna do livro de código do questionário está descrita na Tabela 9.1. A Figura 9.3 apresenta o livro de código do teste, que mostra como os primeiros seis itens do teste podem ser codificados. Observe o acréscimo das colunas para Item Name e Key. A primeira fornece uma referência curta para o conteúdo do item para fácil reconhecimento, enquanto a segunda se refere ao termo usado para a resposta correta, como determi� nado pelos desenvolvedores do teste ou especialistas no assunto. Figura 9.2 Livro de Código do Questionário para Informações Demográficas do Aluno (Antecedentes) Questionário do Aluno Campo Tipo Tipo de Dados Respostas válidas Caracteres Ausentes Comentário ID do Aluno dada N 7 chave de respostas no papel Nome CR T 12 9 chave de respostas no papel Sobrenome CR T 12 9 chave de respostas no papel Nome da Escola CR T 20 9 chave de respostas no papel Série CR N 1 9 insira um dígito Gênero MC N 1,2,8,9 1 8,9 1 = menino, 2 = menina, 8 = múltiplo, 9 = ausente Idade este ano MC N 1,2,3,4,8,9 1 8,9 1 = idade <8, 2 = 8ai, 3 = 9ai, 4 = idade >9, 8 = múltiplo, 9 = ausente Teste do Idioma MC N 1,2,8,9 1 8,9 1 = sim, 2 = não, 8 = múltiplo, 9 = Falado em casa ausente Fonte: Exemplo do autor usando o software Excel. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  121 Tabela 9.1 Explicação dos Títulos de Colunas no Livro de Código Termo Explicação Comentário Campo Esse é o nome que identifica as O campo do nome deve informações contidas na célula de ser original e significativo. dados (por exemplo, Nome). Tipo de pergunta Três tipos de pergunta são possíveis: As CRs numéricas MC: Múltipla escolha. podem ser corrigidas por CR: Resposta construída ou resposta programas de análise curta como SPSS. TM: Resposta que requer o julgamento do professor. Tipo de Dados Identifica o formato dos dados no Alguns programas se campo; em geral, os dados são referem aos tipos de numéricos (N) ou texto (T). dados de texto como “string” ou “alpha”. As variáveis numéricas do SPSS são desdobradas em categorias nominais, ordinais e de escala. Respostas válidas A lista completa de respostas Outros valores são previstas e aceitáveis que podem inválidos e devem ser ser encontradas nos dados para este investigados. campo. Caracteres O número máximo de caracteres que Observe que os valores podem ser coletados neste campo é que incluem lugares especificado aqui. (Por exemplo, este decimais requerem um livro de código permite que o nome espaço para a vírgula de da escola tenha um máximo de 20 decimal. letras.) Ausentes Este é o código dado para valores duplicados (tipicamente, 8) e ausentes (tipicamente, 9). Comentário Informações adicionais que auxiliarão o pessoal para registro dos dados, gerente de dados e analista em interpretar os dados podem ser incluídas aqui. Fonte: Compilação dos autores. Figura 9.3 Livro de Código do Teste para Campos de Itens de Matemática 3a Livro de código de Matemática 3A Nome Tipo de Respostas Campo do Item Tipo Dados válidas Chave Caracteres Ausentes Rótulos de valor Q3Aq01 4 + 11 CR N 00 – 99 15 2 99 99 = dados ausentes Q3Aq02 mais alta MC N 1,2,3,4,8,9 3 1 8,9 1 = “Leah”, 2 = “Marie”, 3 = “Sarah”, 4 = “Kari”, 8 = múltiplos, 9 = dados ausentes Q3Aq03 cadeira MC N 1,2,3,4,8,9 4 1 8,9 1 = 1 , 2 = 2 , 3 = 3 , 4 = 4 , 8 = múltiplo, 9 = ausente Q3Aq04 padrão de CR N 00 – 99 28 2 99 99 = dados ausentes número Q3Aq05 régua CR N 000 – 99.9 14 4 99,9 aceitar 13.5 1 AND < 5. Esse valor permite as turmas de níveis mistos. Se as turmas tiverem alunos em várias séries (por exemplo, uma turma com alunos da 2a e 3a séries sendo ensinados simultaneamente), é possível fazer os alunos responderem ao mesmo teste para comparar o desempenho das duas coortes. O ajuste da regra de validação pa­ ra valores entre 1 e 5 permitirá isso. Validation Text é o próximo campo na janela Field Properties. Permite que o criador do banco de dados alerte o operador do registro de dados sobre a incidência de códigos ou valores inválidos que estão sendo inseridos no momento do registro de dados. 4. Clique no campo Validation Text e insira o seguinte: Must be in Year 3 or mixed Year 3 class (ver Figura 10.5.A do exercício). Essa é a mensagem de erro que apa- recerá se o operador de registro de dados tentar inserir um valor fora da escala válida. 5. Complete Validation Rule e Validation Text para a variável Gender. Aqui, gênero é codificado como 1 para Boy, 2 para Girl, 8 para resposta múltipla e 9 para au- sente (ver Figura 10.5.B do exercício). O caderno de teste registra Age em quatro categorias. O código 1 representa “Age is less than 8” ; o código 2 representa “Age is 8” ; o código 3 representa “Age is 9” ; e o código 4 representa “Age is greater than 9” . A Figura 10.5.C do exercício mostra como esses dados serão inseridos. 138  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 10. 5 (continuação) O campo seguinte indica se um idioma à exceção daquele do texto (por exemplo, inglês) é falado regularmente em casa. O texto usado para respostas (base amostral do código) é frequentemente escrito na coluna Description. Observe que, para a va- riável TestLanguage, as respostas do aluno estão codificadas como 1 para Yes (outro idioma é falado regularmente) ou 2 para No (outro idioma não é falado regularmente) (ver Figura 10.5.D do exercício). FIGURA 10.5.A DO EXERCÍCIO  Exemplo da Regra de Validação Fonte: Exemplo do autor usando o software Access. FIGURA 10.5.B DO EXERCÍCIO  Exemplo do Texto de Validação Gênero Fonte: Exemplo do autor usando o software Access. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  139 Exercí cio 10. 5 (continuação) FIGURA 10.5.C DO EXERCÍCIO  Validação para Valores Codificados: Idade Fonte: Exemplo do autor usando o software Access. FIGURA 10.5.D DO EXERCÍCIO  Validação para Valores de Texto: Idioma do Teste Fonte: Exemplo do autor usando o software Access. 6. Preencha os campos Default Rule, Validation Rule e Validation Text para as va- riáveis Age e TestLanguage, e salve a tabela (CTRL+S). 140  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Preparação da tabela para receber dados de item A maior parte do tempo gasto no registro de dados envolve a inserção das respostas aos itens do teste (e aos questionários) aplicados na avalia� ção nacional. O processo de preparação da tabela para os dados de item é similar ao usado para as informações demográficas do aluno. O tipo de campo para cada resposta é geralmente numérico. Os dados de tipo de texto são usados para registrar respostas que envolvem palavras, sen� tenças e trechos mais longos. Inserção de dados Neste estágio, foi criada a tabela em que serão registrados os dados dos formulários de teste dos alunos, mas nenhum dado foi inserido. Agora, um modelo de registro de dados deve ser preparado para a tabela, a fim de ajudar a assegurar o registro de dados consistente e preciso. No Access, esse modelo é chamado de formulário. Os Exercícios 10.6, 10.7, 10.8 e 10.9 tra� tam de vários aspectos da inserção de dados e preparação de formulários. Exercí cio 10 . 6 Inserção de Dados de Itens de Campo em um Banco de Dados Este exercício ensina como inserir dados de itens de campo em um banco de dados: 1. Abra …\My Solutions\Maths_3a_data.accdb (com as mudanças salvas dos exer- cícios anteriores). 2. Abra tbl_Yr3_Maths_Data em modo Design View. 3. Insira as informações relevantes do campo para o primeiro item: Q3Aq01. Mais uma vez, será preciso consultar seu livro de código completo ou a solução do livro de código fornecido na pasta EXERCISE SOLUTIONS. Uma sugestão: Este item é uma pergunta de resposta construída. Defina Field Properties dos dados de resposta para Required, defina um Default Value de 77 e inclua uma Validation Rule e Validation Text. Compare suas respostas com aquelas dadas na Figura 10.6.A do exercício. Nota: Para os tipos de dados numéricos, Field Size irá automaticamente para Double ou Long Integer. Este é um ajuste interno que permite que operações matemáticas sejam computadas nesses dados. Permita que o default seja aplicado. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  141 Exercí cio 10. 6 (continuação) 4. Insira as propriedades de campo para o segundo item no teste de matemática. Também é uma pergunta de matemática de múltipla escolha com quatro opções (Figura 10.6.B do exercício). FIGURA 10.6.A DO EXERCÍCIO  Dados de Itens de Campo: Pergunta 1 Fonte: Exemplo do autor usando o software Access. FIGURA 10.6.B DO EXERCÍCIO  Dados de Itens de Campo: Pergunta 2 Fonte: Exemplo do autor usando o software Access. O procedimento de copiar e colar pode ser usado para reproduzir as informações do item 2 para outros itens de múltipla escolha (tais como Q3Aq07, Q3Aq08, Q3Aq09 e assim por diante), onde as opções da resposta são idênticas (por exem- plo, o texto nos campos Validation Rule e Validation Text para esses itens) 142  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 10. 6 (continuação) Da mesma forma, você pode copiar e colar as informações de uma tela de Field Property para outra. Por exemplo, é possível copiar a regra de validação e mate- rial do texto de validação para cada pergunta de múltipla escolha para cada outra pergunta de múltipla escolha copiando o campo Q3Aq02 (CTRL+C), que está destacado na Figura 10.6.B do exercício, e colando-o (CTRL+V) na posição corre- ta (por exemplo, Q3Aq07). Mude o Field Name (por exemplo, para Q3Aq07), e repita o processo para cada pergunta de múltipla escolha no teste. 5. Insira as propriedades de campo para os itens restantes, até o item 14. A Figura 10.6.C do exercício mostra o formato da tabela para todas as 14 perguntas, e também para os dados demográficos. Ele destaca a estrutura da Pergunta 11. Q3Aq04 é um item de resposta construída. O operador de registro de dados insere a resposta real do aluno ou 99 se o aluno não respondeu à pergunta. Os dados dos itens do teste serão tabulados mais tarde, quando todos os dados forem verificados e validados. FIGURA 10.6.C DO EXERCÍCIO  Estrutura de Campo para Todos os Dados Demográficos e de Item Fonte: Exemplo do autor usando o software Access. 6. Salve (CTRL+S) a tabela. 7. Abra …\EXERCISE SOLUTIONS\MATHS_3A_DATA_SOLUTION1.ACCDB e com- pare a tabela TBL_YR3_MATHS_DATA_SOLUTION1 com sua tabela TBL_YR3_ MA- THS_DATA. Se as duas tabelas diferirem significativamente, copie o formato e os dados de campo de TBL_YR3_MATHS_DATA_ SOLUTION1 para a sua tabela. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  143 Exercí cio 10 . 7 Criação de um Formulário Neste exercício, você aprenderá como criar um formulário: 1. Abra …\MY SOLUTIONS\MATHS_3A_DATA.ACCDB com as mudanças salvas dos exercícios anteriores. 2. Destaque a tabela TBL_YR3_MATHS_DATA no menu à esquerda. A seguir, na opção Create, clique em Form (ver Figura 10.7.A do exercício). FIGURA 10.7.A DO EXERCÍCIO  Criação de um Formulário de Registro de Dados Fonte: Exemplo do autor usando o software Access. O programa criará automaticamente um formulário com os campos que correspon- dem àqueles na tabela original, como mostrado na Figura 10.7.B do exercício. FIGURA 10.7.B DO EXERCÍCIO  Campos de Formulário Gerados Automaticamente Fonte: Exemplo do autor usando o software Access. 3. Salve o formulário clicando em Office button – Save (ou CTRL+S). Mude o prefixo de tbl_ (que indica uma tabela) para frm_ (para indicar que este é o formulário para TBL_YR3_MATHS_ DATA) e clique em OK. O layout de formulário mostrado na Figura 10.7.B do exercício pode não ser apropria- do para a inserção rápida de dados. Em alguns casos, providenciar para que as células do formulário aceitem os dados de itens de forma similar ao layout do caderno de teste ou folha de respostas pode facilitar a inserção de dados. 144  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 10 . 8 Mudança do Layout do Formulário Para alterar o layout do formulário, siga estas etapas: 1. Abra …\MY SOLUTIONS\MATHS_3A_DATA.ACCDB com as mudanças salvas dos exercícios anteriores. 2. A partir do menu All Access Objects do lado esquerdo da janela, abra FRM_ YR3_MATHS_DATA no Design View. Os campos do formulário podem agora ser editados, adicionados ou excluídos. 3. Dê um clique com o botão direito sobre o formulário no painel esquerdo. Sele- cione todos os campos no formulário usando a função clicar e arrastar do mouse para “laçar” todas as caixas de texto no formulário. Você pode selecionar todas as caixas de texto pressionando CTRL+A (“Selecionar Tudo”). A partir da seção Form Design Tools – Arrange da opção, clique em Remove na área de Control Layout. Isso removerá o layout anterior aplicado aos controles, e os campos do formulário podem agora mudar de posição no formulário. 4. Selecione os campos que você quer mover para um lugar diferente no formulário e use o mouse (função clicar e arrastar) ou as teclas de seta no teclado para mover o campo para a posição desejada (Figura 10.8.A do exercício). Ao clicar no primei- ro campo (por exemplo, StudID) e manter a tecla shift pressionada enquanto clica em outros campos, é possível selecionar campos múltiplos. Lembre-se de soltar a tecla shift e de colocar o cursor dentro de uma das caixas selecionadas antes de FIGURA 10.8.A  Mover Campos de Formulários Fonte: Exemplo do autor usando o software Access. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  145 Exercí cio 10. 8 (continuação) FIGURA 10.8.B DO EXERCÍCIO Redimensionando os Campos Fonte: Exemplo do autor usando o software Access.    mover os campos destacados (ou você pode liberar a tecla shift e mover as caixas com as teclas de seta). Você pode também selecionar campos múltiplos usando a função clicar e arrastar do mouse para “laçar” os campos desejados. Observe que é possível arrastar a barra Form Footer para baixo ao colocar o cursor no alto da caixa Form Footer e usar a função clicar e arrastar para levá-la à posição desejada. 5. Os campos também podem ser redimensionados ao se clicar neles e alterar sua forma. Destaque as caixas que você deseja redimensionar e, então, arraste as se- tas nos cantos ou nos lados das pequenas caixas pretas destacadas para chegar à forma desejada (Figura 10.8.B do exercício). 6. Salve as mudanças (CTRL+S) antes de sair do formulário. 146  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 10 . 9 Inserindo Dados no Formulário Siga estas etapas para inserir dados no formulário: 1. Abra Open …\MY SOLUTIONS\MATHS_3A_DATA.ACCDB (com as mudanças salvas dos exercícios anteriores). 2. Abra FRM_YR3_MATHS_DATA no menu All Access Objects em Form View (visualização default). 3. Insira os dados demográficos do aluno (Figura 10.9.A do exercício) do caderno de teste do primeiro aluno no formulário, junto com suas respostas, que podem ser obtidas no resumo de respostas aos itens desse aluno apresentado na Figura 10.9.B do exercício. (Nota: Essa informação seria, em geral, extraída diretamente do caderno do aluno, mas, para economizar espaço, foi criado um resumo das respostas do aluno.) 4. Os dados (Figura 10.9.C do exercício) serão salvos automaticamente na tabela que você criou para o formulário, neste caso TBL_YR3_MATHS_3A_DATA. À medida que os dados forem inseridos, a tabela expande-se para aceitar mais registros. FIGURA 10.9.A DO EXERCÍCIO  Dados do Aluno a Serem Inseridos no Formulário 2007 MATEMÁTICA 3A ID do Aluno: 1294302 Nome: Aaron Anama (Nome) (Sobrenome) Escola: Eaglehawk School Série: (ex. 3ª série) 3 Você é menino ou menina? Menino Menina Quantos anos você faz este ano? menos de 8 8 9 mais de 9 Você costuma falar outro idioma além do em casa? Sim Não Fonte: Representação dos autores. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  147 Exercí cio 10. 9 (continuação) FIGURA 10.9.B DO EXERCÍCIO  Resumo das Respostas do Aluno aos Itens Campo Tipo Resposta do Aluno Q3Aq01 CR 15 Q3Aq02 MC 3 Q3Aq03 MC 4 Q3Aq04 CR 28 Q3Aq05 CR 1 Q3Aq06 CR 24 Q3Aq07 MC 2 Q3Aq08 MC 1 Q3Aq09 MC 3 Q3Aq10 MC 2 Q3Aq11 TM 1 Q3Aq12 CR 1 Q3Aq13 MC Q3Aq14 MC 1        Fonte: Exemplo do autor usando o software SPSS. FIGURA 10.9.C DO EXERCÍCIO  Registro 1 com os Dados Inseridos Fonte: Exemplo do autor usando o software Access. 148  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 10. 9 (continuação) Sempre que é feita uma entrada inválida, uma caixa de diálogo alerta o operador sobre o erro. Na Figura 10.9.D do exercício, por exemplo, o operador de registro de dados tentou inserir 6 no campo YearLevel quando os únicos valores válidos são 2, 3 e 4. Se critérios incorretos de validação forem especificados no desenho original da tabela (por exemplo, somente valores de 1, 2, 3 ou 9 são definidos como válidos quando 4 deve também ser uma resposta válida) e estiverem impedindo o operador de registro de dados de inserir um valor válido, é possível corrigir os critérios de validação adi- cionando esse valor válido às propriedades da tabela na visualização do desenho da tabela que o formulário está atualizando (veja o Exercício 10.6 para obter instruções sobre o ajuste de regras de validação). Procure testar sua tabela e formulário antes de começar a inserir os dados. Os erros podem facilmente ser corrigidos nessa fase, porém é mais difícil detectá-los poste- riormente. Se diversas pessoas estiverem inserindo dados, atribua a cada uma delas uma cópia distinta do formulário Access, de modo que seja possível controlar cada uma delas. Às vezes, um dos operadores de registro de dados pode ser descuidado. Acionar a tecla Tab entre as células faz com que o campo seguinte seja selecionado automaticamente no modo Edit, de modo que os dados incorporados sobrescrevam o valor default. Usar a tecla Tab após o campo final em um registro aciona o registro seguinte para entrada. FIGURA 10.9.D DO EXERCÍCIO  Exemplo de Tentativa de Inserir Dados Inválidos Fonte: Exemplo do autor usando o software Access. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  149 Inserção de Novos Campos ou Adição de Campos ao Modelo Às vezes, é preciso criar mais campos (por exemplo, se o modelo for criado com 12 itens e o teste tiver 30 itens). Os novos campos podem ser adicio� nados de duas maneiras. A primeira envolve clicar no ícone abl na barra de ferramentas da opção Form Design Tools – Design e clicar na área do formulário em que o campo deve ser adicionado. (Nota: Se o ícone não estiver visível, aperte o botão do martelo e alicate na barra de ferramentas, e ele aparecerá.) O tamanho e a forma do rótulo e caixa de texto (além das propriedades dos campos) serão ajustados para os valores default. Eles devem ser redimensionados (ou alterados) manualmente se precisarem fi� car idênticos aos rótulos e caixas de texto já existentes no formulário. Em seguida, ajuste a fonte de controle para a caixa de texto dando um clique com o botão direito na caixa de texto (caixa à direita), selecionando Proper- ty Sheet na opção Design, selecionando a aba Data e, então, escolhendo a fonte relevante do menu suspenso Control Source. Esses passos mudarão os conteúdos da caixa de texto de Unbound para a fonte relevante. A segunda maneira (e a mais rápida) de adicionar outro campo re� quer copiar (CTRL+C) o rótulo e a caixa de texto e, então, colá-los (CTRL+V) no formulário. Essa cópia será idêntica em todos os aspectos aos dados originais e pode ser adicionada mediante a seleção e a colagem dos grupos (em vez de apenas conjuntos simples) de rótulos e caixas de texto. Em seguida, o nome do texto e os dados das variáveis podem ser mudados para os valores requeridos. Os rótulos e as caixas de texto serão colados automaticamente no canto superior direito da página e podem ser movidos quando são clicados e arrastados, ou com as teclas de seta. Exportação de dados Após todos os dados serem inseridos, você pode rever o registro comple� to de dados na tabela original, que agora está vinculada ao formulário. Os dados inseridos em um formulário ou uma tabela do Access podem ser exportados como arquivo com extensão .xls ou .txt quando se abre a tabela a ser exportada e então clica-se no ícone Excel ou Text file na seção Export da opção External Data. O destino do arquivo pode ser editado ao se clicar no botão Browse e procurar o local desejado. 150  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal O nome do arquivo pode ser alterado ao se editar o texto na caixa de texto FileName. Observe que nenhum dos exercícios usa a exportação do Excel como origem dos dados. Ela é usada como um mecanismo de verificação, conforme descrito no Exercício 11.1. Os dados não podem ser exportados diretamente do SPSS para o Access, mas podem ser im� portados para o SPSS seguindo as instruções dadas no Exercício 10.10. Todavia, a transferência de dados de uma aplicação para outra pode gerar erros e, por essa razão, deve ser usada o mínimo possível. Exercício 10.10 Importação de Dados para o SPSS As seguintes etapas permitirão que você importe dados de um formulário do Access para o SPSS: 1. Abra o SPSS (Start – Programs – SPSS). 2. Selecione File – Open database – New Query. 3. A janela Database Wizard aparecerá. Selecione MS Access Database da lista ODBC Data Sources. Em seguida, clique em Next. 4. A janela ODBC Driver Login aparecerá. Clique no botão Browse e navegue até onde seu banco de dados Access está armazenado (…NAEA DATA CLEANING\ MY SOLUTIONS). Selecione seu banco de dados (MATHS_3A_DATA.ACCDB), clique em Open e, então, clique em OK. 5. A tabela tbl_Yr3_Maths_Data aparecerá na caixa Available Tables. Um duplo clique nesse ícone ou um clique na seta à direita dessa caixa recuperará todos os campos dessa tabela (Figura 10.10.A do exercício). Clique em Next. FIGURA 10.10.A DO EXERCÍCIO  Importação do Arquivo de Dados Fonte: Exemplo do autor usando o software Access. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  151 Exercí cio 10. 1 0 (continuação) 6. A tela seguinte permite que você limite o número dos casos recuperados por meio da especificação de critérios de seleção. Se você quiser importar todos os casos, clique em Next. 7. A tela seguinte permite que você edite nomes e propriedades das variáveis. Para fins deste exercício, você deixará os valores default como estão e clicará em Next. 8. A tela final mostrará a sintaxe SPSS que pode ser usada para executar essa impor- tação. Se importações idênticas (ou importações similares com pequenas emen- das) forem executadas no futuro, cole a sintaxe para uso ou modificação futura. Por ora, deixe a opção Retrieve the data I have selected selecionada. Clique em Finish. (Observe que as colunas Variable View, Label, Values e Missing estão em branco. Recomenda-se que essas colunas sejam preenchidas antes do início da análise dos dados.) A tabela do Access importada para o SPSS no Exercício 10.10 con� terá apenas os dados inseridos manualmente nos exercícios anteriores. Para economizar tempo, uma série de dados foi criada e importada para o SPSS. É chamada de DATA_SET_1.SAV na pasta EXERCISES. Esse arquivo SPSS contém 297 registros e alguns erros deliberados que foram adicionados e que serão abordados nos exercícios seguintes. Os dados para as colunas Label, Values e Missing na Variable View também fo� ram adicionados. Observe também que uma coluna SchoolID foi adicio� nada para essa série de dados. As Partes I e II deste volume abrangeram como criar e usar números de identificação da escola ao conduzir avalia� ções nacionais (veja as páginas 25 e 71). As instruções sobre como criar variáveis derivadas são fornecidas nas Partes II e IV deste volume. Capítulo 11 Verificação de dados V erificação de dados é o processo de assegurar que os dados recebidos de fontes diversas es� tejam livres de erro. Processos de registro de dados que são bem planejados, documentados e supervisionados ajudam a reduzir erros quando as respostas dos testes e questionários dos alunos são transferidas para formatos eletrônicos de dados. Entretanto, as fon� tes de erro persistem, incluindo respostas com erros de digitação, dados omitidos e erros na manipulação e fusão de dados de fontes diferentes. Documentação Visto que as avaliações nacionais envolvem equipes que trabalham em aspectos diferentes dos dados, às vezes a agência de avaliação nacional deve manter por um período considerável um registro de todas as mu� danças feitas aos dados. Esse registro será especialmente útil àqueles que fazem o acompanhamento de avaliações nacionais e àqueles que condu� zem análises secundárias dos dados. Por esse motivo, deve ser criado um arquivo ReadMe para gravar todas as mudanças feitas pelos digitadores ao arquivo de dados durante o registro. O arquivo também deve documentar a fonte e o nome do 154  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal arquivo de dados limpo. Esse registro ajuda a evitar confusão sobre a versão dos dados que devem ser analisados. Embora alguns programas, tais como o SPSS (Statistical Package for the Social Sciences), gravem automaticamente as mudanças feitas aos dados durante o uso do progra� ma, a manutenção de um arquivo ReadMe durante o projeto é impor� tante, de modo que um registro de todas as mudanças feitas em todos os programas e operações esteja armazenado em um lugar. O arquivo ReadMe chamado README.DOCX na pasta EXERCISE SOLUTIONS é um exemplo da documentação que suporta os proces� sos de limpeza de dados (veja o Anexo III.A). Consistência entre arquivos Muitas avaliações nacionais inserem cada registro de dados duas vezes. A finalidade da dupla digitação é haver duas séries de dados que possam ser comparadas entre si para encontrar casos de erros de digitação. Se a avaliação nacional requerer uma metodologia de dupla digitação, é pre� ciso verificar a exatidão de cada arquivo e corrigir os dados originais. O Exercício 11.1 contém as respostas de seis alunos extraídas de uma série de dados muito maior, que foram digitadas duas vezes e comparadas para fins de exatidão. Por questões de economia e prati� cidade, o Excel foi usado para comparar as respostas desse exercício. Normalmente, programas de menor disponibilidade, como o WinDem, ou programas mais caros, como o módulo SPSS Data Entry, seriam usados para verificações de consistência entre arquivos. Usar o Excel dessa maneira não requer que os dados importados para esse programa sejam usados para qualquer análise adicional. O Excel é usado apenas como ferramenta para destacar possíveis erros nos dados do Access, e esses dados são atualizados manualmente no banco de dados do Ac� cess. Portanto, esse método limita as possíveis oportunidades de erro existentes ao se transferirem dados de uma aplicação para outra. Nota: Durante uma avaliação nacional real, deve-se criar uma cópia backup do banco de dados original (pré-editada). Esse registro inicial pode ser um recurso incalculável, especialmente se surgirem perguntas sobre possíveis mudanças equivocadas. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  155 Exercí cio 11 . 1 Verificação de Dados Usando o Excel As seguintes etapas possibilitarão que você verifique dados usando o Excel: 1. Abra …\NAEA Data Cleaning\Exercises\Data Verification Exercise.xlsx. Obser- ve que os dados das duas fontes estão colocados em duas planilhas separadas chamadas Dados Finais e Punch 2. A Planilha 3 (Verificação) será usada para verificar os dados. 2. Selecione o botão do Office – Salvar como e salve o arquivo como MY_DATA_ VERIFICATION.XLSX em sua pasta MY SOLUTIONS. 3. Na planilha Verificação, digite a fórmula na célula A4 com a seguinte sintaxe: =‘Final data’!A4=‘Punch 2’!A4. Essa fórmula comparará o dado na célula A4 da planilha Da- dos finais com o dado na célula A4 da planilha Punch 2. Clicar e arrastar essa fórmula sobre todas as células criará fórmulas similares para toda a série de dados. 4. O Excel realiza uma comparação lógica para verificar se as células são idênticas. Esse processo informa VERDADEIRO se os valores correspondentes forem idên- ticos e FALSO se os valores diferirem. O resultado das rotinas de verificação na planilha Verificação é mostrado na Figura 11.1.A do exercício. FIGURA 11.1.A DO EXERCÍCIO  Resultado da Verificação Fonte: Exemplo do autor usando o software Excel. 5. Salve a planilha (CTRL+S). A solução trabalhada para este exercício é encontra- da aqui: …\NAEA DATA CLEANING\EXERCISE SOLUTIONS\DATA_VERIFICA- TION_ EXERCISE_SOLUTION.XLXS. 156  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 11. 1 (continuação) O resultado de validação na Figura 11.1.A do exercício mostra duas comparações FALSAS no campo Nome, indicando erros de digitação nos nomes. Outros cinco erros nos outros campos de dados precisam ser verificados mediante consulta aos cadernos de teste originais. As correções aos dados devem ser feitas na tabela relevante no banco de dados do Access, e todas as correções registradas no arquivo README.DOCX, conforme defi- nido na seção “Documentação” deste capítulo. Consistência dentro de arquivos A consistência entre arquivos refere-se aos processos de verificação, e seu objetivo é determinar a maior exatidão possível dos dados. Mesmo com um modelo abrangente de registro de dados, ainda assim é possível ocorrerem erros ou dados incompletos. Por exemplo, uma avaliação na� cional pode ter sido aplicada na 3a e 7a séries, mas as turmas mistas com essas séries também podem ter participado. As respostas válidas para o campo Série devem ser somente 2, 3, 4, 6, 7 e 8. Se a regra de validação especificasse que somente os valores numéricos entre 2 e 8 (inclusive) seriam válidos, um valor incorreto de 5 poderia ser digitado incorreta� mente e não seria identificado pela regra de validação. Em geral, quando são encontradas inconsistências nos dados, a única opção é extrair o documento-fonte original (o teste do aluno) e corrigir o erro. Essa necessidade de dupla verificação é a razão principal para assegurar que o pessoal responsável pelo registro dos dados tenha acesso fácil aos testes e questionários originais. O SPSS está facilmente disponível e, consequentemente, foi usado na seção seguinte para verificar a consistência entre os arquivos. Outros programas que podem executar essa tarefa com eficiência são WinDem, STATISTICA e SAS (Statistical Analysis Software). Consistência demográfica dos dados (nome da escola) Os erros de grafia em cadernos de teste e em questionários não são ra� ros e podem causar problemas de gerenciamento de dados. Uma causa imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  157 comum de erro é quando um aluno escreve o nome da escola errado ou o abrevia, e o operador de registro de dados copia o erro do cader� no de teste do aluno. (Esse tipo de erro não é um problema quando os identificadores do estudante, ou IDs, que incluem um código da escola, são atribuídos antes que os testes e os questionários sejam enviados às escolas.) Não é incomum que os cadernos dos alunos apresentem varia� ções de nome da mesma escola. Por essa razão, a correspondência e a fusão dos arquivos são feitas com mais eficácia usando-se o ID da escola (mantido da base amostral), e não o nome (fornecido pelos alunos que respondem ao teste). Para fins de relatório, é melhor criar uma tabela separada no banco de dados do Access que contenha todos os nomes grafados corretamente das escolas, com seus IDs correspondentes. Essa tabela pode, então, ser vinculada à tabela de dados dos alunos e ser usada para todas as finali� dades de relatórios oficiais (por exemplo, imprimir o nome da escola no certificado de teste de um aluno nos casos raros em que os alunos recebem os resultados). Essa vinculação da tabela contendo o nome da escola à tabela de dados com as respostas do aluno é demonstrada no Capítulo 16. O comando Frequência O comando Frequency (Frequência) no SPSS permite a observação de todos os valores presentes em cada variável selecionada. Se valores fora do intervalo (valores inválidos) estiverem presentes, podem ser corri� gidos após a verificação feita com o caderno de teste original. A tabe� la de resultados de frequência também pode ser usada para destacar a ocorrência de valores implausíveis. Por exemplo, se a avaliação nacional tiver sido aplicada em todas as escolas do país em uma série específica, é possível esperar uma divisão 50:50 relativamente uniforme de homens e mulheres na variável gênero. Se a tabela de frequência mostrasse uma divisão 70:30, seria preciso investigar por que isso ocorreu e retificar o problema, se for autorizado. O procedimento Frequency é apropriado para a maioria das variáveis não contínuas em uma série de dados. Recomenda-se verificar todos 158  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal os campos para ver se há anomalias, independentemente das regras de validação de dados que estejam em vigor na época do registro de dados. Nota: O valor inválido de 13 para o campo Q3Aq02 apresentado no Exercício 11.2 teoricamente não deveria ser possível com as regras de validação de dados definidas no Access na fase de registro de dados. To� davia, ele é apresentado como exemplo de um valor inválido para fins de exercício. Células em branco no sistema Como regra geral, a série de dados não deve conter nenhum espaço em branco. A base amostral e os procedimentos de validação devem per� mitir todas as respostas possíveis, inclusive a não resposta (em geral, 9, 99 ou 999, dependendo do comprimento do campo). Os espaços em branco estão sujeitos a interpretações equivocadas e podem trazer incerteza sobre os dados. Um espaço em branco pode ser interpretado como ausência de dados ou que o operador de registro de dados tenha cometido um erro, ou esquecido de inserir os dados no caso daquela cé� lula, ou ainda que nenhuma resposta era exigida ou esperada por conta de padrões de salto. Exercí cio 11 . 2 Uso do Comando Frequency no SPSS Este exercício ensina como usar o comando Frequency no SPSS: 1. Abra …\NAEA DATA CLEANING\EXERCISES\DATA_SET_1.SAV. 2. Selecione File – Save As, e salve o arquivo como MY_DATA_SET_1.SAV em sua pasta MY SOLUTIONS. 3. A partir do menu Analyze, selecione Descriptive Statistics – Frequencies. 4. A partir da lista de variáveis na janela Frequencies que apareceu, selecione a vel Q3Aq02 e clique sobre a seta (ou faça um duplo clique no nome da variá­ variá­ vel) para trazê-la à lista de variáveis no lado direito (Figura 11.2.A do exercício). Nota: Você pode selecionar mais de uma variável por vez. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  159 Exercí cio 11. 2 (continuação) FIGURA 11.2.A DO EXERCÍCIO  Execução de um Comando Frequency para Encontrar Valores Inválidos Fonte: Exemplo do autor usando o software SPSS. 5. Clique em OK. 6. Os seguintes resultados devem aparecer agora na janela de resultados do SPSS (Fi- gura 11.2.B do exercício). O número de respostas (frequência) para cada valor de item, incluindo valores não inseridos pelo usuário e valores em branco no sistema, é apresentado na coluna Frequency. Também são dadas as respectivas porcentagens, porcentagens válidas e porcentagens cumulativas para essas respostas. O exemplo mostra um valor 13, que não é uma resposta válida para esse item. FIGURA 11.2.B DO EXERCÍCIO Valores suspensos para a Variável Q3Aq02         Estatísticas Q3Aq02 N Válidos 291 Em branco 6 Q3Aq02 Frequência Percentual Percentual Percentual Válido Cumulativo Válido A: Lea 1 0,3 0,3 3 B: Maria 2 0,7 0,7 1,0 C: Sara 286 96,3 98,3 99,3 D: Kari 1 0,3 0,3 99,7 13 1 0,3 0,3 100,0 Total 291 98,0 100,0 Em branco 8 2 0,7 9 3 1,0 System 1 0,3 Total 6 2,0 Total 297 100,0 Fonte: Exemplo do autor usando o software SPSS. 160  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 11. 2 (continuação) 7. Retorne à janela Data View da folha de dados original do SPSS, destaque a coluna que contém os dados da variável Q3Aq02 e selecione Edit – Find (CTRL+F). 8. Digite 13 no campo Find e clique em Find Next. Esse comando encontra o valor inválido na série de dados que, neste caso, pertence ao aluno Jamap (StudID 2152410). No contexto de uma avaliação nacional, a resposta para esse item seria compara- da com a resposta dada no caderno de teste e o valor mudado de acordo. Neste exemplo, mude o valor na célula Q3Aq02 desse aluno para 3 e salve (CTRL+S) a mudança. 9. Faça a mudança apropriada no arquivo README.DOCX, como exibido na Figura 11.2.C do exercício. FIGURA 11.2.C DO EXERCÍCIO  Trecho do Arquivo README.DOCX Stud ID Variável Valor dos dados Valor reparado 2152410 Q3Aq02 13 3       Fonte: Representação dos autores. Se você executar novamente o procedimento Frequency (etapas 3 e 5), verá que agora não aparece nenhuma listagem para o valor 13 e que as ocorrências da terceira resposta do item (C: Sarah) aumentaram de 286 para 287 na série de dados. Os exemplos de registro de dados no Capítulo 10 usaram 7 como va� lor default para itens de múltipla escolha. Como 7 era um valor inválido, um valor 7 para itens de múltipla escolha indicaria que nenhum valor foi registrado pelo digitador. O comando Frequency apresentado no Exercício 11.2 pode ser usado para encontrar valores em branco do sistema, de modo que os valores possam, então, ser inseridos nessas células após consulta ao caderno de teste original do aluno (ver Exercício 11.3). imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  161 Exercí cio 11 . 3 Uso do Comando Frequency para Encontrar Valores em Branco Você pode usar o comando Frequency para encontrar valores em branco como se segue: 1. Abra …\NAEA DATA CLEANING\MY SOLUTIONS\MY_DATA_SET_1.SAV (com as mudanças salvas dos exercícios anteriores). 2. Execute o comando Frequency (como demonstrado no exercício anterior), dessa vez transferindo todas as variáveis de Gênero para Q3Aq14 na lista de variáveis. 3. Da Tabela de Frequência de Gênero (Figura 11.3.A do exercício), é possível per- ceber que essa variável tem um valor em branco do sistema, representado pelo 1 que aparece à direita de System. É um de dois valores ausentes especificados nesta tabela; outro valor em branco de usuário é representado pelo 1 à direita do 9 na primeira coluna. FIGURA 11.3.A DO EXERCÍCIO  Valores de Gênero em branco Gênero Percentual Percentual Frequência Percentual Válido Cumulativo Válido Homem 147 49,5 49,8 49,8 Mulher 148 49,8 50,2 100,0 Total 295 99,3 100,0 Em branco 9 1 0,3 System 1 0,3 Total 2 0,7 Total 297 100,0    Fonte: Exemplo do autor usando o software SPSS. 4. Para encontrar esse valor em branco na folha de dados (em Data View), selecione Data – Sort Cases. Na janela Sort Cases que aparece agora, selecione a variável Gender e clique sobre a seta para mover essa variável para a caixa Sort by. Clique em OK. 5. O registro com a variável Gender em branco aparecerá agora como o primeiro registro. O valor em branco deve corresponder ao StudID 4106321 de Simon Patchatt (Figura 11.3.B do exercício). Se o gênero do aluno não puder ser confir- mado, você deve digitar o valor 9. Nesse caso, suponha que você tenha verificado o caderno de teste original, que listou 1 para gênero e digite o valor 1 (para Me- nino) nesta célula. 6. Salve (CTRL+S) as mudanças feitas ao SPSS. 7. Observe a atualização (Figura 11.3.C) em …\EXERCISE SOLUTIONS\READ ME.DOCX. 162  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 11. 3 (continuação) FIGURA 11.3.B DO EXERCÍCIO  Registro do Valor Correto Fonte: Exemplo do Autor usando o software SPSS. FIGURA 11.3.C DO EXERCÍCIO  Atualização do README.DOCX Stud ID Variável Valor dos dados Valor reparado 4106321 Gênero Dados em branco 1     Fonte: Representação dos autores. 8. Para as demais variáveis com valores em branco ou valores 7, digite o código apropriado para resposta em branco (por exemplo, 9 ou 99) e faça as atualizações no documento ReadMe. Você pode comparar suas mudanças com aquelas do- cumentadas na seção de Modificações dos Dados do README.DOCX na pasta EXERCISE SOLUTIONS. Criação de novas variáveis Os estudos de avaliação nacional podem usar informações fornecidas por outras fontes que não os alunos, professores ou escolas. Entre essas informações, estão o número oficial de identificação, a região adminis� trativa da escola e se a escola participou de um projeto-piloto específico. Algumas dessas informações podem ser fornecidas pelo Ministério da Educação, por um sistema de gerenciamento de informações educacio� nais. Outras variáveis de interesse para a equipe da avaliação podem ser variáveis derivadas, não diretamente coletadas junto aos alunos, seus professores ou escolas, mas obtidas como uma combinação dos elemen� tos de dados disponíveis nos cadernos. Mesmo que a série de dados seja criada com o Access, as variáveis derivadas podem ser computadas no SPSS. As Partes II e IV deste vo� imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  163 lume fornecem diversos exemplos sobre a criação de variáveis no SPSS, usando os comandos de menu Transform – Compute Variable..., que podem facilmente ser adaptadas para atender a necessidades específicas, tais como criar um índice do nível de instrução parental que se baseie nos níveis de instrução mais elevados alcançados pela mãe e pelo pai. A criação de novas variáveis pode levar a erros. É melhor evitar mani� pular muitos arquivos e registros. Quando variáveis derivadas são criadas no SPSS, é possível economizar um tempo considerável ao aplicar um comando (que pode ser revertido) a muitos registros. Capítulo 12 Importação e fusão de dados N o Capítulo 10, foram apresentadas rotinas para minimizar os erros de registro de da� dos usando o Access. A Parte II abordou a criação das variáveis derivadas usando os comandos de menu Transform – Compute Variable no SPSS (Statistical Package for the Social Scien- ces). Com essas rotinas terminadas, se as variáveis adicionais tiverem sido criadas fora do Access, é interessante importar os arquivos de volta ao Access, de modo a permitir a fusão dos dados. Este capítulo descreve o processo de exportação de dados do SPSS para o Access e fornece al� gumas rotinas úteis de verificação. Os perigos da transferência de dados entre programas Sempre é preciso tomar cuidado ao se transferirem dados entre arquivos ou uni-los de fontes diferentes, porque podem ocorrer erros. Esses erros podem ser implícitos ou explícitos. Erros implícitos surgem porque os programas armazenam ou codificam dados de maneira diferente e, com isso, alguns dados podem ser irrevogavelmente perdidos ou alterados no processo de transferência. Um erro comum ocorre quando o tipo de item para um campo de dados em um aplicativo difere daquele em outro aplicativo. Por exemplo, alguém pode escolher armazenar determinados dados numéricos como texto, de modo que os dígitos sejam armazena� 166  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal dos exatamente como foram digitados. Esse método é bastante usado para manter a integridade de um número identificador (ID) que começa com 0. Entretanto, o aplicativo para o qual esses dados são exportados pode registrar os dígitos nos campos e armazenar os números ID como dados numéricos. Consequentemente, os dados são armazenados co­ mo números e o dígito 0 do começo do número ID é suprimido. Os dados também podem ser perdidos na transferência se houver dife� rença no comprimento do campo para artigos de itens entre programas. Por exemplo, se o aplicativo original tiver um comprimento de campo de 15 caracteres e o aplicativo que recebe os dados, um comprimento de campo de somente 5 caracteres, qualquer dado acima de 5 caracteres será perdido. Questões relacionadas à consistência de nomes de campo, aplicativos que não aceitam determinados caracteres nos nomes de campo e a consistência da codificação (por exemplo, como os valores ausentes são armazenados) também são oportunidades para que um erro seja inserido nos dados. Os erros de natureza explícita são tipicamente produto de erro huma� no. Excluir dados acidentalmente, inserir registros nos campos errados e transferir dados parcialmente são exemplos de erros explícitos com os dados e, quanto mais vezes os dados forem transferidos entre programas, maior é a probabilidade de ocorrência de tais erros. Por essas razões, as rotinas de importação e exportação devem ser executadas com cuidado e apenas quando forem absolutamente necessárias. Exportação de dados do SPSS para o Access O SPSS tem uma função que exporta dados para um banco de dados Access. Para os objetivos do Exercício 12.1, foi criado um arquivo SPSS com todas as correções necessárias feitas aos erros nos dados brutos que foram descobertos no Capítulo 11. O arquivo corrigido está localizado em …\NAEA DATA CLEANING\EXERCISE SOLUTIONS\DATA_ SET_1_SOLUTION. SAV. Nota: No caso de importar dados de outra fonte para o Access, é preciso prestar atenção para que os nomes de campo não contenham espaços ou caracteres especiais (por exemplo, *, &, $). Se houver espaços ou ca� racteres especiais, eles devem ser substituídos pelo caractere traço baixo imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  167 Exercí cio 12 . 1 Exportação de Dados do SPSS Para o Access O exercício a seguir demonstrará como exportar dados do SPSS para o Access: 1. Abra …\NAEA DATA CLEANING\EXERCISE SOLUTIONS\DATA_SET_1_SOLU- TION.SAV. 2. Na barra de ferramentas, escolha File – Export to Database. 3. A partir da caixa ODBC Data Sources, assinale MS Access Database, e clique em Next (ou faça um duplo clique em MS Access Database). 4. Na tela ODBC Driver Login, procure a base de dados que você criou antes (…\ MY SOLUTIONS\MATHS_3A_DATA.ACCDB). Clique em Open, e então clique em OK. 5. Na tela Choose how to export the data, selecione a última caixa: Create a new table. 6. Na caixa Name, digite TBL_MATHS_3A_DATA_CLEANED. Em seguida, clique em Next. 7. Na tela Select variables to store in new table, destaque todas as variáveis na cai- xa à esquerda (CTRL+A). Clique em uma das setas na tabela à direita para trazer todas as variáveis para a caixa Table: TBL_MATHS_3A_DATA_CLEANED (Figura 12.1.A do exercício). FIGURA 12.1.A DO EXERCÍCIO  Seleção de Variáveis para Exportar Fonte: Exemplo do autor usando o software SPSS. 8. Clique em Next e, em seguida, em Finish. O SPSS exportou os dados para o Access e criou a nova tabela, TBL_MATHS_3A_ DATA_CLEANED, e essa tabela agora aparece no menu All Access Objects em seu banco de dados Access. 168  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal (_), que é permitido. Como o SPSS não permite esses caracteres em seus nomes de campo, você não deve encontrar esse problema ao exportar e importar dados entre o SPSS e o Access. Importação de outros dados relacionados Como já observado, algumas informações importantes não coletadas no teste em papel do aluno sobre a escola, o sistema ou os alunos podem ser armazenadas em um arquivo central oficial. Esses dados podem facilitar comparações de desempenho estadual ou regional, ou incluir outras in� formações importantes relativas aos grupos. Em alguns países, por exem� plo, as informações sobre os pais ou os antecedentes do aluno podem ser mantidas em bancos de dados oficiais de departamentos centrais. O Exercício 12.2 mostra como esses dados podem ser importados para o Access e como usar as consultas (queries) para vincular dados de Exercí cio 12 . 2 Importação de Dados da Escola para o Access As etapas a seguir mostrarão como importar dados da escola do Excel para o Access: 1. Abra …\NAEA DATA CLEANING\MY SOLUTIONS\MATHS_3A_DATA.ACCDB (com as alterações do exercício anterior salvas). 2. Na opção External Data selecione Excel da seção Import. 3. Clique no botão Browse e navegue até …\NAEA DATA CLEANING\EXERCISES\ SCHOOLS.XLSX. 4. Destaque a planilha SCHOOLS.XLSX e clique em Open. Em seguida, clique em OK para importar os dados para uma nova tabela do Access. 5. Destaque Sheet1 e em seguida clique em Next. 6. Deixe a caixa First row contains column headings assinalada e clique em Next. 7. A tela seguinte permite que você especifique informações para os dados que está importando. Para as finalidades deste exercício, clique apenas em Next. 8. Essa tela permite que você faça os ajustes preliminares para essa tabela de dados. Clique em Choose my own Primary Key e selecione SchoolCode no menu sus- penso. Em seguida, clique em Next. 9. Salve a tabela como tbl_Schools. Em seguida, clique em Finish. Sua tabela de dados importados sobre a escola aparecerá agora na seção Tables do menu All Access Objects. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  169 tabelas diferentes. Neste exemplo, os outros dados a serem importados e vinculados se relacionam às escolas e são armazenados em um arquivo central do Excel chamado SCHOOLS.XLSX. O campo SchoolName deste arquivo pode também ser usado para todas as finalidades de relató� rios oficiais que pedem que o nome da escola seja anotado corretamente (por exemplo, para imprimir o nome da escola no certificado de teste de um estudante), no lugar do campo SchoolName na tabela dos dados de resposta do aluno, que pode ser grafado errado pelo aluno e, por isso, deve ser usado apenas para fins de verificação. Depois que todos os dados a serem consolidados ou interrogados forem importados no formato tabela para o Access, é possível criar consultas para procurar informações, criar novas tabelas com informações específicas ou realizar outras investigações sobre os dados para verificar seu conteúdo e qualidade. A seção a seguir descreve dois processos essenciais de limpeza de dados. O primeiro descreve a fusão dos dados de dois arquivos, um processo que pode levar muito tempo e mostrar-se suscetível a erros, usando outros programas de software como o Excel. Portanto, é extremamente importan� te criar um arquivo único para servir como única fonte de dados para todas as análises nacionais de avaliação nacional. A segunda seção descreve como usar o Access para procurar registros duplicados. Os digitadores (e, even� tualmente, os operadores do scanner) às vezes se distraem e inserem, de forma acidental, a mesma informação duas vezes. A menos que seja usada uma rotina específica para verificar a existência de duplicações, essa forma de problema de limpeza de dados é com frequência difícil de detectar. Fusão de dados de tabelas diferentes usando consultas do Access Como os testes em papel ou folhas de resposta dos alunos contêm rela� tivamente pouca informação sobre antecedentes que poderiam ser úteis para os formuladores de políticas interessados nos resultados de uma avaliação nacional, pode ser necessário ter acesso a outras fontes de in� formação sobre escolas e alunos. Os exercícios anteriores descreveram o processo para se importarem duas tabelas para o Access: (a) a tabela modificada com os dados das respos� 170  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal tas do aluno após a limpeza de dados (TBL_MATHS_3A_DATA_CLEA­ NED) e (b) uma tabela que inclui informações sobre a escola (tbl_Schools). Essas tabelas têm um campo em comum: o identificador original da escola, rotulado de SchoolID na primeira tabela e de SchoolCode na segunda. O Exercício 12.3 mostra agora como consolidar esses arquivos. Exercí cio 12 . 3 Criação de uma Consulta Simples no Access As etapas a seguir criarão uma consulta simples no Access: 1. Abra …\NAEA DATA CLEANING\MY SOLUTIONS\MATHS_3A_DATA.ACCDB (com as alterações do exercício anterior salvas). 2. Na opção Create selecione Query Design. O Access apresenta então uma caixa de diálogo chamada Show Table. A função desta caixa é permitir que você sele- cione as tabelas que deseja incluir na consulta. (Quando se tornar mais proficiente no uso do Access, poderá ter tabelas múltiplas e combinações de tabelas e de consultas em designs mais complexos.) 3. Selecione TBL_MATHS_3A_DATA_CLEANED e clique em Add (veja a Figura 12.3.A do exercício). Repita o processo para adicionar tbl_Schools à consulta e, então, Close. A área de trabalho de consultas tem duas tabelas, cada qual com uma lista das variáveis presentes na tabela. As barras de rolagem permitem que você faça a rolagem para baixo. A área de trabalho e os tamanhos da tabe- la podem ser alterados colocando o cursor nas bordas das tabelas e clicando e arrastando. FIGURA 12.3.A DO EXERCÍCIO  Adicionando Tabelas à Consulta Fonte: Exemplo do autor usando o software Access. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  171 Exercí cio 12. 3 (continuação) 4. Na tabela TBL_MATHS_3A_DATA_CLEANED, selecione a variável SchoolID. Obser- ve que, como os dados contidos nessas duas tabelas vieram de fontes diferentes, não têm exatamente o mesmo nome da variável (SchoolID e SchoolCode). Entretanto, contêm a mesma informação em idêntico formato. Ambos são dados numéricos. Em- bora seja preferível usar nomes comuns para as variáveis, isso nem sempre é possível, porque às vezes as séries de dados são mantidas por agências diferentes. 5. Consolide as tabelas ao clicar e arrastar a variável SchoolID em TBL_MATHS_3A_ DATA_CLEANED até a variável SchoolCode em tbl_Schools e então solte o mou- se (veja a Figura 12.3.B do exercício). FIGURA 12.3.B DO EXERCÍCIO  Consolidação de Tabelas Fonte: Exemplo do autor usando o software Access. A linha entre SchoolID e SchoolCode indica que essas variáveis foram seleciona- das como o critério que une as duas tabelas. Ambas as tabelas foram vinculadas e qualquer outro dado que esteja disponível em outra série de dados pode agora ser combinado selecionando-se os dados de cada tabela e arrastando-os para o espaço de trabalho abaixo ou clicando duas vezes sobre ele. 6. Faça um duplo clique nas seguintes variáveis de TBL_MATHS_3A_DATA_CLEA- NED: StudID, GivenName, FamilyName, e Yearlevel. Nota: Você pode também selecionar e arrastar variáveis múltiplas com uma ação usando a tecla shift enquan- to seleciona os nomes das múltiplas variáveis e, em seguida, arrastar os nomes destacados para o espaço de trabalho. As funcionalidades usuais de arrastar e soltar do Microsoft aplicam-se ao Access. 7. Inclua todas as variáveis de tbl_Schools. Faça um duplo clique no asterisco acima da variável SchoolCode em tbl_Schools, o que levará todas as variáveis para a ta- bela de consultas. Essas variáveis devem agora aparecer nos campos abaixo e a fi- leira chamada Table indicará a fonte dos dados (veja a Figura 12.3.C do exercício). As informações da escola vêm da tabela tbl_Schools e as informações dos alunos vêm de TBL_MATHS_3A_DATA_CLEANED. Selecione as informações da escola a partir de tbl_Schools porque é uma fonte mais fidedigna para informações sobre a escola do que TBL_MATHS_3A_DATA_CLEANED, que foi extraída das capas dos cadernos de teste. 172  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 12. 3 (continuação) 8. Destaque a coluna YearLevel dos campos na Figura 12.3.C do exercício clicando na pequena caixa cinza acima do nome do campo. Mantenha o cursor na pequena caixa cinza, de modo que ele se transforme em uma seta branca, clique e arraste essa coluna à posição de fim (após as variáveis tbl_Schools*). Essa ação garantirá que a variável YearLevel seja mostrada no final da folha de dados resultante. FIGURA 12.3.C DO EXERCÍCIO  Variáveis de Consulta Fonte: Exemplo do autor usando o software Access. 9. Se necessário, clique sobre um espaço aberto para remover o destaque. 10. Execute a consulta clicando no ícone vermelho ! na barra de ferramentas do Access. A folha de dados resultante deve ser parecida com aquela contida na Figura 12.3.D do exercício. O resultado da consulta fornece um registro por fileira com todos os dados conhecidos sobre o aluno em um único arquivo. Esse arquivo pode, então, ser interrogado para a limpeza final antes de ser exportado para os analistas de dados como uma série de dados limpa. FIGURA 12.3.D DO EXERCÍCIO  Resultado da Pergunta Fonte: Exemplo do autor usando o software Access. 11. Selecione o Office Button – Save e salve a consulta como qry_student_&_scho- ol_data_combined e clique em OK. 12. Observe que sua consulta recém-criada aparece agora como um ícone no menu All Access Objects. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  173 Um número limitado de variáveis foi usado no Exercício 12.3 para descrever o processo de combinação de séries de dados. Para uma avalia� ção nacional, geralmente seriam usadas muito mais variáveis derivadas dos dados sobre os alunos, pais, professores e questionário da escola. Controle de versão Cada vez que se fizer uma mudança nos dados por meio de procedimen� tos de validação, verificação ou gerenciamento, será criada uma nova versão da série de dados. Embora nomes intrínsecos tenham sido usados para cada versão dos dados modificados, somente o arquivo final de ex� portação deve ser usado para análises futuras. Por isso, é importante manter um registro completo do caminho que foi seguido para desenvolver os dados finais e um registro dos passos intermediários e arquivos que foram criados para se produzir a série de dados final e limpa. O arquivo README.DOCX fornece o veículo para essa documen� tação. Esse arquivo é atualizado para gravar o caminho da série de da� dos final, que é importante porque as pessoas têm de ser impedidas de trabalhar em versões diferentes da fonte de dados e, com isso, produzir resultados diferentes. Segurança dos dados Questões de confidencialidade e de segurança são, sem dúvida, im� portantes na condução de uma avaliação nacional. Portanto, é crucial manter os dados dessas avaliações o mais seguros possível, por ques� tões de confidencialidade e para impedir que os dados sejam alterados (inadvertida ou intencionalmente) por aqueles que tenham acesso a eles. Quando os dados estão no formato eletrônico, é importante pensar em definir níveis de acesso aos dados em rede e em um computador indi� vidual. Além disso, o banco em que os dados são armazenados deve ter segurança, que pode ser implementada de duas formas distintas, embora não mutuamente excludentes: pela aplicação de uma senha do banco de dados e pelo acréscimo de segurança no nível de usuário. 174  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Aplicação de uma senha de banco de dados Quando uma senha é configurada para um banco de dados, os usuários serão alertados para inseri-la antes que possam usar o aplicativo. A fun� ção de senha restringe o acesso ao sistema àqueles com conhecimento da senha. Em sua forma mais básica, cada banco de dados pode ter uma senha. A definição de uma senha para um banco de dados Access requer que ele seja aberto no modo de uso exclusivo. Para abrir o banco de da� dos para uso exclusivo, feche o banco e, em seguida, reabra-o usando as instruções fornecidas na mensagem de advertência (Figura 12.1). Uma vez que o banco de dados esteja aberto de forma exclusiva, a senha pode ser configurada clicando-se em Set Database Password na aba Database Tools, inserindo a senha desejada nas caixas de texto e clicando em OK. Desse ponto em diante, o Access alertará o usuário para a necessidade de uma senha antes de permitir que o banco de dados seja aberto. Adição de segurança em nível de usuário ao banco de dados A adição de níveis distintos de permissão, ou segurança em nível de usuário, a um banco de dados é um modo eficaz de restringir o uso e a manipulação dos dados a determinados usuários do sistema. Por exem� plo, indivíduos cuja única tarefa consista em inserir dados em uma fer� ramenta de registro de dados não necessitam ter acesso a nenhuma das funcionalidades que permitam que a modificação do desenho deste ou de qualquer outro objeto do banco de dados. Logo, a segurança em nível de usuário deve ser ajustada para impedir que esses indivíduos modifi� quem o banco de dados de qualquer maneira que seja estranha às tarefas que foram incumbidos de realizar. A definição de segurança em nível de usuário deve ser uma das úl� timas ações no desenho de um banco de dados, porque, depois de sua aplicação, pode ser difícil fazer modificações adicionais no sistema, e os usuários precisarão ter acesso aos novos objetos criados. A aplicação desse tipo de segurança deve ser feita de maneira organizada, porque alguém pode facilmente ficar excluído do sistema ao se definirem níveis imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  175 Figura 12.1 Mensagem de Advertência do Uso Exclusivo Para definir ou remover a senha do banco de dados, é necessário que ele esteja aberto para uso exclusivo. Para abrir o banco de dados de forma exclusiva, feche-o e reabra-o clicando no botão Microsoft Office e usando o comando Abrir. Na caixa de diálogo abrir, clique na seta ao lado do botão Abrir e selecione Abrir Exclusivo. Fonte: Mensagem de advertência do software Access. de usuário. Esse problema pode ser evitado com a criação de uma cópia backup do banco de dados sem proteção de senha antes do início desse processo. O backup deve ser armazenado separadamente até que a adi� ção da segurança em nível de usuário ao banco de dados original tenha sido realizada com sucesso. Nesse estágio, a cópia backup sem senha de- ve ser eliminada. ­­ No Access, a segurança em nível de usuário pode ser adicionada a um banco de dados clicando-se em Users and Permissions – User Level Se- curity Wizard na aba Data-base Tools e seguindo-se o processo passo a passo mostrado pelo Assistente do Aplicativo. Como medida extra, uma maneira eficaz de se manter a par das mudanças em curso no processo de instalação da segurança é pressionar CTRL+Print Scrn a cada estágio da instalação. Essa ação copia a janela atual, que, então, pode ser colada em um documento Word. Capítulo 13 Dados duplicados E ste capítulo aborda a questão dos dados du� plicados – em especial, como verificar a exis� tência de identificadores duplicados (IDs) e registros duplicados. Usando o Access para verificar a existência de IDS duplicados É muito fácil inserir o registro de um aluno duas vezes em um arquivo de dados. Se a ação não for detectada, os dados extras distorcerão os resultados. Os dados que incluem o ID de um aluno devem ser verifi� cados para assegurar que cada aluno tenha somente um registro. Essa verificação aplica-se mesmo que a equipe de avaliação nacional tenha criado IDs originais, porque o pessoal para registro dos dados pode inad� vertidamente ter duplicado um ou mais registros. Embora as regras de validação criadas em exercícios anteriores para a variável StudID não permitissem a criação de IDs duplicados, recomenda-se empregar os se� guintes procedimentos como um mecanismo de verificação. O Exercício 13.1 mostra como usar rotinas do Access para verificar a existência de IDs duplicados. 178  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 13 . 1 Como Gerar uma Consulta para “Encontrar Duplicatas” no Access As seguintes etapas permitem que você use rotinas do Access para verificar a existên- cia de IDs duplicados: 1. Abra …\NAEA DATA CLEANING\MY SOLUTIONS\MATHS_3A_DATA.ACCDB (com as alterações do exercício anterior salvas). 2. Na opção Create, selecione Query Wizard na seção Other. O Access apresenta então uma caixa de diálogo chamada New Query. Selecione Find Duplicates Query Wizard, e então clique em OK. 3. O Access então perguntará em que tabela você deseja procurar campos de va- lores duplicados. Nesse caso, destaque a tabela TBL_MATHS_ 3A_DATA_CLEA- NED, e então clique em Next. 4. Da lista de campos disponíveis à esquerda (como apresentado na Figura 13.1.A do exercício), destaque os campos em que você desconfia que os dados possam estar duplicados, nesse caso StudID. Transfira-os para a caixa à direita usando o sinal > entre as caixas e, então, clique em Next. FIGURA 13.1.A DO EXERCÍCIO  Campos com Valores Duplicados   Fonte: Exemplo do autor usando o software Access. A caixa de diálogo do Access pedirá que você selecione os campos que deseja incluir no relatório dos valores que forem encontrados pela consulta. 5. Selecione SchoolID, GivenName, FamilyName e SchoolName (Figura 13.1.B do exercício), porque permitirão identificar com facilidade qualquer registro que pre- cise de correção, e então clique em Next. O Access recomendará um nome para a consulta (nesse argumento, Encontrar duplicatas para TBL_MATHS_3A_DATA_ CLEANED). imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  179 Exercí cio 13. 1 (continuação) FIGURA 13.1.B DO EXERCÍCIO  Campos Adicionais da Consulta Fonte: Exemplo do autor usando o software Access. 6. Selecione View the results e então Finish. Busca de registros duplicados A realização de uma consulta para encontrar eventual duplicação em uma tabela pode retornar um ou mais registros duplicados quando os dados tiverem sido inseridos incorretamente em diversas ocasiões. Essa situação pode ocorrer quando um digitador perde a concentração e insere dados do mesmo caderno duas vezes ou quando os cadernos já tabulados são colocados acidentalmente na pilha dos não tabulados e inseridos de novo. Observe que os dados apresentados nas Figuras 13.1, 13.2, 13.4 e 13.5 são de uma avaliação fictícia. Eles são usados para demonstrar as saídas de uma consulta a dados duplicados no Access. Os dados fictícios foram usados nesses casos porque a variável Studen� tID em nossos dados não permitiria a ocorrência de valores duplicados (e assim uma consulta sobre dados duplicados baseada no StudentID retornaria um valor nulo). O Exercício 13.1 não teve nenhum ID duplicado porque StudID foi definido como chave primária (e dados duplicados não são permitidos no campo de chave primária) e, portanto, a consulta do exercício não 180  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal encontrou nenhum registro que atendesse aos critérios da busca. Para um exemplo de como as duplicatas são exibidas, veja a Figura 13.1. Os resultados da Figura 13.1 sugerem que os dados foram registrados por engano. Quando uma consulta retorna uma duplicata, é preciso veri� ficar a validade de ambos os registros. Se os padrões de resposta do aluno forem idênticos, é altamente provável que o registro seja duplicado. Os registros, entretanto, devem ainda ser comparados com as fontes originais de dados: os testes em papel do aluno. Um registro do erro no README. DOCX é exibido na Figura 13.2 com a correção subsequente. Figura 13.1 Registros Duplicados Identificados Fonte: Exemplo do autor usando o software Access. Figura 13.2 Documentação da Correção de Erros no ID do Aluno ID ID Variável DataValue Valor Reparado Original Aluno 510 Registro Registro Registro Excluído 2 Completo Duplicado Fonte: Representação dos autores. Para excluir um registro, selecione-o clicando na fileira que contém os dados a serem suprimidos. Na opção Home, selecione Delete na seção Records. Tome bastante cuidado nesse processo. O Access não permite Undo de uma exclusão. Para minimizar exclusões acidentais, o Access perguntará se você deseja excluir o registro (ver Figura 13.3). Clique em Yes para excluir o registro. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  181 A consulta Find Duplicates também mostra se o mesmo StudID foi inserido para dois alunos (ver Figura 13.4). Essa situação pode ocorrer quando um analista usa uma rotina incorreta de copiar e colar ou quan� do um valor foi alterado por engano. A Figura 13.5 mostra como fazer a modificação em README.DOCX. Figura 13.3 Exclusão de um Registro Fonte: Mensagem de advertência do software Access. FIGURA 13.4 Mesmo ID de Aluno para Dois Alunos Fonte: Exemplo do autor usando o software Access. Figura 13.5 Documentação da Correção de Erros no ID do Aluno ID ID Variável Valor do Dado Valor Reparado Original Aluno 4 755 ID Aluno 755 756 Fonte: Representação dos autores. 182  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 13 . 2 Uso de uma Consulta para Encontrar Duplicatas para Localizar Nomes Duplicados de Alunos Este exercício demonstra como usar a consulta Find duplicates no Access: 1. Abra …\MY SOLUTIONS\MATHS_3A_DATA.ACCDB (com as mudanças salvas dos exercícios anteriores). 2. Na opção Create, selecione Query Wizard na seção Other. O Access apresenta então uma caixa de diálogo chamada New Query. Selecione Find Duplicates Query Wizard, e então clique em OK. 3. Selecione TBL_MATHS_3A_DATA_CLEANED e clique em Next. 4. Selecione GivenName, FamilyName e SchoolID (Figura 13.2.A do exercício). Em seguida, clique em Next. FIGURA 13.2.A DO EXERCÍCIO  Campos com Valores Duplicados 5. Na tela seguinte, selecione StudID e SchoolName como as variáveis que você quer no relatório (ver Figura 13.2.B do exercício). Essa ação permitirá identifi- car com facilidade a existência de nomes duplicados. Em seguida, clique em Next. 6. Nomeie essa consulta como Find duplicates for TBL_MATHS_3A_DATA_CLEA- NED_names. Selecione, então, View the results e clique em Finish. O relatório imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  183 Exercí cio 13. 2 (continuação) FIGURA 13.2.B DO EXERCÍCIO Campos Adicionais da Consulta Fonte: Exemplo do autor usando o software Access. FIGURA 13.2.C DO EXERCÍCIO Resultado da Consulta Fonte: Exemplo do autor usando o software Access. do Access (ver Figura 13.2.C do exercício) mostra que esse arquivo de dados pode ter um registro duplicado, porque dois alunos da mesma escola têm o mes- mo nome e receberam IDs de aluno diferentes. O digitador deve verificar os ca- dernos de teste originais ou a lista de alunos na escola em questão para ver se, de fato, dois alunos com o mesmo nome fizerem o teste ou se um dos registros é um erro de duplicação. Se o registro tiver um erro e os dados estiverem duplicados, a tabela dos dados no banco de dados do Access deve ser corrigida. 7. Abra TBL_MATHS_3A_DATA_CLEANED em seu banco de dados. 8. Para encontrar os registros, selecione Find na opção Home (CTRL+F) e digite o número 3870204 na caixa de texto Find. Clique em Find Next. 184  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 13. 2 (continuação) O Access localizará o ID do aluno dos arquivos de dados, e as duas entradas com o mesmo nome ficarão visíveis (Figura 13.2.D do exercício). Há duas razões pos- síveis para dois alunos com o mesmo nome na mesma escola: ou dois alunos na amostra da avaliação nacional têm o mesmo nome, ou ocorreu um erro no registro e os dados do aluno foram inseridos duas vezes. FIGURA 13.2.D DO EXERCÍCIO  Nomes Duplicados Observados Fonte: Exemplo do autor usando o software Access. O digitador deve verificar os registros da escola ou os cadernos de teste originais. Se for constatado que dois alunos têm o mesmo nome, cada um deles deve ser facilmente identificado. Você pode distinguir entre os dois alunos adicionando uma letra correspondente ao segundo nome de um aluno (como JohnC para John Charles) ou adicionando um número a cada primeiro nome. A correção deve ser feita na tabela. Não deve ser feita na consulta. 9. Em TBL_MATHS_3A_DATA_CLEANED, digite o número 1 após k em Jack no primeiro registro. Faça o mesmo com o 2 no segundo registro (ver Figura 13.2.E do exercício). FIGURA 13.2.E DO EXERCÍCIO  Como Diferenciar Nomes Duplicados Fonte: Exemplo do autor usando o software Access. 10. Registre as duas mudanças no README.DOCX (Figura 13.2.F do exercício). FIGURA 13.2.F DO EXERCÍCIO Duplicatas no README.DOCX Stud ID Variável Valor do Dado Valor reparado 3870204 Nome Jack Jack1 3870305 Nome Jack Jack2 Fonte: Representação dos autores. 11. Repita a consulta para verificar se o erro encontrado em Jack Crokar foi corrigido. A consulta não deve retornar nenhum resultado. (Nota: Para repetir a consulta, faça um duplo clique na consulta Find duplicates TBL_MATHS_3A_FINAL_NA- MES no menu All Access Objects – Queries.) imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  185 Usando o Access para verificar a existência de nomes duplicados O Access também é usado para procurar nomes duplicados na mesma escola (Exercício 13.2). Se for definido que existem duas listas com o mesmo nome, mas IDs de aluno diferentes na escola, os cadernos origi� nais do teste devem ser verificados para ver se, de fato, a escola tem dois alunos com nomes idênticos. A necessidade de executar tais verificações é o principal motivo pelo qual os cadernos de teste devem ser cuidado� samente arquivados após a tabulação, a fim de serem recuperados facil� mente se for preciso fazer uma consulta. O processo é similar àquele descrito na seção anterior. É preciso criar uma consulta que use as variáveis para o nome do aluno e ID da escola, e que busque identificar quaisquer outros alunos na escola com nomes idênticos. O Access reúne as variáveis para criar uma variável de busca a fim de encontrar qualquer registro nos dados. Se, por exemplo, forem escolhidos GivenName John, FamilyName Smith e SchoolID 1294, a variável temporária de busca criada no Access é 1294. O Access não procura encontrar todos os alunos de nome John ou todos os alunos de nome Smith, mas limita sua busca a todos os alunos na escola 1294 que se chamem John Smith. O leitor pode verificar seu progresso nos Exercícios 13.1 e 13.2 e compa� rá-los com o banco de dados em …\NAEA DATA CLEANING\EXERCI­ SE SOLUTIONS\MATHS_3A_DATA_ SOLUTION2.ACCDB. Para realizar análises, o usuário precisa ter acesso a um arquivo que contenha os resultados dos dados do teste. Nesse caso, é possível calcular uma pontuação total para cada aluno usando o SPSS, que pode ser ex� portado para o Access com o restante dos dados limpos, como mostrado no Exercício 12.1. Seguindo as etapas apresentadas no Exercício 12.3, é possível criar uma consulta a partir da tabela importada que isole as respostas dos alunos aos itens e dados totais de pontuação, junto com os antecedentes do aluno e os dados da escola. Muitas das ações realizadas aqui ao se unirem dois arquivos visam assegurar que o número correto dos registros tenha sido retido, que os registros de um arquivo correspondam ao registro correto no segundo arquivo e que as duplicatas tenham sido identificadas e removidas, se 186  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal necessário. Essas tarefas foram executadas na Parte II deste volume ao criar as bases amostrais para a probabilidade proporcional ao tamanho da amostra de alunos. O SPSS perguntará rotineiramente o que fazer com as duplicatas encontradas durante uma busca de arquivos. Consulte esses exercícios e observe como a busca é configurada e executada. Anexo Limpeza e III.A gerenciamento de dados: pastas e arquivos E ste anexo descreve os arquivos usados para rea­ lizar os exercícios da Parte III. Esses arquivos podem ser encontrados em www.elsevier.com. A Tabela III.A.1 descreve os conteúdos da pasta Exercises [Exercícios]. A Tabela III.A.2 mostra os conteúdos da pasta Exercise Solutions [Solução dos Exercícios]. A estrutura de diretório dos arquivos de limpeza e geren� ciamento de dados é exibida na Figura III.A.1. 188  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Tabela III.A.1 Exercícios Nome do arquivo Programa Explicação DATA VERIFICATION EXERCISE. Excel 2007 Realizar comparações lógicas XLSX para verificar se as células são idênticas. DATA_SET_1.SAV SPSS Executar comandos de frequência e corrigir registros de arquivos com erros. MATHS 3A CODEBOOK Excel 2007 Adicionar todos os valores do TEMPLATE.XLSX livro de código para os últimos sete itens. SAMPLE TEST PAPER 3A.DOCX Word 2007 Usar como ferramenta de referência para a criação do livro de código. SCHOOLS.XLSX Excel 2007 Importar a lista de escolas para o banco de dados do Access. STUDENTQUESTIONNAIRE.DOCX Word 2007 Usar como exemplo de questionário do aluno em uma avaliação nacional. Fonte: Compilação dos autores. Tabela III.A.2 Solução dos Exercícios Nome do arquivo Programa Explicação DATA VERIFICATION EXERCISE_ Excel 2007 Solução para verificação lógica SOLUTION.XLSX da comparação DATA_SET_1_SOLUTION.SAV SPSS Solução para correção da tarefa dos erros dos dados MATHS 3A CODEBOOK Excel 2007 Solução para a tarefa da criação SOLUTION.XLSX do livro de código MATHS_3A_DATA_SOLUTION1. Access 2007 Solução para a tarefa de criação ACCDB da tabela e do formulário MATHS_3A_DATA_SOLUTION2. Access 2007 Solução das tarefas de ACCDB exportação de dados e criação de consultas README.DOCX Word 2007 Registro das correções feitas nos arquivos de dados Fonte: Compilação dos autores. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  189 Figura III.A.1 Estrutura de Diretório dos Arquivos de Limpeza e Gerenciamento de Dados NAEA DATA CLEANING EXERCISES SOLUÇÃO DOS EXERCÍCIOS MINHAS SOLUÇÕES EXERCÍCIO DE VERIFICAÇÃO SOLUÇÃO DO EXERCÍCIO DE DE DADOS.XLSX VERIFICAÇÃO DE DADOS.XLSX DATA_SET_1.SAV DATA_SET_1_SOLUTION.SAV TEMPLATE DE LIVRO DE CÓDIGO SOLUÇÃO DO LIVRO DE CÓDIGO PARA MATEMÁTICA 3A.XLSX DE MATEMÁTICA 3A.XLSX AMOSTRA DE TESTE EM PAPEL MATHS_3A_ 3A.DOCX DATA_SOLUTION1.ACCDB MATHS_3A_ ESCOLAS.XLSX DATA_SOLUTION2.ACCDB QUESTIONÁRIO DO ALUNO. README.DOCX DOCX Fonte: Representação dos autores. Pa r t e IV Ponderação, estimação e erro amostral Jean Dumais e J. Heward Gough A Parte IV aborda a preparação de dados para a análise, o que ocorre após amostragem, apli� cação do teste, registro de dados e limpeza dos dados. Os exercícios desenvolvem o trabalho realizado anteriormen� te sobre o conjunto de dados Sentz na Parte II. Esta parte abrange uma série de etapas importantes de pré-análise, como a computação e o uso de ponderações de pesquisa, além de cálculo de estimativas e seus erros amostrais. Por fim, serão abordados vários tópicos especiais, incluindo a não resposta e as questões relativas às escolas superdimensionadas e subdimensionadas. Capítulo 14 Computação do peso das unidades amostrais E ste capítulo descreve os pesos de estimação, incluindo como computá-los, como fazer o ajuste para não respostas e como usar as in� formações atualizadas auxiliares para ajustar os pesos de estimação para computar os totais nacionais. Ponderações de desenho Estimação é uma técnica usada para produzir informações sobre uma população de interesse com base nos dados coletados de uma amostra dessa população. A primeira etapa na estimação é atribuir um peso a cada unidade amostrada ou a cada uma das unidades amostradas res� pondentes. A ponderação do desenho pode ser considerada o número médio de unidades na população pesquisada que cada unidade amostra� da representa, e é determinada pelo desenho da amostra. A ponderação do desenho, wd (em que d representa o desenho), para uma unidade na amostra é o inverso de sua probabilidade de inclusão π. Já se observou que na amostragem probabilística, cada unidade tem uma probabilida� de conhecida, π, de ser amostrada. Se a probabilidade de inclusão for, por exemplo, 1 em 50, então cada unidade selecionada representa, em 194  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal média, 50 unidades da população pesquisada. Logo, a ponderação do desenho é wd = 50. Observe que, para um desenho multiestágio (que é frequentemente usado em uma avaliação nacional de aproveitamento escolar), a pro� babilidade de seleção de uma unidade é a probabilidade combinada da seleção em cada estágio. As amostras aleatórias simples e as amostras aleatórias sistemáticas são desenhos probabilísticos iguais porque cada unidade tem a mesma possibilidade de ser incluída na amostra. Em termos estatísticos, no caso da amostragem aleatória simples (SRS), a probabilidade de inclusão é π = n/N para cada unidade, e a ponderação do desenho é wd = 1/π = N/n. No exemplo da amostragem aleatória sistemática, a probabilidade de inclusão, π = 1/k, em que o inteiro k = [N/n], é a etapa de amostragem. Assim, para cada unidade, a ponderação do desenho é wd = 1/π = k. O Exercício 14.1 mostra como calcular a ponderação do desenho para uma amostra aleatória simples (SRS). Exercí cio 14 . 1 Ponderação do Projeto para uma Amostra Aleatória Simples de 400 alunos Lembre-se de que a primeira amostra selecionada para Sentz considerou uma base amostral perfeita de todos os 27.654 alunos elegíveis, da qual se extraiu uma amostra aleatória simples de 400 alunos. Assim, a probabilidade de inclusão para cada aluno é π = n/N = 400/27.654, e a ponderação do desenho é wd = 1/π = 27.654/400 = 69,135. Esse peso foi adicionado ao arquivo da amostra pelo SPSS (Statistical Package for the Social Sciences) quando a amostra foi selecionada. Você pode observar isso ao acessar o arquivo SRS400 e abrir o arquivo STUDENTSR- SAMPLE usando os seguintes comandos:  File – Open – Data – Look in     … \MYSAMPLSOL\STUDENTSRSAMPLE.SAV  Open O resultado deve ser semelhante aos dados da Figura 14.1.A do exercício, após (a) a remoção das variáveis automáticas que não serão necessárias (a saber, Inclusion Probability_1_, SampleWeightCumulative_1_ e SampleWeight_Final_); (b) renomear essas variáveis que serão úteis mais tarde no processo (a saber, PopulationSize, Sample- Size e SampleWeight); e (c) salvar o arquivo. Esse passo de limpeza é idêntico ao que foi feito anteriormente com as amostras da escola e turma (ver o Exercício 8.3). imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  195 Exercí cio 14. 1 (continuação) Você pode salvar o arquivo STUDENTSRSAMPLE em …\MYSAMPLSOL\ para uso futuro. FIGURA 14.1.A DO EXERCÍCIO  Dados no Arquivo Amostral dos Alunos Fonte: Exemplo do autor usando o software SPSS. Quando a estratificação é uma característica do projeto de amostra, os estratos são considerados populações distintas, cada qual fornecendo a própria parte da amostra cheia. Daqui, os pesos do desenho são com� putados independentemente para cada estrato de acordo com o desenho de amostragem usado em cada estrato. Suponha que uma população de N = 1.000 escolas esteja dividida em dois estratos, urbano e rural, na base amostral da pesquisa. O estrato urbano é composto de N1 = 400 escolas e o rural de N2 = 600 escolas. A Tabela 14.1 mostra que a amostra total do tamanho n = 200, nos dois Tabela 14.1 Amostra Aleatória Simples Estratificada com Alocação Igual Estrato Tamanho da Tamanho Fração de amostragem/ população da amostra probabilidade de inclusão Urbano N1 = 400 n1 = 100 π1 = 1/4 Rural N2 = 600 n2 = 100 π2 = 1/6 Total N = 1.000 n = 200 Fonte: Compilação dos autores. 196  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal estratos, foi igualmente alocado a cada estrato. A probabilidade de inclu� são, ou fração de amostragem neste caso, para o estrato urbano, é igual a n/N = 100/400 = 1/4 = 0,25. A fração de amostragem para o estrato ru� ral é igual a n/N = 100/600 = 1/6 = 0,167. No arquivo da amostra, cada escola no estrato urbano tem uma ponderação do desenho de wd, 1 = 4, e cada escola no estrato tem uma ponderação do desenho de wd, 2 = 6. Para a amostragem multiestágio, a ponderação total do desenho é cal� culada ao se pegar o inverso da probabilidade de seleção em cada estágio ou fase e multiplicá-lo. Suponha que uma amostra por conglomerados de dois estágios selecione uma amostra aleatória simples de n1 = 10 entre N1 = 100 escolas na primeira fase e uma amostra aleatória simples de n2 = 30 alunos dentro de cada escola (conglomerado) na segunda fase, em que o número de unidades dentro de cada conglomerado é N2 = 60. A probabilidade de seleção na primeira fase é e a probabilidade de seleção na segunda fase é Assim, a ponderação do desenho para cada aluno selecionado é Para o desenho de amostragem de três estágios usado no estudo de caso de Sentz (escolas, turmas e alunos por meio da não resposta), em que a probabilidade de seleção para o aluno i é πki no estágio kº, a pon� deração do desenho para esse aluno é     = school _ weight × class _ weight × student _weight     = school _ weight × class _ weight × 1 Observe que a amostra, conforme desenhada inicialmente para Sentz, selecionou todos os alunos em turmas selecionadas, de modo que imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  197 student_weight = 1. Assim, o desenho parece ter apenas dois estágios. Entretanto, a importância do terceiro estágio fica evidente mais tarde, quando se constata que nem todos os alunos selecionados realmente par� ticiparam da avaliação nacional. Neste exemplo, os pesos do terceiro estágio têm de ser ajustados para a não resposta (ver a seção seguinte). O Exercício 14.2 mostra como calcular a ponderação do desenho para uma amostra probabilística proporcional ao tamanho (PPS). Os Exercícios 14.3 e 14.4 mostram como adicionar os resultados do teste. Exercí cio 14 . 2 Ponderação do Desenho para uma Amostra PPS de Escolas e Turmas No desenho de dois estágios, em cada estrato foram selecionadas várias escolas com a probabilidade proporcional à sua medida de tamanho (MOS), de modo que cada escola selecionada tivesse a própria probabilidade de seleção. Para calcular essas probabilidades, são necessárias três quantidades: nh, o número das escolas selecio- nadas no estrato h; zhi, o tamanho da escola i no estrato h; e Zh, a medida total do tamanho (cumMOS) para o estrato h. A probabilidade de seleção para a escola é então Por exemplo, o número total de alunos na Província 1 é Z1 = 5.565, e a amostra alo- cada para essa província é de tamanho n1 = 24. Se o MOS para a escola 1.101 for z1,1101 = 89 (ver linhas 1 e 2 da Figura 14.1.A do exercício), a probabilidade de seleção dessa escola seria Em seguida, uma turma com probabilidade igual foi selecionada da lista de turmas elegíveis para cada escola selecionada; se houver turmas Mhi na escola i no estrato h, a probabilidade de seleção no segundo estágio é O SPSS Complex Samples computa as probabilidades de seleção e ponderação do desenho (chamadas de ponderações amostrais pelo SPSS) enquanto seleciona as amostras. Como foram selecionadas duas amostras, a ponderação total do desenho da escola e da turma deve ser computada como produto dos dois componentes. 198  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 14. 2 (continuação) Abra o arquivo com os seguintes comandos:  File – Open – Data – Look in    …\MYSAMPLSOL\CLASS_SAMPLE.SAV  Open Selecione Transform – Compute Variable. Digite DesignWeight em Target Varia­ ble. Digite Weight1*Weight2 em Numeric expression. Clique em OK. Para ajustar o formato da variável DesignWeight, altere o modo de exibição para Va- riable View (aba inferior à esquerda) e verifique se o formato tem duas ou três casas decimais. Retorne para Data View e salve o arquivo CLASS_SAMPLE. Os dados do arquivo CLASS_SAMPLE, que incluem a ponderação do desenho em formato de dois decimais, são indicados na Figura 14.2.A do exercício. Você pode salvar o arquivo CLASS_SAMPLE em …\MYSAMPLSOL\ para uso futuro. FIGURA 14.2.A DO EXERCÍCIO   Dados do Arquivo de Amostra da Turma Fonte: Exemplo do autor usando o software SPSS. Exercí cio 14 . 3 Adicionando Resultados do Teste para uma Amostra Aleatória Simples de 400 Alunos Os resultados fictícios do teste para todos os alunos de 8a série estão armazenados em …\BASE FILES\ RESPONSES. (Na vida real, seriam inseridos após a aplicação do teste e a limpeza de dados, em algum momento após o cálculo das ponderações iniciais do desenho.) Nessa próxima etapa, você combinará o arquivo que contém os 400 alunos selecionados com o arquivo dos resultados do teste para esses alunos. Mais uma vez, você estará classificando e fazendo a fusão de arquivos. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  199 Exercí cio 14. 3 (continuação) 1. Leia e classifique o arquivo RESPONSES usando os seguintes comandos:    File – Open – Data – Look in      …\BASE FILES\RESPONSES.SAV    Open Selecione Data – Sort cases e mova STUDENTID para Sort by. Clique em OK. 2. Leia e classifique o arquivo que contém a amostra aleatória simples de alunos da mesma maneira:     File – Open – Data – Look in      …\MYSAMPLSOl\STUDENTSRSAMPLE.SAV    Open Selecione Data – Sort cases e mova STUDENTID para Sort by. Clique em OK. 3. Una as respostas e a amostra de alunos. Exclua algumas variáveis estranhas e re- tenha apenas os registros da amostra. (Na vida real, essas ações corresponderiam às fases de coleta de dados e captura de dados.) Traga o arquivo RESPONSES para a tela. Selecione Data – Merge files – Add varia­ bles. Escolha STUDENTSRSAMPLE em Open dataset e clique em Continue. Clique em Match cases on key variables… e mova STUDENTID de Excluded variables para Key variables. Clique em Non-active dataset is keyed table. Clique em OK e então clique em OK novamente. As variáveis PopulationSize, SampleSize e SampleWeight devem agora aparecer como variáveis da série de dados RESPONSES. A maioria dos registros tem células vazias. Você reterá os registros para os 400 alunos da SRS, e não para todos os alunos. Use os seguintes comandos: Data – Select Cases – Use filter variable. Mova PopulationSize para Use filter variable. Clique em Copy selected cases…. Digite SRSResponses na caixa Dataset name e clique em OK. Feche RESPONSES e não salve nada. Traga SRSResponses para a tela e salve o ar- quivo como …\MYSAMPLSOL\SRSRESPONSES.SAV. A Figura 14.3.A do exercício contém o arquivo de dados salvo de três alunos, que inclui um trecho dos resultados do teste para a amostra de 400 alunos, pronto para ponderação e estimação. A ordem das variáveis em sua tela pode ser diferente. Ob- serve a variável status, que indica o status do aluno na época do teste. Role a tela para baixo e observe que alguns alunos estiveram ausentes da escola no dia do teste e que outros abandonaram (ou mudaram de) a escola desde a data em que gerou as listas de alunos. Absenteísmo, desistência e transferência são problemas típicos em pesquisas de avaliação nacional. 200  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 14. 3 (continuação) FIGURA 14.3.A DO EXERCÍCIO  Excerto dos Resultados do Teste para uma Amostra de Alunos (Continued) Fonte: Exemplo do autor usando o software SPSS. Exercí cio 14 . 4 Adicionando Resultados de Teste a um Desenho PPS O processo de adicionar resultados de teste a um desenho PPS é similar ao de adi- cionar resultados de testes para os alunos SRS400. Entretanto, neste exemplo, as sequências de amostragem são importantes: primeiro, as escolas foram amostradas, em seguida as turmas e, por fim, os alunos. Essa estrutura influencia a forma como os arquivos são classificados e unidos. Este exercício corresponde às atividades de captura de dados de uma avaliação nacional real. Para começar, você precisa abrir o arquivo com todas as respostas relativas aos 27.654 alunos da 8a série. Essas respostas serão, então, combinadas aos alunos (amostrados) das turmas amostradas e os regis- tros coincidentes serão retidos. 1. Leia e classifique o arquivo RESPONSES como se segue:    File – Open – Data – Look in      ...\BASE FILES\RESPONSES.SAV    Open Selecione Data – Sort cases e mova SCHOOLID CLASSID para Sort by. Clique em OK. 2. Leia e classifique o arquivo que contém a amostra de 120 turmas como segue:    File – Open – Data – Look in      …\MYSAMPLSOL\CLASS_SAMPLE.SAV     Open imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  201 Exercí cio 14. 4 (continuação) Selecione Data – Sort cases e mova SCHOOLID CLASSID para Sort by. Clique em OK. 3. Una as respostas e a amostra de turmas. Exclua algumas variáveis estranhas e retenha apenas os registros da amostra. Traga o arquivo RESPONSES para a tela. Selecione Data – Merge files – Add varia­ bles. Escolha CLASS_SAMPLE em Open dataset e clique em Continue. Clique em Match cases on key variables. Mova SCHOOLID e CLASSID de Excluded variables para Key variables. Clique em Non-active dataset is keyed table. Clique em OK e então clique em OK novamente. As variáveis tamanho da população, tamanho de amostra e pesos devem aparecer agora no arquivo de resposta. Retenha os registros amostrados ao selecionar Data – Select Cases. Mova DesignWeight para Use filter variable. Clique em Copy selected cases… e digite PPSResponses na caixa Dataset name e, então, clique em OK. Traga PPSResponses para a tela e clique na aba Variable View. As seguintes variáveis não serão necessárias e podem ser ignoradas: nbclass, class_size, school_size, alloc. Salve o arquivo como …\MYSAMPLSOL\PPSRESPONSES.SAV. A Figura 14.4.A do exercício apresenta um excerto dos resultados do teste com base na amostragem aleatória de dois estágios com PPS. FIGURA 14.4.A DO EXERCÍCIO  Excerto dos Resultados do Teste Baseados na Amostragem Aleatória de Dois Estágios Fonte: Exemplo do autor usando o software SPSS. Feche todos os arquivos de dados abertos sem salvá-los. 202  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Ajuste de ponderação para não resposta Todas as pesquisas são afetadas pela não resposta, que ocorre quando toda informação solicitada, ou parte dela, sobre unidades amostradas não está disponível por alguma razão. A não resposta pode ocorrer quando a escola ou o aluno se recusam a participar, quando a escola não pode ser encontra� da, quando os alunos estão ausentes ou quando a informação obtida não pode ser usada. A maneira mais fácil de lidar com a não resposta é ignorá-la. Entretanto, a não compensação das unidades que não deram respostas con� duz ao viés. A não compensação poderia, por exemplo, resultar na subesti� mação ou superestimação dos níveis médios de aproveitamento dos alunos, da quantidade de matrículas nacionais ou do tamanho do corpo docente. A maneira mais comum de lidar com a não resposta total é ajustar as ponderações do desenho segundo a suposição de que as unidades respon� dentes representam unidades respondentes e não respondentes. Esse ajuste é razoável supondo-se que, para as características medidas na pesquisa, os não respondentes sejam como os respondentes. As ponderações do desenho dos não respondentes são então redistribuídas entre os respondentes. Essa etapa costuma ser realizada usando-se um ajuste para não resposta. O fator é multiplicado pela ponderação do desenho para produzir uma ponderação ajustada para não resposta, como ilustrado no exemplo a seguir. O fator de ajuste para não resposta geralmente é definido como a re� lação entre a soma dos pesos na amostra original e a soma dos pesos das unidades respondentes. A equipe de amostragem deve consultar os responsáveis pela aplica� ção do teste e definir o número de não respondentes em cada escola. Os dados sobre os não respondentes devem estar disponíveis em um registro como um formulário de acompanhamento de alunos (ver Quadro 4.1). A equipe de amostragem pode usar essa informação para computar os fatores de ajuste apropriados. Suponha que uma amostra aleatória simples de n = 20 estudantes tenha sido selecionada de uma turma de N = 40 alunos. O número de unidades respondentes é simbolizado por nr. Da amostra-alvo original de 20 alunos, somente nr = 16 alunos completaram a avaliação. Para de� terminar a ponderação do desenho e o peso ajustado para não resposta nas unidades respondentes, é necessário cumprir as seguintes etapas: imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  203 yyPrimeiro, calcule as probabilidades de inclusão para uma amostra tória simples: alea­ Portanto, a ponderação do desenho para cada unidade amostrada é wd = 2. yySegundo, calcule o fator de ajuste para não resposta. Como somente nr = 16 pessoas de n = 20 selecionadas forneceram a informação soli� citada, o tamanho final da amostra é 16. Se supusermos que as unida� des respondentes podem ser usadas para representar as unidades res� pondentes e não respondentes, o fator de ajuste para não resposta é yyA última etapa é computar o peso ajustado para não resposta. A pon� deração do desenho ajustada para não resposta, wnr, é o produto da ponderação do desenho e do fator de ajuste da não resposta: wnr = wdA = 2 × 1,25 = 2,5. Cada respondente agora representa 2,5 alunos na avaliação nacional (em comparação com 2,0 alunos se todos os alunos tivessem respondido). Por� tanto, um peso final de 2,5 é atribuído a cada unidade no arquivo de dados. O Exercício 14.5 é apresentado com fins pedagógicos. Esse exemplo mostra como lidar com a questão de ponderar os alunos que, embora tenham sido amostrados, não participaram da avaliação nacional. Se se supuser que todos os não respondentes em uma avaliação na� cional são semelhantes em função das características medidas na avalia� ção, então o mesmo fator de ajuste para não resposta pode ser aplicado a todos os grupos respondentes. Entretanto, há frequentemente uma boa razão para supor que os subgrupos diferem em suas propensões de resposta e características. Por exemplo, alunos de escolas rurais podem estar ausentes da escola com mais frequência do que alunos em escolas urbanas, ou meninos e meninas podem indicar taxas de resposta diferen� tes. Um ajuste aplicado a todos os respondentes provavelmente levaria a resultados tendenciosos. Nesses casos, ajustes separados para não res� posta devem ser realizados dentro de cada estrato. 204  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 14 . 5 Ajuste de Ponderação para Não Resposta Para uma Amostra Aleatória Simples de 400 Alunos Alguns alunos na amostra de 400 alunos selecionados da base amostral de acordo com o desenho não foram testados. A equipe de amostragem deve fazer ajustes para as não respostas. Deve considerar dois tipos distintos de não participantes. Primeiro, alguns alunos podem não estar presentes para o teste por terem abandona- do a turma (e a escola) permanentemente. Um aluno nessa situação receberá o status de desistente ou não frequenta mais a escola nos arquivos de dados. Nesse caso, é possível que alguém sugira mantê-los na base amostral, sem alterar seus pesos, mas dar-lhes pontuações de 0 nos testes. Isso pode ser considerado uma penalidade bastante severa pelo uso de uma base amostral desatualizada. Os alunos pertenciam à população quando a base amostral foi criada, mas não faziam mais parte da popu- lação na época da avaliação, que é a população à qual as estimativas realmente se referem. Uma prática comum, entretanto, é ajustar o peso dos desistentes para 0 e removê-los da base de dados em um momento oportuno. Essa estratégia supõe que o aluno se transferiu para outra escola e ainda tem uma possibilidade de fazer parte da avaliação ou de ser representado por alguém na amostra. Nenhum ajuste é feito nos pesos dos estudantes participantes. Segundo, alguns alunos podem ter estado temporariamente ausentes por doença, por terem de ajudar os pais ou por alguma outra razão. Esses alunos, registrados com o status ausente, podem ser considerados “verdadeiros” não respondentes. Eles ain- da estão na população e, em outro dia, teriam sido testados. Podem ser considerados “perdas ao acaso”. Assim, os pesos dos membros restantes da amostra (incluindo aqueles que abandonaram permanentemente a escola, os desistentes, porque estão na base amostral e eram membros da população na época em que as ponderações de desenho foram definidas) devem receber um ajuste de ponderação para não res- posta. Mais tarde, quando as estimativas para a população pesquisada forem com- putadas, os elementos não respondentes da amostra (ausentes, desistentes e outros) serão filtrados. A equipe de amostragem deve obter informações sobre o status de participação de cada aluno amostrado (participante, ausente, desistente ou algum outro status) da equipe de coleta de dados para cada escola e aluno participante. Essa informação terá de ser regis- trada e incluída no arquivo da amostra de maneira similar à descrita aqui. As respostas dos alunos e sua ponderação do desenho para o desenho SRS são arma- zenadas em …\MYSAMPLSOL\SRSRESPONSES. A variável STATUS indica quem é um não respondente. A variável RESP é criada como marcador para resposta ou não resposta. Como o SRS não usa informações sobre escolas ou turmas, somente os ca- sos no arquivo necessitam ser contados e comparados com o tamanho pretendido da amostra. Os pesos dos alunos amostrados são ajustados de acordo com seu status de participação e os pesos finais são armazenados em …\MySamplSol\SRSResponses para uso futuro. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  205 Exercí cio 14. 5 (continuação) 1. Leia o arquivo SRSResponses usando os seguintes comandos:    File – Open – Data – Look in        …\MYSAMPLSOL\SRSRESPONSES.SAV     Open 2. Crie um marcador para respostas e conte o número de casos de resposta. Use os seguintes comandos: Transform – Recode into Different Variables…. Em segui- da, mova STATUS para Input Variable. Digite RESP em Output Variable Name. Se desejar, você pode digitar um título explicativo na caixa Label. Clique em Change. Clique em Old and New Values. Em Old Value, clique em Value e digite absent, respeitando maiúsculas e minúsculas. Em New Value, digite o número 0. Clique em Add. Em Old Value, clique em All other values na parte inferior da tela. Em New Value, digite o número 1. Clique em Add. Clique em Continue e, então, em OK. Selecione Data – Aggregate no menu. Mova RESP para Break variable. Em Aggre- gated variables, clique em Number of cases. Digite EFFSAM para “effective sam- ple” em vez de manter o default N_BREAK. Em Save, clique em Add aggregated variables to active dataset. Em Options, cli- que em Sort file before aggregating e, em seguida, clique em OK. Observe o número 19 sob o título EFFSAM em que RESP é 0. Esse número indica que 19 membros da amostra foram não respondentes entre os 400 alunos selecionados. 3. Compute o fator de ajuste para não resposta (NRESADJ) e o peso da estimação. Selecione Transform – Compute Variable no menu de comandos. Digite NRESADJ em Target Variable. Digite SampleSize/EFFSAM em Numeric expression. Clique em If... Clique em Include if case satisfies condition. Digite RESP=1, clique em Continue, e então clique em OK. Selecione novamente Transform – Compute Variable no menu de comandos. Digite NRESADJ em Target Variable. Digite 0 em Numeric expression. Clique em If... Clique em Include if case satisfies condition. Digite RESP=0. Clique em Continue, depois clique em OK e então, em OK novamente. Selecione novamente Transform – Compute Variable no menu de comandos para verificar o peso da estimação. Digite FINALWEIGHT em Target Variable. Digite SampleWeight*NRESADJ em Numeric expression. Clique em If... Clique em Include all cases. Clique em Continue. Clique em OK. Você verá que o peso final da estimação é 0 para os alunos ausentes e aproxima- damente 72,6 (dependendo do número de não respondentes na amostra) para os participantes e desistentes. 206  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 14. 5 (continuação) Se o ajuste para não resposta e peso final forem indicados como inteiros, você pode mudar o número de casas decimais visíveis indo à aba Variable View e alterando o formato lá. Cada respondente representa agora 72,6 alunos. Salve o arquivo como …\MYSAMPLSOL\RESPSRSFINALWT.SAV. Esse arquivo será usado para computar estimativas mais tarde. Feche todos os arquivos de dados aber- tos restantes sem salvar. O exemplo a seguir examina uma situação em que existe uma dife� rença na taxa de resposta entre alunos das áreas urbanas e rurais (por exemplo, ao fazer um teste de matemática), tendo por resultado a ne� cessidade de ajustes diferenciais para não resposta a serem aplicados às duas séries de dados. Durante a avaliação nacional, embora as amostras de tamanho 100 tenham sido extraídas para representar as populações urbana e rural, somente nr,1 = 85 alunos no estrato urbano e nr,2 = 70 alunos no estrato rural fizeram o teste de matemática (Tabela 14.2). Os resultados das etapas seguidas para calcular as taxas de ajuste para não resposta são apresentados a seguir: yyA ponderação do desenho em cada estrato é wd,1 = 4 para o estrato urbano e wd,2 = 6 para o estrato rural. yyOs fatores de ajuste para não resposta para cada estrato foram calcu� lados como segue: Estrato 1, urbano: Estrato 2, rural: yyOs pesos ajustados para não resposta para cada estrato, o produto da ponderação do desenho e o fator de ajuste para não resposta foram Estrato 1, urbano: wnr,1 = wd,1A1 = 4 × 1,177 = 4,706. Estrato 2, rural: wnr,2 = wd,2A2 = 6 × 1,428 = 8,571. Assim, cada respondente no estrato urbano do arquivo de amostra re� cebe um peso final de 4,706, e cada respondente no estrato rural recebe imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  207 um peso final de 8,571 (ver Tabela 14.3). Ou seja, cada aluno da área rural representou aproximadamente 4,7 alunos da área urbana, enquan� to cada aluno da área rural representou aproximadamente 8,6 alunos. Tabela 14.2 Amostra Aleatória Simples Estratificada: População Urbana e Rural, Tamanhos de Amostra e Taxas de Resposta Tamanho da Tamanho da Número de Estrato população amostra respondentes Urbano N1 = 400 n1 = 100 nr,1 = 85 Rural N2 = 600 n2 = 100 nr,2 = 70 Fonte: Compilação dos autores. Tabela 14.3 Amostra Aleatória Simples Estratificada: População Urbana e Rural, Tamanhos de Amostra, Taxas de Resposta e Pesos Ajustados para Não Resposta Tamanho da Tamanho da Número de Ponderação Peso Estrato população amostra respondentes do desenho ajustado Urbano N1 = 400 n1 = 100 nr,1 = 85 4 4.706 Rural N2 = 600 N2 = 100 nr,2 = 70 6 8.571 Fonte: Compilação dos autores. Em alguns exemplos, o ajuste para a não resposta pode ser possível ou necessário nas classes definidas por variáveis outras do que aquelas usadas para a estratificação. Por exemplo, se os meninos tendem a res� ponder muito menos do que as meninas, o ajuste para não resposta em termos de urbanização pode não ser tão eficaz quanto o ajuste por gê� nero. Naturalmente, tal ajuste requer que o gênero esteja disponível nas listas de alunos por turmas para cada turma amostrada. A consulta a um estatístico pode ser recomendável porque esses ajustes às vezes são mais delicados do que parecem e podem afetar a maneira como os pesos de replicação devem ser computados (ver Capítulo 16). Ao calcular o fator de ajuste para não resposta, é possível perceber que o fato de que algumas unidades amostradas (alunos) na prática es� tarem fora do escopo (isto é, não fazem parte da população-alvo) é uma consideração importante. Por exemplo, um menino com deficiência de aprendizagem pode frequentar uma turma regular por causa de uma po� lítica nacional de integração escolar. Essa criança, entretanto, deveria ter 208  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal sido excluída da avaliação nacional porque seguiu um currículo reduzi� do ou adaptado e não fazia parte da população-alvo. O cálculo do ajuste para não resposta deve basear-se em unidades dentro do escopo porque unidades fora do escopo na amostra geralmente representam outras uni� dades fora do escopo na base amostral. O exemplo anterior supõe que todos os não respondentes estejam dentro do espaço. O ajuste para não resposta deve ser realizado separadamente para grupos com respondentes similares, onde cada grupo de respondentes representa os não respondentes nesse grupo. A equipe de amostragem pode ser aconse� lhada a consultar um especialista em amostragem para poder identificar os grupos de resposta mais apropriados a uma avaliação específica. O Exercício 14.6 mostra como calcular o ajuste de peso para uma amostra PPS. Exercí cio 14 . 6 Ajuste do Peso para Não Resposta para uma Amostra PPS Ao calcular os pesos para a avaliação nacional de Sentz segundo o desenho PPS de dois estágios, suponha que todas as escolas e turmas selecionadas tenham respon- dido. Na prática, isso provavelmente não ocorrerá, e os ajustes adicionais de peso serão necessários, de modo que as escolas participantes justifiquem as escolas não respondentes na amostra. Como no caso do exemplo SRS, deve-se fazer uma previsão para a não resposta den- tro de turmas selecionadas. Mais uma vez, você deve distinguir entre os desisten­ tes, que permanecem no arquivo com pontuações 0 no teste, e os ausentes provisó- rios, que são tratados como não respondentes. Os pesos dos integrantes restantes da turma devem ser ajustados na forma padrão. O ajuste é calculado da mesma maneira que no exemplo do SRS, exceto que as turmas devem ser consideradas nas computações. 1. Determine os grupos mais apropriados de resposta para o ajuste. Se, por exem- plo, espera-se que as pontuações do teste ou taxas de resposta apresentem dife- rença substancial para meninos e meninas, ou para áreas urbanas e rurais, essas categorias podem ser consideradas nos ajustes de não resposta. No caso atual, um rápido exame dos resultados não sugeriu que esses fatores tenham sido parti- cularmente importantes. Por isso, os ajustes para não resposta serão feitos dentro de cada turma. Se, por exemplo, uma turma tiver originalmente 42 alunos e 1 de- les saiu da escola e 3 estavam temporariamente ausentes, os pesos originais são multiplicados agora por 42/(42 – 3) = 42/39 = 1,0769. O aluno que saiu da escola manteria o peso original, justificando os outros alunos que deixaram a escola. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  209 Exercí cio 14. 6 (continuação) O arquivo …\MYSAMPLSOL\PPSRESPONSES.SAV contém as respostas e ponde- rações do desenho para a amostra de dois estágios dos alunos. O processo para computar os fatores de ajuste para não resposta é idêntico àquele usado antes para a amostra aleatória simples. As respostas precisam ser contadas por turma e por escola, e as instruções demonstrarão a hierarquia da amostra. Na ausência de informações que indiquem que a não resposta é completamente uniforme em toda a população, pode ser aconselhável fazer os ajustes em nível local, e não em nível global. Realize as seguintes etapas para (a) abrir o arquivo correto de resposta, (b) computar o tamanho da amostra no último estágio da amostragem (o tamanho da turma) e nú- mero de respondentes, (c) computar um fator de ajuste para não resposta em nível da turma e (d) computar os pesos finais. Primeiro, leia o arquivo PPSResponses:    File – Open – Data – Look in     ...\MYSAMPLSOL\PPSRESPONSES.SAV     Open 2. Crie um marcador para resposta e conte o número de casos de resposta.a Sele- cione Transform – Recode into Different Variables…. Mova STATUS para Input Variable. Digite RESP em Output Variable Name. Se você quiser, pode digitar um rótulo. Clique em Change. Clique em Old and New Values. Em Old Value, clique em Value e digite absent, respeitando as letras maiús- culas e minúsculas. Em New Value, digite o número 0. Clique em Add. Em Old Value, clique em All other values (na parte inferior da tela). Em New Value, digite o número 1. Clique em Add. Clique em Continue. Clique em OK. Selecione Data – Aggregate. Mova SCHOOLID CLASSID para Break variable. em Aggregated variables, clique em Number of cases. Digite CLASS_SIZE em vez de manter o default N_BREAK. Em Save, clique em Add aggregated variables to active dataset. Em Options, clique em Sort file before aggregating. Clique em OK. Selecione Data – Aggregate novamente. Mova RESP para Break variable e adi- cione-o a SCHOOLID CLASSID, que ainda deve estar na caixa de diálogo da etapa precedente. Em Aggregated variables, clique em Number of cases. Digite CLASS_RESP para o número de respondentes, em vez de manter o default N_BREAK. Em Save, clique em Add aggregated variables to active dataset. Em Options, clique em Sort file before aggregating. Clique em OK. 210  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 14. 6 (continuação) 3. Compute o fator de ajuste para não resposta. Selecione Transform – Compute Variable. Digite NRESADJ em Target Variable. Digite CLASS_SIZE/ CLASS_ RESP em Numeric expression. Clique em If... Clique em Include if case satisfies condition. Digite RESP=1. Clique em Continue. Clique em OK. Selecione Transform – Compute Variable. Digite NRESADJ em Target Variable. Digite 0 em Numeric expression. Clique em If... Clique em Include if case satisfies condition. Digite RESP=0. Clique em Continue. Clique em OK. Clique em OK outra vez. 4. Compute o peso final da estimação. No menu, selecione Transform – Compute Va- riable. Digite FINALWEIGHT em Target Variable. Digite DesignWeight*NRESADJ em Numeric expression. Clique em If... Clique em Include all cases. Clique em Continue. Clique em OK. Salve os resultados do ajuste para não resposta à ponderação do desenho no arquivo ...\MYSAMPLSOL\RESP2STGFINALWT.SAV para uso futuro. A Figura 14.6.A do exercício mostra um excerto do arquivo de dados da amostra PPS com os ajustes finais de peso e os pesos finais apresentados nas duas últimas colunas. FIGURA 14.6.A DO EXERCÍCIO  Excerto do Arquivo de Dados da Amostra PPS Fonte: Exemplo do autor usando o software SPSS. a. Neste exemplo, a contagem está atualizada. Em algumas situações, pode haver um retar- do de tempo entre a criação da base amostral (por exemplo, no mês 1 do ano escolar) e a conclusão dos testes (por exemplo, no mês 10). O número de alunos pode mudar devido a fatores tais como migração natural (novas chegadas e partidas). Nessas situações, é preciso ter uma contagem atualizada. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  211 Exportação e importação de dados limpos A etapa final do processo de limpeza e ponderação de dados consiste em exportar a série de dados limpa em um formato que seja apropriado à análise. O SPSS (Statistical Package for the Social Sciences) importa da� dos do Access e em vários formatos de texto. O SAS (Statistical Analysis Software) importa dados nos formatos Access e SPSS, além de muitos outros formatos de texto. O WesVar aceita arquivos do Access, EpiDa� ta, Epi Info, SAS, SPSS e Stata. Pós-estratificação: uso de informações auxiliares para aprimorar estimativas com o ajuste dos pesos de estimação A ponderação do desenho multiplicada pelo fator de ajuste para não resposta pode ser usada para produzir os pesos finais e as estimativas amostrais das características desejadas. Entretanto, às vezes a informa� ção sobre a população pesquisada está disponível em outras fontes (por exemplo, nas estatísticas mais recentes sobre matrículas). Essa informa� ção também pode ser incorporada ao processo de ponderação. Existem duas razões principais para usar dados auxiliares na estima� ção. Primeiro, é frequentemente importante fazer com que as estima� tivas amostrais correspondam aos totais da população conhecida. Por exemplo, pode ser desejável fazer com que os números estimados de alunos do sexo masculino e feminino correspondam aos números oficiais de meninos e meninas matriculados na escola. Segundo, a pós-estratificação pode aprimorar a precisão das estimativas. Lembre-se de que se costuma considerar que um estimador com uma va� riância amostral pequena – uma medida de erro amostral – é considerado exato. Na fase de desenho, entretanto, informações auxiliares devem estar disponíveis para todas as unidades na base amostral. Na estimação, os dados auxiliares podem ser usados para aumentar a precisão das estimativas, desde que os valores das variáveis auxiliares sejam coletados para as unidades pes� quisadas, e os totais ou estimativas da população estejam disponíveis para essas variáveis auxiliares em outra fonte confiável. 212  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal As informações auxiliares também podem ser usadas para corrigir taxas diferentes de não resposta em subgrupos da população. Elas ainda podem ajudar a ajustar as inadequações de cobertura que ocorrem quan� do a população pesquisada difere da população-alvo. O uso eficaz de dados auxiliares no estágio de estimação tem três exigências básicas: yyOs dados auxiliares devem ser bem correlacionados com as variáveis da pesquisa. yyAs fontes externas de informações sobre a população devem ser exatas. yyAs informações auxiliares devem ser coletadas para todas as unida� des amostrais respondentes somente se os totais da população forem conhecidos. Em geral, as informações auxiliares usadas para a pós-estratificação (como o número de pessoas por gênero e grupo etário ou o número de alunos que fazem aulas de matemática avançada ou de artes e idiomas) são obtidas das fontes oficiais (censo nacional, Ministério da Educação), mas são conhecidas da equipe de amostragem (ou disponibilizadas a ela) somente como totais da população, e não como valores individuais para cada membro da população. Na pós-estratificação, esses totais da popu� lação devem ser comparados com suas estimativas correspondentes da amostra, o que significa que a informação deve ser coletada para cada indivíduo amostrado como parte da seção de antecedentes do questio� nário ou do caderno de teste. Os ganhos de eficiência das estimativas que usam dados auxiliares de� pendem do grau de correlação das variáveis com os dados auxiliares disponí� veis. Os dados não devem somente ser confiáveis; a fonte externa de dados também deve pertencer à mesma população-alvo e basear-se em conceitos, definições e períodos de referência comparáveis, tais como os da pesquisa. A pós-estratificação é usada para ajustar o peso das unidades amostrais usando as variáveis apropriadas à estratificação, mas que não poderiam ser usadas no estágio de desenho porque os dados não estavam dispo� níveis ou porque informações de estratificação atualizadas e confiáveis sobre a população se tornaram disponíveis após a seleção da amostra. A pós-estratificação é usada quando os dados auxiliares estão disponí� imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  213 veis na forma de contagem (por exemplo, número de alunos do sexo masculino e feminino na população). Ela é bastante eficaz para reduzir a variância amostral quando as médias da população das variáveis de interesse são muito diferentes no pós-estrato (como quando as pontua� ções de aproveitamento para meninos e meninas são significativamente diferentes). Não obstante, fazer a estratificação na fase de desenho é preferível a fazer a pós-estratificação. O seguinte exemplo, bastante simples, mostra como usar a pós-estra� tificação para melhorar a estimativa do número de professoras em uma escola. Suponha que um grupo externo de pesquisa tenha conduzido uma pesquisa para obter informações sobre a equipe de funcionários da es� cola. Uma amostra aleatória simples de n = 25 pessoas foi selecionada a partir de uma lista anônima de N = 78 funcionários da escola. Para fins de exemplo, suponha que essa informação auxiliar que poderia ser usada para estratificação não estava disponível na fase de desenho. Tabela 14.4 Pesquisa da Escola: Distribuição Pós-Estratos da Equipe de Funcionários por Gênero Pós-estrato 1, Pós-estrato 2, Número de Grupo homens mulheres respondentes Todos os funcionários 3 12 15 Professores de matemática 1  7  8 Fonte: Compilação dos autores. Além das informações sobre gênero, foram coletadas informações so� bre a idade e a disciplina de especialidade de cada respondente. Das n = 25 pessoas originais, nr = 15 responderam. A Tabela 14.4 apresenta dados específicos sobre gênero na amostra da equipe de funcionários e de professores de matemática. Observe o seguinte: yyA probabilidade de inclusão para cada unidade amostrada foi consequentemente, a ponderação do desenho foi wd = 1/π = 3,12. 214  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal yyO fator de ajuste para não resposta, supondo que todos na pesquisa tiveram a mesma probabilidade de responder (isto é, havia um grupo de não resposta), foi yyO peso ajustado para não resposta foi Assim, todos os respondentes tiveram o mesmo peso ajustado para não resposta, wr = 5,2. Esses pesos foram usados para produzir as esti� mativas de pesquisa mostradas na Tabela 14.5. Tabela 14.5 Estimativas de Pesquisa Ajustadas para Não Resposta Homens Mulheres Total Número de funcionários (3 × 5,2 = ) 15,6 62,4 78,0 Número de professores de matemática 5,2 36,4 41,6 Proporção de professores de matemática 0,33 0,58 0,53 Fonte: Compilação dos autores. Os pesos ajustados para não resposta levaram a uma estimativa de aproximadamente 16 homens e 62 mulheres que trabalham na escola, com uma estimativa de 33% de homens e 58% de mulheres na escola que ensinam matemática. Suponha que, após a condução da pesquisa, a agência externa tenha constatado que 42 homens e 36 mulheres estavam trabalhando na escola na época da pesquisa. As estimativas produzidas pela pesquisa foram bastante diferentes desses valores verdadeiros. A agência decidiu que suas estimativas deveriam ser consistentes com o número conhecido de homens e mulheres. Ela também acreditava que a disciplina de especialização do professor poderia estar relacionada ao gênero. Se informações específicas sobre o gênero dos professores esti� vessem disponíveis na época do desenho da amostra, a agência poderia ter estratificado por gênero. O que a agência pode fazer? imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  215 A amostra pode ser estratificada após o fato para criar o que se co� nhece como pesos pós-estratificados, para que sejam usados durante a estimação. O peso pós-estratificado, wpst, é o produto do peso ajustado para não resposta, wnr, e do fator de ajuste de pós-estratificação. O fator de ajuste pós-estratificação é computado para cada pós-es� trato. Esse fator corresponde à relação do número de unidades da po­ pulação no pós-estrato, N, com o número estimado de unidades da população no pós-estrato, , que é estimado usando as ponderações do desenho ajustadas para a não resposta. (Embora esse exemplo se apli� que à SRS, a mesma fórmula, N/ , pode ser usada para ponderação de desenhos mais complexos.) Neste exemplo, os fatores de ajuste de pós-estratificação são Pós-estrato 1, homens: Pós-estrato 2, mulheres: Quando aplicados ao peso ajustado para não resposta, os fatores de ajuste de pós-estratificação geram os seguintes pesos finais pós-estrati� ficados: Pós-estrato 1, homens: Pós-estrato 2, mulheres: Com o uso dos pesos pós-estratificados, as estimativas do número de homens e mulheres são agora consistentes com os totais conhecidos de homens e mulheres na escola e com a medida em que o gênero se re� laciona com o número e a proporção de disciplinas que o professor ensi� na, podendo-se obter melhorias consideráveis na precisão. Observe que a proporção de professores de matemática dentro de cada pós-estrato não mudou, mas que a proporção de professores de matemática na po� pulação total, que envolve mais de um pós-estrato, sim. As estimativas revisadas da pesquisa são apresentadas na Tabela 14.6. 216  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Existem métodos mais complexos de ajuste de pesos, mas eles estão além do escopo desse tratamento de amostragem. Para questões mais complexas, a equipe de amostragem da avaliação nacional pode desejar consultar um especialista em amostragem para escolher o método mais apropriado de ajuste a uma dada situação. Para concluir, observe que não se fez nenhuma tentativa de pós-es� tratificar os dados de Sentz. Possivelmente, após uma análise inicial dos resultados ponderados, podem ter sido detectadas diferenças que teriam conduzido a uma decisão, motivada pela disponibilidade de informações precisas e atualizadas, no sentido de realizar a pós-estratificação em uma ou mais variáveis-chave. Tabela 14.6 Estimativas da Pesquisa Ajustadas para Não Resposta, Antes e Depois do Ajuste para Pós-Estratificação Pós-estratificação Funcionários Homens Mulheres Total Antes do ajuste Número (3 × 5,2 =) 15,6 62,4 78,0 Número de professores 5,2 36,4 41,6 de matemática Proporção de 0,33 0,58 0,53 professores de matemática Após o ajuste Número (3 × 5,2 × 2,69 =) 42 36 78 Número de professores 14 21 35 de matemática Proporção de 0,33 0,58 0,45 professores de matemática Fonte: Compilação dos autores. Capítulo 15 Computação de estimativas e seus erros amostrais a partir de amostras aleatórias simples A té este ponto, o objetivo dos exemplos e das computações foi calcular ponderações do desenho e fazer os ajustes necessários para a não resposta e dados auxiliares (pesos pós-estratificados). Essas com� putações resultaram em uma série de pesos finais de estimação, que serão usados para computar estimativas da população para a avaliação nacional. A estatística descritiva simples, como a de totais, médias e propor� ções, é gerada para praticamente todas as pesquisas. Tipos diferentes de estimadores são apropriados para esses tipos diferentes de variáveis. As proporções e contagens totais geralmente são produzidas para variáveis qualitativas, enquanto que médias e totais são estimados para variá­ veis quantitativas. Após termos apresentado no Capítulo 14 como com� putar pesos de estimação, mostramos como usar esses pesos de estimação para obter estimativas para algumas características básicas da população, tais como totais, médias e proporções. O capítulo mostra também como obter estimativas de precisão (frequentemente chamadas erro amostral) para essas estimativas. Este capítulo concentra-se em amostras aleatórias simples. A forma de obter estimativas de erro amostral em desenhos amostrais complexos é descrita no Capítulo 16. 218  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Uma consideração durante a estimação, além do tipo de dados, é a natureza da população para a qual as estimativas devem ser feitas. As estimativas podem ser produzidas para toda a população pesquisada ou para um subgrupo específico, ou domínio, da população (por exemplo, província, matéria ensinada ou fonte de financiamento da escola), seja a informação que define o domínio conhecida ou não no momento da amostragem. Quando a classificação original de unidades amostrais mu� dar entre a época da seleção da amostra e estimação, a nova classificação deve ser usada para a estimação do domínio. Essa mudança pode ocorrer se um professor tiver sido registrado nos arquivos administrativos como professor de matemática, mas se descreve como professor de língua e literatura. As respostas às seguintes perguntas ajudarão a determinar como as estimativas da pesquisa são computadas: yyQue tipo de dados está sendo usado: qualitativo ou quantitativo? yyQue tipo de estatística é necessária: um total, uma média ou uma proporção? yyQuais são os pesos finais? yyQuais são os domínios de interesse? Os procedimentos para estimar totais, médias e proporções para toda a população e domínios do banco que usam pesos para variáveis qualita� tivas e quantitativas são descritos neste capítulo. Os estimadores podem ser usados para qualquer desenho de amostra de probabilidade, seja ele simples (por exemplo, amostragem aleatória simples ou amostragem aleatória sistemática) ou mais complexo. O importante é que o peso fi� nal de cada unidade leve em conta corretamente o projeto de amostra. Estimando um total da população Para obter estimativas corretas para dados da população da avaliação nacional, é preciso aplicar os pesos finais corretos aos dados. A notação estatística para calcular estimativas é apresentada no Anexo IV.A. Os procedimentos de estimação são ilustrados no Exercício 15.1. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  219 Exercí cio 15 . 1 Estimação para SRS400 Este exercício envolve a construção de três estimativas de interesse dos formuladores de políticas para toda a população de uma amostra aleatória simples, SRS400: (a) o número total de alunos, (b) sua média de idade e (c) a proporção que obteve pontua- ção igual ou superior a 230 em matemática. Em seguida, três estimativas serão feitas para a subpopulação “meninos” (gênero = 1): o número total de meninos, sua média de idade e sua pontuação média em matemática. Os dados necessários estão armazenados em …\MYSAMPLSOL\RESPSRSFINALWT. SAV. As estimativas devem referir-se à população na época da avaliação. Em consequên- cia, embora os desistentes permaneçam no arquivo e tenham pesos finais porque pertenciam à base amostral inicial, não contribuem para as estimativas. Na época da avaliação, todas as suas características têm valor zero, incluindo uma variável dummy conceitual, e pertencem à população que está sendo avaliada, que é igual a zero. Atribuir valor zero às suas características equivale a pensar na população avaliada como um domínio de estimação dentro da população definida pela base amostral. Logo, os registros dos desistentes devem ser excluídos do arquivo final, que será usado para computar as estimativas finais. Os únicos contribuidores diretos para as estimativas são os alunos que realmente foram avaliados, que também representam os ausentes por meio dos ajustes que conduziram aos pesos finais. Na compilação de estimativas, é preciso levar em conta o status (participante ou ausente) de cada aluno e usar a variável STATUS como filtro. Também é preciso criar uma variável dummy, MAT230, porque os formuladores de políticas estão interessados em obter informações sobre os alunos que tiraram pelo menos 230 no teste de matemática. 1. Para começar o exercício, abra o SPSS, recupere a série de dados e crie MAT230. Os detalhes de como criar MAT230 no WesVar são apresentados nos passos 8 a 12 do Anexo IV.D. Siga os comandos:    File – Open – Data        …\MYSAMPLSOL\RESPSRSFINALWT    Open    Transform – Recode into Different Variables…. 2. Mova MATH para Input Variable. Digite MAT230 em Output Variable Name. Se você escolher, também pode digitar um rótulo. Clique em Change. 3. Clique em Old and New Values. Em Old Value, clique em Range, value through HIGHEST e digite 230. Em New Value, digite o número 1. Clique em Add. Em Old Value, clique em All other values (na parte inferior da tela). Em New Value, digite o número 0. Clique em Add, Continue e OK. 220  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 15. 1 (continuação) Antes que você possa produzir estimativas, precisa filtrar por exclusão os não partici- pantes e usar o peso de estimação. Use os seguintes comandos:    Data – Select Casesa – If condition is satisfied… – If… 4. Mova STATUS para a caixa no canto superior direito. Digite = “participant” e clique em Continue. Em Output, clique em Filter out unselected cases, seguido por OK. 5. Agora você usará o assistente do SPSS para percorrer as etapas requeridas para a estimação, assim como fez com a amostragem. Certifique-se de que somente os participantes tenham sido filtrados por inclusão. Siga os comandos: Analyze – Complex Samples – Prepare for Analysis… Create a Plan File 6. Clique em Browse para localizar MYSAMPLSOL (Figura 15.1.A do exercício). Di- gite SRS_plan para nomear o arquivo. Em seguida, clique em Save e Next. 7. Mova FinalWeight de Variables para a caixa Sample Weight e clique em Next. Clique em Equal WOR seguido por Next. Nesse momento, o programa pode emitir um aviso de que a seção está incompleta; avance para terminar a seção. FIGURA 15.1.A DO EXERCÍCIO  Assistente de Preparação para Análise Fonte: Exemplo do autor usando o software SPSS. a. Esta etapa pode ser diferente no SPSS18. Talvez seja preciso modificar a instrução ou o formato da variável “condição”. (Você pode, por exemplo, converter STATUS para uma vel numérica, usando TRANSFORM.) variá­ imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  221 Exercí cio 15. 1 (continuação) 8. Clique em Read values from variable. Selecione Population Sizes na caixa Units, no canto superior direito. Mova PopulationSize de Variables para Read values… e clique em Next. No painel Summary, clique em No, do not add another stage, seguido de Next. Em seguida, clique em Finish. 9. Agora siga os comandos:     Analyze – Complex Samples – Descriptives Selecione o arquivo que você acabou de criar, …\MYSAMPLSOL\SRS_PLAN. Se- lecione … \MYSAMPLSOL\RESPSRSFINALWT como a série de dados, clique em Continue e OK. Mova Age, Math e MAT230 de Variables para Measures. Clique em Statistics e verifique se Means e Standard Error estão assinalados. Clique então em Continue seguido por OK. Uma pequena janela de saída será exibida na janela Output do SPSS (Figura 15.1.B do exercício). FIGURA 15.1.B DO EXERCÍCIO  Estatística Descritiva para Idade e Matemática Fonte: Exemplo do autor usando o software SPSS. Para computar as estimativas para o domínio “meninos”, e não para a população completa, você pode usar o arquivo SRS_plan que acabou de criar e ir direto para o comando Descriptives e especificar uma subpopulação como segue:   Analyze – Complex Samples – Descriptives Selecione o arquivo que você acabou de criar, … \MYSAMPLSOL\SRS_PLAN. Em seguida, selecione …\MYSAMPLSOL\RESPSRSFINALWT como a série de dados. Clique em Continue e OK. Mova Age, Math, e MAT230 de Variables para Measures. Mova Gender de Varia- bles para Subpopulations. Clique em Statistics e verifique se Means e Standard Error estão assinalados. Clique então em Continue seguido por OK. 222  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 15. 1 (continuação) Os resultados para meninas (GENDER = 0) e meninos (GENDER = 1) estão na tabela de saída na Figura 15.1.C do exercício. FIGURA 15.1.C DO EXERCÍCIO  Estatística Descritiva para Idade e Matemática, por Gênero Fonte: Exemplo do autor usando o software SPSS. Estimando uma média de população Para uma variável quantitativa, a estimativa de um valor médio na popu� lação (por exemplo, a média de idade dos alunos) é obtida adicionando- se o produto do valor da amostra e do peso a cada unidade respondente. Esse número é dividido então pela soma dos pesos. Em outras palavras, a estimativa da média na população é a estimativa do valor total para uma variável quantitativa dividida pela estimativa do número total das unidades na população: imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  223 Estimando uma proporção da população Para dados qualitativos, a estimativa da proporção das unidades na po� pulação pesquisada que tem uma dada característica C é obtida adi� cionando-se os pesos para as unidades que tenham essa característica e dividindo-se esse total pela soma dos pesos para todos os respondentes. Uma variável dummy, ϕi, pode ser usada para indicar se a ia unidade tem (ϕi = 1) ou não tem (ϕi = 0) a característica de interesse. Em outras pala� vras, a estimativa da proporção na população é a estimativa do número total de unidades que têm a característica determinada dividida pela estimativa do número total de unidades na população: Estimando subgrupos da população As estimativas podem ser necessárias para subgrupos, que costumam ser chamados de domínios na literatura de amostragem. Esses domínios podem incluir grupo etário, fonte de financiamento da escola e situação socioeconômica dos alunos. Nessas estimativas, wi indica os pesos finais ajustados para não resposta; a variável dummy δ1 indica se a ia unidade é (δ1 = 1) ou não é (δ1 = 0) na subpopulação de interesse; e a variável dummy ϕi indica se a ia unidade tem (ϕi = 1) ou não tem (ϕi = 0) a carac� terística de interesse. O tamanho da população para uma subpopulação de interesse para dados qualitativos ou quantitativos é estimado como A estimativa de um total da subpopulação para dados quantitativos é As estimativas de uma média de subpopulação para uma variável quantitativa ou qualitativa é, respectivamente, 224  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal e O peso final apropriado deve ser usado para produzir estimativas. Se os pesos amostrais forem ignorados (como foi o caso em pelo menos uma avaliação nacional), as estimativas estarão incorretas. Após ter terminado o Exercício 15.1, o leitor interessado pode dese� jar ver uma comparação dos dados SRS400 e dos dados do censo basea­ da em toda a população de 27.654 estudantes. Essa comparação pode ser examinada no Anexo IV.B. Conclusão Este capítulo limitou-se à estimação na amostragem aleatória simples. O SPSS Complex Samples pode ser usado para computar as estimativas e seus erros de amostragem em desenhos complexos. Entretanto, pode ser difícil usar esse software nessa situação específica e requereria uma compreensão relativamente profunda de amostragem de pesquisas. Uma abordagem e um software alternativos são propostos no Capítulo 16 (ver também o Anexo IV.C). Capítulo 16 Computação de estimativas e seus erros amostrais a partir de amostras complexas E stimativas produzidas a partir de uma pesqui� sa estão sujeitas a dois tipos básicos de erros: erros amostrais e erros não amostrais. Os er� ros não amostrais incluem erros de medida, erros de tendência, erros de resposta e similares. Quando esses erros são sistemáticos, frequen� temente geram vieses, e é difícil mensurá-los. Quando são aleatórios, podem ser estimados com trabalho e recursos generosos. Em avaliações nacionais, os erros não amostrais são causados por fatores humanos, tais como a supervisão inadequada durante a aplicação do teste, por erros cometidos durante a limpeza e registro de dados, por falta de esforço para responder a testes ou questionários ou por respostas falsas aos itens do questionário. Os erros amostrais, por outro lado, não são atribuíveis a fatores humanos. O erro amostral é uma medida do grau com que uma estimativa de amostras possíveis e diferentes do mesmo tamanho e dese� nho, usando o mesmo estimador, diferem uma da outra. Em uma avaliação nacional baseada em amostra, os erros amostrais devem ser calculados. A finalidade deste capítulo é ilustrar como a va­ riância amostral (erros amostrais) é estimada na maioria das pesquisas de avaliação e apontar a importância de se incorporar corretamente o dese� nho da amostra nessa estimação. O capítulo explica como as estimativas de erro amostral podem ser obtidas com facilidade usando-se a replica� 226  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal ção, quando, em vez de selecionar uma amostra de tamanho n, k amos� tras independentes do tamanho n/k são selecionadas. A variabilidade entre as estimativas da amostra k é então usada para estimar a variância amostral (ver Anexo IV.C). Os erros amostrais baseados no desenho da avaliação de Sentz são estimados usando-se o WesVar (Exercício 16.1). Exercí cio 16 . 1 Estimação da Variância Jackknife para uma Amostra PPS Se você ainda não instalou o WesVar em seu computador, deve fazê-lo agora. Siga as instruções contidas no Anexo IV.D e recomece o exercício neste ponto. 1. Para Sentz, você necessita primeiro preparar as replicações, computar os pesos jackknife e atribuí-los às escolas. As instruções para criar 60 zonas jackknife (duas escolas por zona) e para computar os pesos de replicação são dadas no Anexo IV.D. As instruções do SPSS podem facilmente ser modificadas para trabalhar com tamanhos diferentes de amostra. O arquivo … \MYSAMPLSOL\RESP2STGWTJK contém as respostas, os pesos finais da estimação e as zonas jackknife e unidades jackknife. 2. Obtenha estimativas para média de idade, pontuação média em matemática e proporção de alunos com uma pontuação em matemática de pelo menos 230 para a população geral de alunos e para os meninos. As indicações são dadas de modo que as estimativas de variância jackknife sejam computadas usando-se o WesVar. 3. Abra o WesVar. Então, se necessário, veja as etapas 8 a 17 no Anexo IV.D para ter instruções sobre como criar a variável derivada MAT230 e como adicionar alguns rótulos a RESP2STGWTJK. Salve a série de dados. Clique em New WesVar Workbook e selecione …\MYSAMPLSOL\RESP2STGWTJK. Você pode digitar um nome para o workbook para referência futura. (Lembre-se de salvá-lo!) Clique em Table, em seguida clique em Subset Detail e digite STATUS = “partici- pant” na caixa Subpop string. Clique em Add Table Set (Single). Verifique se Missing, RS2 e RS3 não estão clica- dos e que apenas Value esteja clicado. Mova GENDER de Source Variables para Selected e clique em Add as New Entry. Clique em Computed Statistics no painel à esquerda e clique em AGE em Source Variables. Em seguida, clique em BlockMean. M_AGE será acrescentado à lista Com- puted Statistics. Faça o mesmo com MATH e MAT230. Você pode mudar os rótulos como fez antes. Agora clique na seta verde (ou clique em Requests – Run Workbook Requests) para executar a solicitação (Figura 16.1.A do exercício). imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  227 Exercí cio 16. 1 (continuação) 4. Clique no ícone open book ou em Requests – View Output e expanda a visuali- zação até que você possa clicar no botão GENDER para ver os resultados como indicados na Figura 16.1.B do exercício. Observe que computar e exibir as estatís- ticas pode levar algum tempo. O programa termina sua execução quando o ícone View Output aparece no ícone Requests. FIGURA 16.1.A DO EXERCÍCIO  Execução de uma Solicitação no WesVar Fonte: Exemplo do autor usando o software WesVar. FIGURA 16.1.B DO EXERCÍCIO  Estimativas da População para Variáveis Idade e Matemática por Gênero Fonte: Exemplo do autor usando o software WesVar. 228  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal A teoria que respalda a estimação do erro amostral não está dentro do escopo deste capítulo, mas o leitor interessado pode buscar livros di� dáticos sobre teoria da amostragem (ver, por exemplo, Lohr, 1999) para um relato detalhado dos métodos de estimação baseados em desenho ou livros didáticos dedicados à análise de dados de pesquisas complexas (ver, por exemplo, Lehtonen e Pahkinen, 1995). O procedimento para calcular pesos jackknife é descrito no Anexo IV.D. Existem outros mé� todos (tais como bootstrapping e replicação repetida balanceada), porém não serão abordados aqui. Quando a amostra é grande o bastante e o número de estratos é moderado, existem outras estratégias de jackknifing. Em muitos pro� gramas de avaliação internacional, as estimativas são computadas por um serviço central de maneira padronizada e o método usado pode ser diferente daquele descrito aqui. Quando se espera que os países participantes gerem as próprias estimativas, a estratégia descrita no Exercício 16.1 costuma ser adotada por causa de sua simplicidade. Há limitações, entretanto, para o que o jackknifing pode fazer. O jackk- nifing é bastante eficiente em estimar variâncias para totais e funções contínuas de totais (por exemplo, relações, proporções ou coeficien� tes de correlação). Ele não é tão bom em relação a estatísticas descon� tínuas não lineares ou de ordem (por exemplo, coeficientes de Gini ou medianas). Se essas estatísticas forem de interesse, recomenda-se consultar um especialista em amostragem para determinar a melhor abordagem de replicação. Os exemplos no Exercício 16.2 foram criados usando-se o arquivo de dados da avaliação nacional disponível no arquivo SPSS …NATASSESS\ NATASSESS.SAV. Esse arquivo de dados também é a fonte dos dados usados na Parte I do Volume 4 (a ser publicado). Uma observação final de cautela: o mercado de software oferece uma ampla variedade de softwares de processamento de dados e estatística. Um número considerável desses produtos, incluindo aqueles que alegam ser especializados no processamento de pesquisas, fornecerá resultados imprecisos se não se levar em conta que a pesquisa se baseou em um desenho complexo de amostra. O usuário interessado pode consultar re� senhas críticas profissionais sobre software estatístico (ver, por exemplo, http://www.fas.harvard. edu/~stats/survey-soft/survey-soft.html). imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  229 Exercí cio 16 . 2 Cálculo de Diferenças de Gênero em um Teste de Matemática Neste exercício, como você fez com o arquivo de demonstração no Exercício 16.1, é preciso criar uma versão do WesVar no arquivo e computar os pesos de replicação jackknife para ela antes de qualquer outra coisa. Abra o WesVar, clique em New WesVar Data File e selecione …\NATASSESS\ NA- TASSESS.SAV. Role a tela até Source Variables para localizar e mover a ponderação do desenho WGTPOP para a caixa Full Sample e STUDID para a caixa ID. Mova todas as variáveis restantes para a caixa Variables. Salve o arquivo como …\NATASSESS\ NATASSESS.var. Clique no botão scale para criar os pesos de replicação. Como esses dados da ava- liação foram coletados sob um plano de amostragem complexa, como descrito ante- riormente, use duas unidades jackknife por estrato jackknife. Clique em JK2 para se- lecionar Method; você também pode mudar o prefixo dos pesos de replicação pa­ ra JK. Mova JKINDIC para a caixa VarUnit (é isso que NATASSESS chama de unidade jackknife) e mova JKZONE (ou seja, o estrato jackknife) para a caixa VarStrat. Clique em OK para criar os pesos e salvar o arquivo. A recodificação e a rotulagem (labeling) não são necessárias nesse estágio. Feche a tela e retorne para o arquivo WesVar e para a tela WesVar workbook creation. Você também pode abrir um New WesVar Workbook e selecionar …\NATASSESS\ NATASSESS.var como arquivo de dados WesVar. Clique em Open e então clique em Descriptive Statistics. Clique em Analysis Variables no painel à esquerda e mova as três variáveis de interesse (neste caso) – MATHPC (math percent correct), MATHRS (math raw score) e MATHSS (math scale score) – de Source Variables para Selected. Clique no botão com a seta verde para executar a solicitação (Figura 16.2.A do exer- cício) e no ícone do livro aberto (ou clique em Requests – View Output) para ver a saída. Expanda clicando em +. Para obter os dados para MATHPC, clique no + e em Statistics (Figura 16.2.B do exercício). Essa solicitação gera um grande número de estatísticas univariadas para MATHPC (média, percentil, variância da população e outras estatísticas básicas ponderadas), junto com seus erros amostrais estimados, onde apropriado, como indicado na Figura 16.2.C do exercício. Observe que o WesVar não calcula a moda. Feche a janela de saída. Destaque WorkBook Title 1 no painel à esquerda e clique em Table seguido por Add Table Set (Single). No painel à esquerda, clique em Computed Statistics, assinale MATHSS em Source Variables e clique em Block Mean; a pontuação média de matemática será computada. Assinale Table Set #1, mova GENDER de Source Variables para Selected e clique em Add as New Entry. Se necessário, clique em + para expandir Table Set. Clique no modo Cells no painel à esquerda. O painel à direita exibirá todas as células que serão produzidas para aquela tabela em Cell Definition; assinale 1, digite Meninos no painel Label e clique em Add as New Entry. Faça o mesmo para a célula 2, que se refere às meninas (Figura 16.2.C do exercício). 230  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 16. 2 (continuação) FIGURA 16.2.A DO EXERCÍCIO  Workbook WesVar Antes da Fase Análise Fonte: Exemplo do autor usando o software WesVar. FIGURA 16.2.B DO EXERCÍCIO  Estatística Descritiva WesVar para MATHPC Fonte: Exemplo do autor usando o software WesVar. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  231 Exercí cio 16. 2 (continuação) FIGURA 16.2.C DO EXERCÍCIO  WesVar: Rotulagem de Células Fonte: Exemplo do autor usando o software WesVar. Clique em Cell Functions (painel à esquerda), digite Diff = Boys – Girls na caixa Function Statistic e clique em Add as New Entry. Assinale o nodo For… no painel à esquerda. Mova M_MATHSS para o lado direito e mova SUM_WTS de volta para a fonte Variables (Figura 16.2.D do exercício). Agora execute a solicitação clicando no botão da seta verde. Para ver as estatísticas, clique no ícone do livro aberto (ou Requests – View Output) e clique em GENDER no Table Set expandido. FIGURA 16.2.D DO EXERCÍCIO Computando Diferenças entre Entradas de Célula Fonte: Exemplo do autor usando o software WesVar. 232  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Exercí cio 16. 2 (continuação) Finalmente, para ver os resultados, clique no ícone do livro aberto (ou Requests – View Output) e vá para o nodo relevante. A pontuação média para os meninos é estimada em 250,44 (erro amostral = 2,88), e a pontuação média para as meninas é estimada em 249,55 (erro amostral = 2,52) (Figu- ra 16.2.E do exercício). Para ver os dados sobre a diferença entre meninos e meninas, clique em Functions em GENDER (Figura 16.2.F do exercício). Observe que a série de estatísticas computadas e exibidas está controlada no modo opções da tabela. Os dados exibidos podem diferir daqueles apresentados na Figura 16.2.F do exercício porque dependerão das opções selecionadas. FIGURA 16.2.E DO EXERCÍCIO  WesVar: Comparação de Pontuações Médias de Matemática por Gênero Fonte: Exemplo do autor usando o software WesVar. FIGURA 16.2.F DO EXERCÍCIO  Diferença de Pontuação Média em Matemática no WesVAr Fonte: Exemplo do autor usando o software WesVar. A diferença estimada é muito pequena (diff = 0,89), e o valor-t associado é 0,89/3,189 = 0,279, o que torna a diferença estatisticamente não significativa (valor-p = 0,781 > 0,05). Capítulo 17 Tópicos especiais E ste capítulo abrange algumas questões adicio� nais de amostragem relacionadas a dificulda� des, problemas e erros geralmente encontrados em estudos sobre avaliação nacional. Esses tópicos incluem o tratamento das não respostas, estratificação, classificação da base amostral e seleção da amostra, tratamento de escolas de tamanho excessivo e de tamanho reduzido; e padrões para julgar a adequação de taxas de resposta em uma avaliação nacional. Não resposta Não há um modo universal ou uniforme que seja melhor para lidar com a não resposta. Em uma pesquisa social geral, as razões para a não res� posta em uma parte do país (por exemplo, fechamento de escolas por causa do mau tempo) podem ser diferentes daquelas em outra parte do país (por exemplo, descontentamento geral com as autoridades locais). A magnitude, a causa e o impacto da não resposta são quase impossíveis de predizer, o que dificulta o desenvolvimento de uma estratégia global para se proteger dela. Com o tempo, entretanto, estatísticos de pesquisa 234  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal desenvolveram algumas práticas mais ou menos aceitas para lidar com a não resposta. Uma das estratégias consiste em aumentar o tamanho da amostra para compensar a não resposta prevista. Esse método é válido contanto que as razões para a não resposta não estejam relacionadas com o tema da pesquisa. O aumento pode ser sobre a amostra completa ou ficar res� trito a alguns estratos ou a alguns grupos de respondentes para quem a taxa de resposta foi baixa no passado. No contexto de uma avaliação na� cional de aproveitamento escolar, se for necessária uma amostra de 100 escolas respondentes, e for esperado que um total de 25%, por exemplo, se recusará a participar, 134 escolas (75% de 134 = 100,5) devem ser se� lecionadas e abordadas. Uma taxa de resposta melhor do que a esperada trará pequenos custos adicionais à coleta e ao processamento de dados. Por essa razão, é aconselhável fazer um provisionamento para custos adicionais no orçamento inicial. Uma segunda estratégia comum entre os estudos de avaliação é usar respostas proxy, ou escolas de reposição. Em geral, para cada escola amostrada, uma escola de reposição também é selecionada. Uma esco­ la de reposição deve ser tão similar quanto possível à escola seleciona� da. Se existir um arquivo já classificado (para a estratificação implícita), uma técnica consiste em usar a escola imediatamente depois ou imedia� tamente antes da escola selecionada na lista classificada, supondo que a escola esteja disponível para atuar como uma escola de reposição. Essa estratégia não elimina o viés de não resposta, mas pode mantê-lo em um nível mínimo, se a classificação estiver de fato relacionada aos resulta� dos. Uma escola selecionada para a amostra principal nunca pode ser usada como escola de reposição para outra escola selecionada mas não respondente. Uma escola de reposição pode ser marcada como substi� tuta para duas escolas consecutivas selecionadas (por exemplo, quando a taxa amostral for muito elevada em um estrato e o número de escolas disponíveis para reposição for insuficiente). Nessa situação, a escola de reposição pode ser usada somente uma vez. As escolas de reposição podem ser um recurso tranquilizador. Entre� tanto, as equipes de avaliação nacional podem ajudar a limitar o uso de escolas de reposição ao procurar incentivar todas as escolas originalmen� te selecionadas a participarem. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  235 Estratificação, classificação da base amostral e seleção da amostra A maioria dos estudos sobre avaliação nacional usa um desenho estra� tificado multiestágio. Esse tipo de desenho foi ilustrado no Capítulo 8. Como indicado anteriormente, é possível usar os estratos para assegurar que determinados tipos de escola sejam selecionados na amostra (por exemplo, por província) e que determinado tamanho de amostra seja alocado a cada grupo (por exemplo, 75 escolas por província). Esses es� tratos são chamados explícitos. Também é possível usar outros critérios para os quais não seja necessário o mesmo nível de precisão, ou a repre� sentação proporcional é suficiente (por exemplo, cidades dentro de uma província ou financiamento dentro de uma província). Esses estratos são chamados implícitos. Na prática, os estratos implícitos são variáveis clas� sificadoras dentro de estratos explícitos. Por fim, não obstante a técni� ca de seleção da amostra usada (como a amostragem aleatória simples, a amostragem aleatória sistemática ou a probabilidade proporcional ao tamanho), a base amostral deve ser classificada pelo tamanho da escola antes da seleção da amostra. A classificação pelo tamanho melhorará a seleção de escolas de reposição. Uma característica comum do processo de seleção é o uso da amos� tragem aleatória sistemática. Alguns países a usam com probabilidade igual, enquanto outros a usam com probabilidade proporcional ao tama� nho da escola. Claramente, a classificação da base amostral deve ser feita dentro de cada estrato explícito, porque isso corresponde à estratificação implíci� ta. Uma maneira útil de classificar a base amostral antes da seleção da amostra é alternar a ordem de classificação por tamanho de um estrato implícito para o seguinte. A Tabela 17.1 mostra como esse tipo de clas� sificação é realizado. Não é obrigatório classificar a base desse modo, mas isso melhora a similaridade das escolas de reposição e das escolas selecionadas, e deve reduzir o viés de não resposta. Esse tipo de classificação pelo tamanho também aumenta as possibilidades de selecionar escolas de todos os ta� manhos dentro de cada estrato explícito, minimizando a variação de estrato para estrato e aumentando, assim, a precisão das estimativas. 236  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Tabela 17.1 Base Amostral com Medidas Diferentes de Ordem de Tamanho Dentro dos Estratos Estrato Estrato Medida do ID da Endereço Nome do Outra variável explícito implícito tamanho escola postal diretor da base 1 1 Pequena 1 ... ... ... 1 ... ... ... ... ... ... 1 1 GRANDE ... ... ... ... 1 2 GRANDE ... ... ... ... 1 ... ... ... ... ... ... 1 2 Pequena ... ... ... ... 1 3 Pequena ... ... ... ... 1 ... ... ... ... ... ... 1 3 GRANDE ... ... ... ... 2 1 Pequena ... ... ... ... ... ... ... ... ... ... H 3 ... N ... ... ... Fonte: Compilação dos autores. Nota: Na coluna 3, todas as escolas no país no primeiro estrato (as primeiras três fileiras de dados) são classificadas em ordem de tamanho da menor para a maior. Não é possível listar todas as escolas em cada estrato nessa figura. O símbolo “…” representa as escolas entre a menor e a maior. Escolas de tamanho grande Ao usar a amostragem com a probabilidade proporcional ao tamanho, a ponderação do desenho é diretamente afetada pelo tamanho da unidade amostral. Unidades muito pequenas terão pesos muito grandes e, inver� samente, unidades muito grandes terão pesos muito pequenos. Algumas unidades podem até mesmo ter pesos inferiores a um. Nessa situação, a prática comum é escolher a unidade “com certeza” e refazer a amostra� gem para o restante da base amostral. Por exemplo, considere o estrato de Nh = 10 escolas na Tabela 17.2, para o qual uma amostra de nh = 3 escolas é necessária, e a ponderação do desenho que cada escola teria se fosse selecionada. Se a escola 1 (que responde por mais de 50% dos alunos na base amostral) fosse selecio� nada, sua ponderação do desenho seria inferior a um. Para lidar com o problema, seria possível decidir que essa escola está selecionada e que representará somente a si própria. A escola 1 é chamada unidade de au- torrepresentação. Então, seria necessário selecionar duas escolas das nove restantes, como mostrado na Tabela 17.3. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  237 Tabela 17.2 Base Amostral para 10 Escolas e Ponderações de Desenho Associadas se Selecionadas Medida de tamanho Medida cumulativa ID da escola da escola do tamanho Ponderação do desenho 1 500 500 830/(3 × 500) = 0,5533 2 50 550 830/(3 × 50) = 5,5333 3 50 600 830/(3 × 50) = 5,5333 4 40 640 830/(3 × 40) = 6,9167 5 40 680 830/(3 × 40) = 6,9167 6 35 715 830/(3 × 35) = 7,9048 7 35 750 830/(3 × 35) = 7,9048 8 30 780 830/(3 × 30) = 9,2222 9 30 810 830/(3 × 30) = 9,2222 10 20 830 830/(3 × 20) = 13,8333 Fonte: Compilação dos autores. Tabela 17.3 Base Amostral Ajustada Medida de tamanho Medida cumulativa ID da escola da escola do tamanho Ponderação do desenho 1 500 500 500/500 = 1,0000 2 50 50 330/(2 × 50) = 3,3000 3 50 100 330/(2 × 50) = 3.3000 4 40 140 330/(2 × 40) = 4,1250 5 40 180 330/(2 × 40) = 4,1250 6 35 215 330/(2 × 35) = 4,7143 7 35 250 330/(2 × 35) = 4,7143 8 30 280 330/(2 × 30) = 5.5000 9 30 310 330/(2 × 30) = 5,5000 10 20 330 330/(2 × 20) = 8,2500 Fonte: Compilação dos autores. Se um especialista em amostragem sugerir essa estratégia, também pode recomendar que sejam selecionadas duas turmas da escola 1. Observe que essa seleção terá o efeito de aproximar os pesos para as unidades restantes, o que resultará em um erro amostral menor. Se, após a remoção da escola 1, for comprovado que a escola 2 causa problema similar, ela também seria removida, e a base amostral e a amostra seriam 238  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal corrigidas da maneira ilustrada previamente. Naturalmente, a amostra aumentaria para quatro unidades (duas unidades autorrepresentadas e duas das oito restantes). Escolas de tamanho reduzido Muitos países com população rural substancial têm um número relati� vamente grande de escolas pequenas. Suponha que as escolas menores na base tenham tão poucos alunos (digamos, menos de 10 cada uma) que não forneceriam informações suficientes sobre a escola. (O tamanho mínimo do conglomerado é decidido pela psicometria do teste, pelo nú� mero de cadernos usados na avaliação e por outros parâmetros que estão fora do processo de amostragem.) Alguns estudos de avaliação recomendam que as escolas abaixo de al� gum limite (por exemplo, cinco alunos por turma) sejam excluídas. Essa estratégia concentrará a coleta onde os tamanhos da escola e da turma sejam suficientes para garantir uma avaliação econômica e modelagem e análises de confiança. Entretanto, a exclusão das escolas menores pode levar a algumas questões sérias de subcobertura em países ou nas áreas de países que tenham muitas escolas rurais pequenas. A exclusão tam� bém pode esconder dos analistas e formuladores de políticas problemas ou peculiaridades das escolas menores. Como alternativa, alguns especialistas em amostragem recomendam que as escolas pequenas que estejam próximas sejam reunidas para for� mar pseudoescolas, seja através da união de muitas escolas pequenas, seja através da união de uma escola grande e uma escola pequena. Suponha que em uma avaliação os formuladores de políticas estejam interessados nas estatísticas de todos os tamanhos de instituições, mas o material de teste é tão volumoso que três cadernos precisam circular entre os alunos testados. Os pesquisadores ou investigadores que traba� lham na avaliação podem ter de fazer análises que requeiram a partici� pação de pelo menos 15 crianças em cada escola, criando cinco grupos de rodízio para os três cadernos. Nessa situação, as escolas pequenas criarão um problema adicional. A lista das escolas pode ser similar à lista apresentada na Tabela 17.4. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  239 As escolas 1012, 1013, 1014 e 1015 não têm alunos suficientes para atender a todas as exigências da avaliação. Além disso, essas escolas não são todas da mesma área. Agora, a base amostral pode ser classificada pela área e medida do tamanho, de modo que seja mais fácil ver onde as soluções se encontram e qual a melhor forma de criar pseudoescolas, se necessário. Se as escolas 1011 e 1013 estiverem próximas uma da outra e as escolas 1012 e 1014 também estiverem em cidades vizinhas, a base amostral poderia ser reorganizada conforme apresentado na Tabela 17.5. Uma vez unidas, as várias escolas que formam a pseudoescola são tra� tadas como uma única unidade amostral. Por exemplo, se a pseudoescola 1111 for selecionada, todos os alunos das escolas originais 1011 e 1013 seriam convidados para a sessão de avaliação. As taxas de resposta e de participação seriam computadas usando-se a pseudoescola 1111, e não as escolas originais 1011 e 1013 separadas. O peso de estimação seria aplica� do à pseudoescola usando-se sua medida combinada de tamanho. Tabela 17.4 Base Amostral Medida de tamanho Medida cumulativa ID da escola da escola Área geográfica do tamanho 1001 75 1   75 1002 60 2 135 1003 50 2 185 1004 40 1 225 1005 40 2 265 1006 35 1 300 1007 15 1 315 1008 20 3 335 1009 30 2 365 1010 30 3 395 1011 15 2 410 1012 10 2 420 1013  5 2 425 1014  5 2 430 1015  2 3 432 Fonte: Compilação dos autores. 240  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Embora mantenha a cobertura em um nível ótimo, essa estratégia introduz ruídos que podem ser indesejáveis nas estatísticas dentro da escola e entre as escolas. Muitas análises psicométricas tentam distinguir entre a contribuição da escola e a contribuição do aluno para a pontua­ ção da avaliação (em análises multinível), sob a suposição de que a con� tribuição da escola é a mesma para todas as crianças que frequentam a mesma escola e possa variar de escola para escola. Reunir escolas pe� quenas em uma pseudoescola maior pode introduzir uma variabilidade de escola para escola em um modelo que espera que essa contribui� ção seja fixa para todos os membros de uma única unidade. A análise deve ser feita de acordo com a estrutura original da escola. Essa questão deve ser discutida pelos gerentes da pesquisa, pelos estatísticos da pes� quisa e pelos analistas da avaliação antes que se faça a seleção final de amostragem. Tabela 17.5 Base Amostral Modificada Escolas originais Pseudoescolas Medida de Medida ID da Medida Medida ID da tamanho da Área cumulativa pseudo- do cumulativa escola escola geográfica do tamanho escola tamanho do tamanho 1007 15 1 15 1007 15 15 1006 35 1 50 1006 35 65 1004 40 1 90 1004 40 90 1001 75 1 165 1004 75 165 1013 5 2 170 1111 20 185 1011 15 2 200 1111 1014 5 2 175 1112 15 200 1012 10 2 185 1112 1009 30 2 230 1009 30 230 1005 40 2 270 1005 40 270 1003 50 2 320 1003 50 320 1002 60 2 380 1002 60 380 1015 2 3 382 1115 22 402 1008 20 3 402 1115 1010 30 3 432 1010 30 432 Fonte: Compilação dos autores. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  241 Padrões para julgar a adequação das taxas de resposta Como observado anteriormente, as exclusões (tais como escolas em ilhas remotas ou escolas muito pequenas) são limitadas frequentemente a 5% da população-alvo desejada antes que se divulgue algum aviso de publicação dos resultados. Após as escolas terem participado ou terem sido substituídas e os dados da amostra terem sido coletados, é possível computar várias taxas de resposta e de participação. Embora não exista nenhuma regra universal para definir o que é “bom” e o que é “ruim”, determinado padrão passou a ser reconhecido e é usado nos estudos mais importantes sobre avaliação internacional. A Associação Internacional para Avaliação do Aproveitamento Esco� lar usa a seguinte regra em muitas de suas avaliações: yy85% (não ponderado) da amostra original de escolas (isto é, antes da reposição) e yy85% (não ponderado) da amostra de alunos das escolas participantes (amostra original ou reposição) ou yy75% (ponderado) para a participação combinada de escolas e alunos (isto é, participação da escola multiplicada pela participação do aluno em escolas participantes) É possível elaborar outras regras, entretanto, quanto mais baixa a par� ticipação de escolas ou de alunos, maior a probabilidade de viés. Anexo Notação estatística IV.A para cálculo de estimativas P ara dados qualitativos e quantitativos, a esti� mativa do número total de unidades na popula- ção pesquisada é calculada adicionando-se os pesos finais ajustados das unidades respondentes: em que i é a ia unidade de resposta na amostra, wi é seu peso final ajusta� do, e isso é somado a todas as unidades respondentes. Para dados quanti� tativos, a estimativa de um valor total (como a despesa total) é o produto do peso final, wi, e do valor, yi, para cada unidade respondente, somada a todas as unidades respondentes: δ = 1, para todas as unidades respondentes Pode-se definir uma variável dummy yi =   i δi= 0, para todas as unidades não respondentes, e a soma dos pesos de estimação (ajustados para a não resposta) de todas as unidades respondentes é então que é uma estimativa de N, o tamanho da população. Anexo Uma comparação IV.B dos dados srs400 e dos dados do censo A comparação dos dados SRS400 e dos dados do censo usa um arquivo chamado …\BASE FILES\CENSUS.SAV. Esse arquivo contém dados para cada um dos 27.654 alunos em Sentz. É um arquivo ideal, que não existiria na vida real. Todos os alunos têm resultados da avalia� ção, exceto aqueles que são considerados desistentes, como indicado no campo de status de resposta. Assim, esse arquivo representa os resulta� dos que teriam sido obtidos por um censo perfeito. Usando o arquivo CENSUS e o menu Data – Aggregate, o SPSS produziu os resultados gerados na Tabela IV.B.1. Tabela IV.B.1 Dados de Sentz Baseados no Censo Média de idade Pontuação média Proporção acima Domínio (anos) em matemática de 230 População 14,00 216,83 0,25 completa Meninas 13,99 211,99 0,16 Meninos 14,01 221,69 0,35 Fonte: Compilação dos autores. 246  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Tabela IV.B.2 Comparação de Estimativas Calculadas com e sem os Pesos para Valores do Censo, Começo do Ano Escolar, Amostra Aleatória Simples Valor “verdadeiro” Estimativa correta, Estimativa incorreta, Variável de (início do ano usando pesos ignorando pesos interesse escolar) (± erro amostral) (± erro amostral) N 27.654 27.437 ± 331 378 Média de idade 14,00 13,98 ± 0.04 13,98 ± 0,04 (todos) Proporção ≥ 230 0,25 0,25 ± 0,02 0,25 ± 0,02 em matemática Nmeninos 13.807 12.920 ± 722 178 Média de idade 14,01 14,05 ± 0,06 14,05 ± 0,06 (meninos) Pontuação média 221,69 223,1 ± 1,0 223,1 ± 1,0 em matemática (meninos) Fonte: Compilação dos autores. As estimativas da amostra aleatória simples e dos dados do censo se� rão comparadas agora. Como essa é uma amostra aleatória simples, as estimativas não ponderadas (coluna à extrema direita na Tabela IV.B.2) e as estimativas ponderadas (coluna do meio) de médias e proporções são iguais; esse resultado é esperado para médias e proporções, mas não para totais. A população que foi criada para este livro contém propor� ções quase iguais para meninos e meninas. Os dados foram arranjados de modo que os meninos tivessem pontuações mais altas em matemática do que as meninas, as meninas tiveram pontuações mais altas em outras disciplinas, e os alunos que moravam em cidades tiveram pontuação mais alta do que os que moravam em áreas rurais. Essa amostra apre� senta uma proporção bastante grande de meninos que moram em áreas urbanas, o que ajudaria a explicar a diferença entre os dados do censo e as estimativas da amostra para uma proporção relativamente elevada de meninos com pontuações acima de 230 em matemática. Além disso, o valor “verdadeiro” é computado para a população quando era conhecido, por exemplo, no início do ano escolar. Conse� quentemente, há registros no arquivo “censo” para os quais nenhuma informação está disponível (a saber, os desistentes) e para os quais todas imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  247 as pontuações são zero. Esses valores nulos trazem a pontuação média para baixo. Se as estatísticas sobre a população pudessem ser atualizadas para representar a população na época da avaliação (o que poderia ser feito removendo-se do arquivo do censo os alunos com uma pontuação igual a zero em matemática), as comparações mostrariam que os resultados da pesquisa se aproximam muito dos valores “verdadeiros”, bem dentro das margens de erro. Esse resultado é mostrado na Tabela IV.B.3. Essa riqueza de informações raramente está disponível para os plane� jadores de pesquisa, gerentes ou analistas. Tabela IV.B.3 Comparação de Estimativas Calculadas com e sem os Pesos para Valores do Censo, Época da Avaliação, Amostra Aleatória Simples Valor “verdadeiro” Estimativa correta, Estimativa incorreta, Variável de (início do ano usando pesos ignorando pesos interesse escolar) (± erro amostral) (± erro amostral) N 27.368 27.437 ± 331 378 Média de idade 14,00 13,98 ± 0,04 13,98 ± 0,04 (todos) Proporção ≥ 230 0,26 0,25 ± 0,02 0,25 ± 0,02 em matemática Nmeninos 13.665 12.920 ± 722 178 Média de idade 14,01 14,05 ± 0,06 14,05 ± 0,06 (meninos) Pontuação média 224,00 223,1 ± 1,0 223,1 ± 1,0 em matemática (meninos) Fonte: Compilação dos autores. Anexo Estimando erros IV.C amostrais com técnicas de reamostragem N a maioria dos desenhos complexos (dese� nhos que não sejam de amostragem aleató� ria simples ou amostragem aleatória siste� mática), é difícil derivar a fórmula exata da variância, e mais difícil ainda programá-la. Em muitos casos, a implementação prática do desenho de amostragem cria situações que tornam impossível o uso da fórmula exa� ta de variância. São necessários métodos aproximados – porém eficazes e confiáveis – de se estimar a variância amostral. Uma classe de tais métodos é chamada de amostragem replicada, ou reamostragem. Gru� pos aleatórios, replicação repetida balanceada, jackknifing e bootstrapping estão entre os métodos mais conhecidos de estimação da variância de reamostragem. Um método particularmente inteligente de aproximação da variância foi derivado no final da década de 1950 (Keyfitz, 1957) e adaptado mais tarde para se transformar na estimação jackknife. A esti� mação jackknife é usada frequentemente em pesquisas de avaliação de aproveitamento internacional em grande escala. Uso da amostragem replicada Na amostragem replicada, o estatístico da pesquisa seleciona amostras independentes k de tamanho n/k, em vez de uma amostra de tamanho 250  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal n. Para cada uma dessas amostras k (ou réplicas), é produzida uma es� timativa da característica do interesse mediante o uso de pesos. A va� riabilidade entre as estimativas da amostra k é então usada para estimar a variância amostral. A estimativa t, da característica de interesse (tal como um total, uma média, uma proporção ou mediana), é dada pela média das estimativas produzidas para cada réplica j: A variância amostral estimada de t, Vâr (t), é dada pela seguinte ex� pressão: Observe que essa expressão é a da forma s2/n. Suponha que um desenho de três estágios (escolas, turma e alunos) seja usado para estimar o nível geral de letramento de alunos da 10a sé� rie. Em vez de selecionar uma amostra de tamanho n = 10 e de usar as fórmulas exatas para estimar Vâr ( ), os pesquisadores selecionam duas amostras de tamanho n = 5. A Tabela IV.C.1 mostra a pontuação média ponderada obtida pelos alunos de cada escola (pontuação da es� cola) e o peso vinculado a cada escola. Tabela IV.C.1 Cálculo da Variância Amostral Estimada de Usando a Amostragem Replicada Réplica 1 Réplica 2 Pontuação Peso da Pontuação Peso da Escola da escola escola Escola da escola escola 1001 21 16 1006 26 18 1002 27 20 1007 32 20 1003 34 16 1008 37 22 1004 38 20 1009 40 20 1005 42 20 1010 47 20 Total ponderado 3,020 92 3,662 100 Média ponderada 32,8 36,6 Fonte: Compilação dos autores. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  251 A pontuação média estimada para a população é e a variância amostral estimada da pontuação média, dada pelo método de amostragem replicada, é Essa metodologia geralmente produz estimativas muito instáveis de variância, porque cada grupo replicado geralmente é demasiado peque� no para fornecer uma estimativa estável por si próprio. Uso da estimação jackknife Os métodos de reamostragem como jackknifing e bootstrapping costu� mam ser usados em pesquisas com dados complexos. O princípio da es� timação jackknife é excluir, por sua vez, cada unidade primária da amos� tra (por exemplo, escolas); recomputar os pesos finais para justificar a perda de uma unidade; e produzir uma estimativa da característica de interesse usando essa amostra reduzida. À medida que cada unidade é excluída, existirão tantas réplicas quanto unidades primárias na amos� tra cheia. O erro amostral é estimado ao se computarem as diferenças ao quadrado entre cada uma das estimativas replicadas e a estimativa da amostra cheia (como é o exemplo da amostragem replicada descrita na seção anterior). Se a amostra cheia compreende, por exemplo, 150 escolas, seria preciso realizar 150 estimativas replicadas e computações entediantes. Para reduzir e simplificar as computações, é possível sobrepor um “desenho de amostragem jackknife” ao desenho original de amostragem. Ao se manterem as unidades primárias (por exemplo, as escolas) na or� dem em que apareceram na base amostral (a probabilidade sistemáti� ca proporcional à amostragem do tamanho é usada quase sempre em avaliações internacionais), as duas primeiras unidades são unidas para formar um estrato (JK); então, as unidades 3 e 4 são unidas; em seguida, 252  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal as unidades 5 e 6, e assim por diante. No fim do processo, os estratos n/2 JK terão sido formados, cada um contendo duas unidades. Cada par é tratado agora como um estrato, independentemente da estratificação original (alguns estratos JK provavelmente coincidirão com os estratos originais). Em cada estrato JK, uma unidade será excluída aleatoriamen� te e o peso do estrato restante será ajustado de acordo (incluindo ajustes para não resposta ou pós-estratificação). As unidades nos outros estratos JK mantêm seus pesos originais. A Tabela IV.C.2 ilustra como as séries n/2 de pesos JK são construídas (supondo que não foi feito nenhum ajuste aos pesos, para manter o exemplo mais simples). Como foi feito com a amostragem replicada, produz-se uma estimativa para cada série de pesos JK, e a variância entre essas estimativas é com� putada como base para o erro amostral. A estimativa da amostra cheia, as estimativas jackknife e a variância amostral são, respectivamente, em que J é o número de estratos JK. Alguns estatísticos preferem usar a média de estimativas replicadas em vez da estimativa da amostra cheia na computação da variância esti� mada. Se J for grande, isso não fará muita diferença. Se n for ímpar, será preciso fazer ajustes de modo que duas unidades sejam tratadas como uma na determinação aleatória da unidade a ser ex� cluída ou mantida. Um especialista em amostragem deve ser consultado nessa situação. Agora o exemplo anterior pode ser examinado usando a estimação de variância JK no lugar da amostragem replicada. A tabela de dados pode ser reorganizada, e os pesos replicados JK e as estimativas JK, com� putados, conforme indicado anteriormente. A Tabela IV.C.3 mostra as 10 escolas da Tabela A4.3.1 organizadas em pares JK e indicando qual unidade de cada par foi escolhida aleatoriamente para ser mantida ou excluída. Os pesos replicados JK são então computados seguindo-se a Tabela IV.C.2 Preparação para a Estimação de Variância Jackknife Pesos replicados Escola Peso Estimativa y^ em i Estrato Unidade Exclusão amostrada i final wi nível de escola JK JK aleatória ... ^ 1 w1 y1 1 1 ^ 1 2 w2 y2 2 0 ^ 3 w3 y3 1 0 ^ 2 4 w4 y4 2 1 ... ... ... ... ... ^ n–1 wn – 1 y n–1 1 0 ^ n/2 n wn yn 0 Estimativa Fonte: Compilação dos autores. Tabela IV.C.3 Estimação da Variância Amostral Usando Jackknifing Pesos replicados ^ Pontuação y i Peso final wi Exclusão Escola i da escola da escola Estrato JK Unidade JK aleatória 1 21  8 1 1 Excluída  0  8  8  8  8 2 27 10 1 2 Mantida 20 10 10 10 10 3 34  8 2 1 Excluída  8  0  8  8  8 4 38 10 2 2 Mantida 10 20 10 10 10 5 42 10 3 1 Excluída 10 10  0 10 10 6 26  9 3 2 Mantida  9  9 18  9  9 7 32 10 4 1 Excluída 10 10 10  0 10 8 37 11 4 2 Mantida 11 11 11 22 11 9 40 10 5 1 Mantida 10 10 10 10 20 10 47 10 5 2 Excluída 10 10 10 10  0 Estimativas 34,8 35,1 35,2 33,2 35,3 34,1 Fonte: Compilação dos autores. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  255 orientação dada anteriormente. Com a réplica 1 como exemplo, no es� trato 1 JK, a unidade 1 JK é excluída, e seu peso JK replicado transfor� ma-se em zero; consequentemente, para compensar a perda da unidade 1 JK, o peso JK replicado da unidade 2 JK corresponde a duas vezes seu peso (20 = 2 × 10). Como nenhuma das unidades restantes foi alterada, seus pesos JK replicados são iguais ao seu peso final correspondente. O mesmo procedimento é aplicado, por sua vez, a cada par JK. Aqui, a pontuação média estimada é , a primeira estimativa replicada é , e as cinco estimativas JK replicadas variam de 33,2 a 35,3 para uma variância estimada de (a variância JK estimada é 3,4 quando as diferenças são medidas em torno da média das estima� tivas JK replicadas). Como já mencionado, é possível mostrar que o jackknifing, como fei� to aqui, fornecerá aproximadamente estimativas de variância sem viés, desde que a quantidade Y estimada represente uma característica pa� drão, tal como uma soma, uma média, uma relação ou um coeficiente de correlação. Estimativas de quantidades como medianas, percentis e coeficientes de Gini requerem ajustes ao jackknife ou outros métodos de reamostragem, como a replicação repetida balanceada. Anexo Criação de zonas IV.D e réplicas jackknife e computação de pesos jackknife O WesVar é usado com uma variedade de desenhos de amostras complexas em que a amostragem aleatória simples produziria estimativas com viés. É preciso ter um arquivo de dados com pesos replicados antes de criar um novo workbook. Comece transferindo os dados de um arquivo SPSS para um novo arquivo WesVar. Seu arqui� vo SPSS deve incluir as variáveis de que você precisa para conduzir as análises no WesVar. É preciso ter um arquivo de dados com pesos re� plicados antes de criar um novo workbook. O programa pode calcular esses pesos. As instruções a seguir o orientarão durante a criação de pesos jackk- nife para o desenho de pesquisa de dois estágios a partir do arquivo de respostas. Observe que o SPSS foi usado para criar informações impor� tantes de amostragem que o WesVar usa para criar os pesos replicados para a análise dos dados da avaliação nacional. 1. Leia o arquivo de respostas do SPSS que contém os pesos seguindo estes comandos:     File – Open – Data – Look in      …\MYSAMPLSOL\RESP2STGFINALWT.SAV     Open 258  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal 2. Como os pesos replicados são criados para escolas, a lista de es� colas participantes pode ser derivada do arquivo de respostas. É preciso apenas manter um registro para cada escola participante.    Abra Data – Identify Duplicate Cases e então mova SCHOOL­ ID para Define matching cases by. Em Variables to Create, clique em First case in each group is primary e clique em OK.   Em seguida, abra Data – Select Cases e clique em If Condition is satisfied. Clique em If... e mova Indicator of each first mat­ ching case (PrimaryFirst) para a caixa à direita (seta azul). Digite = 1. Clique em Continue. Em Output, clique em Copy Selected to New Dataset e digite um nome, por exemplo, Responding­ Schools, e clique em OK. 3. Traga esse RespondingSchools para a tela de visualização. Clique na aba Variable View na parte inferior da tela e exclua todas as variáveis, com exceção de SCHOOLID. Retorne para Data View; somente uma variável será exibida (SCHOOLID), começando por 1101 e terminando com 5603 como 120a e última entrada.    Atribua agora as zonas JK e os números JK replicados às esco� las. Como 120 escolas estão participando, haverá 60 zonas JK.   Selecione os comandos Transform – Compute Variable e digite JKZONE em Target Variable. Em seguida, digite RND ($Casenum/2) em Numeric Expression e clique em OK.    A seguir, selecione Transform – Compute Variable novamente e digite RANDOMPICK em Target Variable e rv.Uniform(0,1) em Numeric Expression. Clique em OK.   Nesse momento, você deve ver 120 escolas, em 60 pares nu� merados de 1 a 60, e cada escola também exibe um número alea� tório entre 0 e 1. Se os números aleatórios forem exibidos como 0s e 1s, aumente o número de casas decimais na aba Variable View. Agora você pode criar as réplicas JK.   Selecione Data – Sort Cases, então mova JKZONE RAN­ DOMPICK para Sort by. Clique em classificar como Ascending e, então, em OK. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  259   Selecione Data – Identify Duplicate Cases e mova JKZONE para Define matching cases by. (Se necessário, remova todas as outras variáveis que possam estar nesse painel.) Em Variables to Create a criar, clique em Last case in each group is primary (Pri- maryLast)e OK.   Como o WesVar espera que as réplicas sejam numeradas a par� tir de 1, e não de 0, os códigos replicados precisam ser modificados usando os seguintes comandos: Transform – Recode into Diffe- rent Variables….   Mova PrimaryLast para Input Variable e digite JKREP em Output Variable Name. Se você quiser, pode digitar um rótulo.   Clique em Change e, então, em Old and New Values. Em Old Value, clique em Value e digite 0. Em New Value, digite o número 1 e clique em Add. Em Old Value, clique em All other values. Em New Value, digite o número 2. Clique em Add, Con- tinue e OK. Observe que todos os valores PrimaryLast 0 foram transformados para valores JKREP 1, e todos os valores 1 foram transformados em 2.   Escolha Data – Sort Cases no menu. Remova JKZONE e RANDOMPICK da caixa Sort by e mova SCHOOLID para seu lugar; clique em Ascending e OK.   Salve o arquivo usando os seguintes comandos:    File – Save as – …\MYSAMPLSOL\ASSIGNJK.   Clique em Save. Você pode comparar sua solução com o ar� quivo de backup fornecido em 2STG4400. 4. Nesse momento, as zonas JK e os números JK replicados foram criados e atribuídos às escolas participantes. Essa informação agora precisa ser anexada a …\MYSAMPLSOL\ RESP2STGFINALWT. SAV, o arquivo de respostas e de pesos com o qual você começou. Se necessário, abra esse arquivo. Se já estiver em seu espaço de trabalho, traga-o para a tela de visualização e não feche o arquivo ASSIGNJK. 260  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal   Selecione os seguintes comandos Data – Merge files – Add varia- bles. Escolha ASSIGNJK em Open dataset e clique em Continue.   Clique em Match cases on key variables e mova SCHOOLID de Excluded variables para Key variables. Se desejado, mova todas as variáveis desnecessárias (CLASS, PopulationSize1, SampleSize1, PopulationSize2, SampleSize2, CLASS_SIZE, CLASS_RESP e NRESADJ ) de New active dataset para Exclu- ded variables.   Clique em Non-active dataset is keyed table e clique duas ve� zes em OK.   Salve o arquivo como …\MYSAMPLSOL\RESP2STGWTJK.    Feche o SPSS. 5. Agora, o arquivo de respostas contém pelo menos STUDENTID, SCHOOLID, as várias pontuações, o sinalizador RESP, FINAL WEIGHT, JKZONE e JKREP. Tudo que é preciso fazer é abrir o WesVar, computar os pesos de replicação JK e salvar o arquivo WesVar para uso futuro.    Abra o WesVar. Clique em New WesVar Data File. Selecione o diretório apropriado em Look in.   Selecione …\MYSAMPLSOL\RESP2STGWTJK da janela do diretório. Todas as variáveis disponíveis aparecerão na janela Source Variables (Figura IV.D.1). (Clique em Done se a janela pop up Create Extra Formatted Variables aparecer.) Clique em Full Sample e mova FINALWEIGHT para essa janela (o nome da variável pode estar truncado, como FINALWEI); se desejar, você pode enviar STUDENTID para a caixa ID.   Clique em Variables e clique em >> para mover todas as variáveis restantes para a janela correta; se desejar, as variáveis desnecessárias podem ser colocadas de volta na janela esquerda usando <.   Salve o arquivo em sua pasta MYSAMPLSOL. Você pode usar o mesmo nome porque o formato e extensão são exclusivos dos arquivos WesVar e não serão confundidos com os originais do SPSS. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  261 Figura IV.D.1 Lista de Variáveis Disponíveis Fonte: Exemplo do autor usando o software WesVar. 6. Agora, antes que qualquer tabela possa ser computada, o Wes� Var deve criar pesos de replicação para computar o erro amostral. Ainda na mesma tela, clique no botão scale ou clique em Data – Create weights.   Em Source Variables, mova JKZONE para VarStrat, mova JKREP para VarUnit, e clique em JK2 em Method. Se você cli� car em OK, o prefixo de replicação será o RPL padrão, mas você pode mudá-lo para JK, como exibido na Figura IV.D.2. Clique em OK e aceite sobrescrever o arquivo. 7. O WesVar adicionou pesos de replicação para a estimação do erro amostral e o arquivo agora se parece com a Figura IV.D.3. 8. Ainda na mesma tela, clique no botão recode (o botão com a seta para baixo na parte superior da tela), ou clique em Format – Re- code. 262  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Figura IV.D.2 Zonas Jackknife no WesVar Fonte: Exemplo do autor usando o software WesVar.   9. Clique em New Continuous (to Discrete) para converter as pon� tuações de matemática em uma variável binária que indique aque� les que obtiveram ou não pelo menos 230 pontos. 10. Digite MAT230 como New variable name. Destaque MATH em Source Variables e clique em > para movê-la para Range of Ori- ginal Variables. Digite >=230 em Range of original variables e digite 1 em MAT230. 11. Mova o cursor para a segunda linha e, em MATH>=230, insira MATH<230 e atribua o código 0. 12. Clique em OK e em OK outra vez para executar a criação da va� riável binária. Salve o arquivo usando o mesmo nome. 13. Ainda na mesma tela, clique em Format – Label. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  263 Figura IV.D.3 Pesos de Replicação do WesVar Fonte: Exemplo do autor usando o software WesVar. 14. Destaque GENDER de Source Variables. Digite Girl como ró� tulo para o valor 0 e digite Boy como rótulo para o valor 1; digite Total como rótulo para o valor Marginal (Figura IV.D.4). 15. Destaque MAT230 em Source Variables. Digite Math score be­ low 230 como rótulo para o valor 0, e digite Math score at least 230 como rótulo para o valor 1; digite Total como rótulo para o valor Marginal. 16. Destaque RESP em Source Variables. Digite Nonresponse como rótulo para o valor 0, e digite Participant como rótulo para o valor 1; digite Total como rótulo para o valor Marginal. 17. Clique em OK e salve (sobrescreva) o arquivo em …\ MYSAM­ PLSOL\. 18. Feche essa janela. 264  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Figura IV.D.4 WesVar: Criação de Rótulos Fonte: Exemplo do autor usando o software WesVar. Quaisquer mudanças (como recodificações ou formatos) podem ser feitas a partir dessa janela, clicando-se em Open WesVar Data File (à esquerda na tela do WesVar) e selecionando-se o arquivo de que você necessita. Para computar estimativas, você precisa clicar no New WesVar Work- book no lado direito da tela do WesVar (Figura IV.D.5). Informações valiosas podem ser encontradas no guia de usuário do WesVar. Você pode agora recomeçar o Exercício 16.1. imp le me ntaç ã o de uma ava liaç ã o nac iona l de de se mpe nh o e du c ac i onal   |  265 Figura IV.D.5 WesVar: Tela de Abertura Fonte: Exemplo do autor usando o software WesVar.   Referências Anderson, P., and G. Morgan. 2008. Developing Tests and Questionnaires for a Na- tional Assessment of Educational Achievement [Desenvolvimento de Testes e Questionários para Avaliação do Desempenho Educacional]. Washington, DC: Banco Mundial. Cartwright, F., and G. Shiel. Forthcoming. Analyzing Data from a National Assess- ment of Educational Achievement. Washington, DC: Banco Mundial. Cochran, W. G. 1977. Sampling Techniques. 3rd ed. New York: Wiley. Greaney, V., and T. Kellaghan. 2008. Assessing National Achievement Levels in Edu- cation. Washington, DC: Banco Mundial. Howie, S. J. 2004. “Project Plan.” Documento não publicado, Centre for Evaluation and Assessment, Pretoria. Ilon, L. 1996. “Considerations for Costing National Assessments”. Em National Assessment: Testing the System. P. Murphy, V. Greaney, M. E. Lockheed, and C. Rojas (orgs.), pp. 69–88. Washington, DC: Banco Mundial. Kellaghan, T., V. Greaney, and T. S. Murray. 2009. Using the Results of a National Assessment of Educational Achievement. [Uso dos Resultados da Avaliação do Desempenho Educacional.] Washington, DC: Banco Mundial. Keyfitz, N. 1957. “Estimates of Sampling Variance Where Two Units Are Selected from Each Stratum”. Journal of the American Statistical Association 52 (280): 503-12. Kish, L. 1965. Survey Sampling. New York: Wiley. Lehtonen, R., and E. J. Pahkinen. 1995. Practical Methods for the Design and Analy- sis of Complex Surveys. New York: Wiley. 268  |  SÉ R IE Pe squisas do Ba nc o Mundial sobre aval i aç õe s de D e se mpe nh o E du c ac i onal Lohr, S. L. 1999. Sampling: Design and Analysis. Pacific Grove, CA: Duxbury Press. TIMSS (Trends in International Mathematics and Science Study). 1998a. Manual for Entering the TIMSS-R Data (Doc. Ref. No. 98-0028). Chestnut Hill, MA: International Study Center, Boston College. _____. 1998b. Manual for International Quality Control Monitors (Doc. Ref. No. 98-0023). Chestnut Hill, MA: International Study Center, Boston College. _____. 1998c. Sampling Design and Implementation for TIMSS 1999 Countries: Sur- vey Operational Manual (Doc. Ref. No. 98-0026). Chestnut Hill, MA: Interna� tional Study Center, Boston College. UNESCO (United Nations Educational, Scientific, and Cultural Organization). 1997. International Standard Classification of Education ISCED. Paris: UNESCO.