O USO DE AVALIAÇÕES ESCOLARES ORDINÁRIAS PARA INVESTIGAR A EVOLUÇÃO DA COMPETÊNCIA EM FÍSICA ESCOLAR DOS ESTUDANTES DO ENSINO MÉDIO

## O USO DE AVALIAÇÕES ESCOLARES ORDINÁRIAS PARA INVESTIGAR A EVOLUÇÃO DA COMPETÊNCIA EM FÍSICA ESCOLAR DOS ESTUDANTES DO ENSINO MÉDIO

## THE ORDINAY SCHOOL ASSESMENTS USE FOR INVESTIGATING PHYSICS COMPETENCE EVOLUTION

## Dilvana Maria Fiorini de Aguiar Moreira , Geide Rosa Coelho 1 2

1 Espaço Escola - Cooperativa de Ensino de Belo Horizonte/ dilvanafiorini@yahoo.com.br

2 UFES/Centro de Educação- Programa de Pós- Graduação em Ensino de Física /geidecoelho@gmail.com

## Resumo

Nos cenários internacional e nacional existem uma série de avaliações sistêmicas baseadas na mensuração de habilidades cognitivas gerais. Estes movimentos de avaliação sistêmica refletem a tensão existente no mundo acadêmico sobre o que melhor prediz o desempenho futuro dos estudantes: o seu nível de habilidade geral ou o seu nível de conhecimentos escolares adquiridos. No entanto, ambas as vertentes deixam de considerar a possibilidade de se usar as avaliações escolares ordinárias feitas nos ambientes de sala de aula como um bom preditor do desempenho dos estudantes. Este estudo tem como objetivo investigar a evolução da competência em Física escolar dos estudantes do ensino médio usando como fonte de dados, avaliações ordinárias realizadas pelos estudantes ao longo do ano letivo. Ao considerar as diferentes tradições teóricas associadas ao conceito de competência, nesse estudo, concebemos a competência como competência de ação . O tratamento Rasch foi conduzido na intenção de mensurar a competência em física escolar dos estudantes. A amostra desse estudo era composta 202 estudantes, de oito turmas da primeira série do ensino médio, do ano de 2007 de uma escola de educação básica pertencente a uma Universidade Federal. Uma análise exploratória dos resultados constatou uma pequena evolução da competência em física escolar ao longo do ano letivo. Entretanto, devido à qualidade da escala obtida podemos considerar que o uso das avaliações escolares ordinárias para a construção de medidas com o intuito de comparar/avaliar o desempenho dos estudantes constitui-se como uma estratégia coerente e sofisticada nas pesquisas educacionais com foco na avaliação da aprendizagem.

Palavras-chave : Avaliações escolares ordinárias, Competência em Física escolar, tratamento Rasch.

## Abstract

In international and national scenes, there are a series of systemic evaluations based in general cognitive ability measurements. These systemic evaluation movements reflect a tension present in academic world about what is the best student future performance predictor: his general ability level or his acquired knowledge level. However, both tendencies do not consider the possibility of using ordinary school assessments made in classrooms and treat them as a good student performance predictor. This study aims investigate physical education competence

evolution of high school students using ordinary assessments applied during school year as data base. Despite the different theoretical traditions associated with the concept of competence, in this study, we conceived competence as competence in action . Rasch treatment was conducted guided by the intention of measuring physical education competence. The sample investigated was composed by 202 first year high school students pertaining to a federal educational institution. An exploratory results analysis identified a little evolution in physical education competence, during school year. Meanwhile, based in the quality of scale obtained, we can consider ordinary school assessments use for constructing measures, which provide a performance student comparison/evaluation, as a consistent and sophisticated strategy in educational research with focus in learning evaluation.

Keywords : Ordinary school test (assessment), physical education competency, treatment Rasch

## Introdução

Nos cenários nacional e internacional existem uma série de avaliações sistêmicas baseadas na mensuração de habilidades cognitivas gerais, como, por exemplo, o ENEM, o SAEB, o teste americano SAT (Scholastic Aptitude Test) e o programa de avaliação sistêmica PISA . Estes movimentos de avaliação sistêmica refletem a tensão existente no mundo acadêmico sobre o que melhor prediz o desempenho futuro dos estudantes: o seu nível de habilidade geral ou o seu nível de conhecimentos escolares adquiridos. No entanto, ambas as vertentes deixam de considerar a possibilidade de se usar as avaliações escolares ordinárias feitas nos ambientes de sala de aula como um bom preditor do desempenho futuro dos estudantes.

Avaliações escolares ordinárias devem ser tomadas mais a sério, principalmente, como dados de pesquisa educacional e referências para decisões sobre políticas públicas. Nesse trabalho utilizaremos as avaliações escolares ordinárias dos estudantes, realizadas na disciplina física ao longo de um ano letivo, como fonte de dados para mensurar a competência em física escolar (um conceito que será introduzido para designar aquilo que os estudantes aprendem e desenvolvem nesta disciplina) dos estudantes do Ensino Médio. Esse processo de mensuração faz-se necessário para que tenhamos uma métrica comum para analisar a evolução temporal da competência em física escolar desses estudantes.

## Contexto da pesquisa

A pesquisa foi conduzida em oito turmas da 1ª série do ensino médio do ano de 2007, de uma escola pública federal, mantida por uma Universidade Federal. Essa escola oferecia aos estudantes o Ensino Médio concomitante com o Ensino Técnico, nas modalidades de Eletrônica, Instrumentação e Controle, Patologia Clínica e Química.

A primeira série era constituída de 8 turmas, em um total de 202 estudantes vindos de escolas públicas, de escolas particulares e da escola de ensino fundamental pertencente à Universidade. O número de estudantes por turma variava entre 26 a 29 estudantes. A carga horária da disciplina Física era de três aulas semanais de 50 minutos cada, sendo que a cada 15 dias duas aulas geminadas eram destinadas para as atividades de laboratório. Apesar das aulas serem

ministradas por diferentes professores, os programas e as estratégias estabelecidas eram as mesmas. O ambiente de aprendizagem era organizado de forma que as atividades desenvolvidas eram centradas nos estudantes. Isso significa dizer que os estudantes passavam a maior parte do tempo realizando atividades individuais ou em grupos (atividades experimentais, leitura do livro texto, resolução de exercícios e realização de pequenos testes). Eventualmente, os professores faziam exposições dos tópicos curriculares para a turma toda, mas estas exposições, quando aconteciam, não ocupavam toda duração de uma aula. Os tópicos ministrados pelos professores referiam-se a mecânica, termodinâmica, eletricidade, eletromagnetismo, relatividade restrita e modelo de Bohr.

Em cada trimestre, o desempenho dos estudantes era avaliado através de quatro testes e da análise de dois cadernos de registros das atividades realizadas nas aulas teóricas e práticas. Dos testes, um era a prova trimestral comum a todas as turmas e elaborada pela equipe de professores e continham apenas questões fechadas do tipo Verdadeiro (V) ou Falso (F) e questões de múltipla escolha. Os testes restantes eram específicos por turma e elaborados pelo próprio professor da turma, contendo somente questões abertas.

A avaliação anual de desempenho dos estudantes era expressa em cada disciplina, em uma nota inteira entre zero e cem, que era o valor acumulado das notas parciais obtidas em três trimestres. No 1º trimestre os estudantes eram avaliados em 30 pontos e no 2º e 3º trimestres, em 35 pontos.

## Referencial teórico

## Avaliações sistêmicas e avaliações escolares ordinárias na pesquisa educacional

O uso de exames externos para a seleção profissional pública ou privada pode levar, no contexto escolar, a uma intensificação da prática de avaliação desvinculada dos processos educacionais. Há muitos debates sobre os possíveis benefícios ou os malefícios que este movimento de avaliação externa provoca sobre as escolas (ATKINSON & GEISER, 2009; LINN, 2009). Os programas de exames de vestibular acabaram tendo mais influência nos currículos implementados nas escolas, do que os documentos curriculares oficiais publicados pelas autoridades educacionais públicas. Em contrapartida, os sistemas educacionais são grandes geradores de massas incalculáveis de dados sobre desempenho escolar e acadêmico dos milhões de estudantes. Nos Estados Unidos, esses dados escolares são muito utilizados, ao lado de exames externos, tanto na seleção para cursos universitários quanto para a seleção profissional. No Brasil, não há registro de uso semelhante das avaliações escolares para a seleção de candidatos para a universidade.

Podemos argumentar que isto se deve ao fato de que a avaliação escolar tem menor fidedignidade e menor validade que os testes externos. Testes externos são especialmente desenhados para apresentarem boa fidedignidade e satisfazerem aos critérios usuais de validade. Os pesquisadores precisam estabelecer a fidedignidade de seus instrumentos de mensuração para reivindicarem o direito de afirmar que há ou não há uma relação sistemática e consistente entre as variáveis mensuradas.

Na literatura da avaliação educacional e psicológica, há diversas propostas para tornar objetivas e fidedignas tais comparações, todas compartilham a ideia de construir uma escala estável em que os diferentes sujeitos possam ser mensurados, na mesma ocasião ou em ocasiões distintas. O ganho adicional advindo da adoção de uma estratégia dessa natureza é que ela também favorece o estabelecimento da validade do instrumento ou processo de mensuração. Estabelecer a validade de um instrumento é um processo complicado, que se baseia tanto em argumentos lógicos e teóricos quanto em evidências empíricas (YOUNG & KOBRIN, 2001).

Segundo Young & Kobrin (2001), o consenso atual no campo educacional é o de que o processo de validação de um instrumento de mensuração é uma forma de validação do construto. Desta forma, uma escala baseada em avaliações escolares ordinárias precisa estabelecer apenas a sua validade de construto. As diversas alternativas de construção de uma escala de mensuração, a partir de dados escolares fornecem diversas evidências para se julgar sobre a validade de construto.

Neste trabalho utilizamos um procedimento baseado no modelamento Rasch, como uma técnica de equalização, que torna comparáveis os ranqueamentos dos estudantes, baseados nas avaliações trimestrais da disciplina física, ao mesmo tempo em que constrói uma escala intervalar para mensurar a competência em física escolar.

## A competência em Física e a Competência em Física escolar

A entrada do termo Competência no meio educacional brasileiro veio principalmente através do parecer que fundamenta e recomenda a aprovação das Diretrizes Curriculares Nacionais para Ensino Médio, Brasil (1998). Neste longo documento, o conceito de competência é usado de forma que permite múltiplas significações. Ora aparece como Competências Gerais e Amplas, ora aparece como Competências Cognitivas e Sociais e ora como Competências Específicas por área de conteúdos.

- O estudo de revisão feito por Weinert (1999) que reviu uma ampla literatura sobre as bases teóricas do conceito de competência como usado nas ciências do desenvolvimento, na psicologia, na linguística, na sociologia, nas ciências políticas e na economia identificou nove diferentes tradições teóricas nas quais o conceito de competência era definido, descrito ou interpretado teoricamente. Essas nove diferentes tradições teóricas são: (a) Competência enquanto habilidade cognitiva geral; (b) Competência enquanto habilidades cognitivas especializadas; (c) O modelo de competência performance de Chomsky; (d) Modificações do modelo competência performance; (e) Competência como tendências de ação motivada; (f) Competência como auto conceitos objetivas e subjetivas; (g) Competências de ação; (h) Competências-chave e (i) Metacompetências. Além de propor sete diferentes acepções teóricas para o conceito de competência.
- A definição utilizada neste trabalho concebe a competência como competência de ação 'que inclui todos aqueles pré-requisitos cognitivos, motivacionais e sociais necessários e/ou disponíveis para aprendizagem e ação bem sucedidas'. (WEINERT, 1999). Ainda segundo Weinert,

o construto teórico de competência de ação combina compreensivelmente, em um sistema complexo, todas as habilidades intelectuais, os conhecimentos específicos por conteúdo, as habilidades cognitivas, as estratégias específicas por domínios, as rotinas e sub rotinas, as tendências

motivacionais, os sistemas de controle volitivo, as inclinações baseadas em valores pessoais e os comportamentos sociais (p.10).

Nesse estudo será introduzido o conceito de competência em física escolar como uma representação daquilo que as avaliações escolares indicam. Nesse sentido a competência em física escolar será concebida como uma amálgama de capacidades, habilidades, conhecimentos, valores, atitudes e crenças relativas ao domínio da física escolar de ensino médio, sendo inseparáveis os aspectos cognitivos, afetivos, motivacionais, volitivos, sociais, atitudinais e comportamentais, sendo, pois uma competência para a ação, especializada para o domínio de conteúdo da física escolar do ensino médio. Além disso, entende-se que não é possível decompô-la nos seus diversos aspectos ou componentes para domínios mais especializados da física escolar.

## O Tratamento Rasch

Rasch, na década de 50, propôs um modelo matemático probabilístico pautado em duas características do processo de medição: a natureza objetiva da grandeza medida e a composição da medida (valor verdadeiro e aleatório). Estas duas características constituintes do modelo contemplam a existência de múltiplas fontes não controláveis do desempenho nos testes e obedece ao princípio de objetividade específica. Esse princípio estabelece as condições para se comparar a habilidade de duas pessoas distintas, independente dos itens de testes que elas respondam, e de comparar a dificuldade de dois itens de teste independentemente de quais pessoas responderam a eles.

Rasch descobriu que os modelos matemáticos adequados para isto são modelos probabilísticos de dois parâmetros, um que descreve a habilidade dos sujeitos e outro que descreve a dificuldade dos itens e que estes modelos permitem separar e estimar, separadamente, os parâmetros das pessoas e os parâmetros dos itens. O modelo Rasch mais simples é aquele usado para modelar um teste de questões dicotômicas (certo ou errado, falso ou verdadeiro, aplica-se ou não se aplica, etc.). Neste modelo, considerando β n a habilidade da pessoa n e θ i a dificuldade do item i, o logaritmo natural da razão da probabilidade de acerto do item i pela pessoa n pela probabilidade de erro do item i pela pessoa n é igual a diferença entre a habilidade da pessoa n e o dificuldade do item i. Como a soma da probabilidade de acerto e com a probabilidade de erro totaliza um, pode-se expressar matematicamente o modelo pela expressão,

<!-- formula-not-decoded -->

Onde p é a probabilidade de acerto do item i pela pessoa n. Esta expressão mostra que, ambos os parâmetros, a habilidade da pessoa e a dificuldade do item, estão em uma mesma escala adimensional (sem unidade de medida). Esta escala construída é conhecida logit.

Os parâmetros dificuldade do item e habilidade da pessoa podem ser estimados a partir dos escores brutos das pessoas nos testes. Apesar do caráter interativo na estimativa desses parâmetros, estes são estimados separadamente: a dificuldade dos itens e estimada a partir do total de respostas corretas para cada item e a habilidade da pessoa pode ser estimada a partir do numero de respostas corretas dadas por cada pessoa.

Quando o modelo Rasch se ajusta adequadamente aos dados, há uma relação linear bem estabelecida entre os escores brutos da pessoa e as correspondentes medidas de habilidades. Os escores brutos são indicadores ordinais, porém as medidas da habilidade estão em uma escala intervalar. A vantagem da escala intervalar é que as medidas são diretamente comparáveis entre si.

## Aspectos metodológicos

## A lógica da investigação e a fonte de dados

- O interesse da pesquisa é obter as medidas intervalares para investigar a evolução da competência em física escolar ao longo do ano letivo. A instituição de ensino na qual o estudo foi realizado foi escolhida por oportunidade, visto que nela os dados das notas trimestrais dos 202 estudantes, estavam disponíveis para análise. A nota trimestral refletia o resultado do desempenho dos estudantes em provas e testes, nas atividades de classe e extraclasse, nas atividades práticas e na valorização de comportamento e atitude dos estudantes. As notas trimestrais são representadas por números inteiros, variando de 0 a 30, no primeiro trimestre e de 0 a 35, nos dois trimestres seguintes.

A evolução da competência em física escolar foi investigada ao longo de 3 ocasiões distintas de medida, correspondendo a 3 ondas de dados. A ocasião de medida (onda de dado) é uma variável categórica e, nesse estudo, possui três categorias que identificam cada trimestre. O sucesso de um estudo longitudinal, segundo Singer &amp; Willet (2003), depende de uma escolha sensível da métrica temporal. Partindo desse princípio, foi decidido tratar o tempo como uma fração do ano letivo. Considerou-se como instante inicial (tempo = 0) a semana imediatamente anterior à primeira semana de aula. E como instante final (tempo = 1), a 44ª semana de aula. Desta forma considerou-se a primeira ocasião no tempo = 0,3182 (14ª semana); a segunda no tempo = 0,6818 (30ª semana) e a terceira ocasião no tempo = 1(44ª semana).

## Método de Análise de dados

Nessa seção, serão apresentadas as transformações realizadas sobre os dados para a construção da escala intervalar para mensurar a competência em física escolar.

Adotamos uma escala de conceitos para categorizar as notas, pois se considerarmos o número de categorias igual a trinta (1º trimestre) ou trinta e cinco (2º e 3º trimestres) e tendo um pequeno número de estudantes por turma (entre 24 e 27 estudantes), há poucos estudantes em cada categoria de notas em cada turma e muitas das categorias de notas ficariam vazias, por esta razão optou-se pela adoção de um número menor de categorias de desempenho dos estudantes, os conceitos.

Abaixo estão apresentadas as categorias de conceitos utilizadas na pesquisa. Como o número de alunos que obteve conceito A e B nas avaliações trimestrais de Física foi baixo, decidiu-se colapsar estas categorias em uma só. Assim, atribuiu-se a cada aluno e em cada trimestre um conceito segundo as faixas de notas mostradas no quadro 1.

QUADRO 1 - Conceitos atribuídos aos estudantes segundo a faixa de notas

Uma mera inspeção do quadro 1 sugere que, em cada turma, as distribuições de estudantes pelos conceitos nas três ocasiões são diferentes entre si. Além disso, pode-se notar que em uma mesma ocasião, as distribuições de estudantes pelos conceitos nas diversas turmas, também são diferentes entre si. Em vista disto, decidiu-se testar estatisticamente estas duas hipóteses. Foram utilizados dois procedimentos, utilizando-se um teste de aderência (TRIOLA, 2005). Em cada turma testou-se a existência de similaridade entre as distribuições de estudantes pelos conceitos nas três ocasiões, e ainda, foi investigado se em cada ocasião há similaridade da distribuição de estudantes pelos conceitos nas diversas turmas.

Um segundo passo consistiu em extrair uma medida intervalar ajustando o modelo Rasch para análise de dados dicotômicos às variáveis categóricas disponíveis. A adoção de um procedimento de equalização permitiu construir uma medida de competência em física escolar com a mesma métrica nas três ocasiões. O procedimento de equalização consistiu em categorizar as notas segundo um esquema de atribuição de conceitos, distribuídos em uma escala do tipo Guttman e ajustando um modelo Rasch a esta escala usando o procedimento de equalização virtual sugerido por Linacre (2011, p. 327). Este procedimento é adequado quando não há itens de avaliação comuns entre as diversas formas a serem equalizadas.

Nesse estudo, os conceitos foram usados para a construção de uma escala do tipo Guttman, composta de quatro indicadores dicotômicos por ocasião, designados pela letra I seguida de um número ordinal, desde I1 até I12. Os indicadores I1, I5 e I9 indicam se na ocasião de avaliação o estudante ultrapassou o ponto de transição do conceito E para o conceito D. Os indicadores I2, I6 e I10 indicam se ele ultrapassou o ponto de transição do conceito D para C e assim sucessivamente. O quadro 2 mostra o esquema de conversão dos conceitos nos quatro indicadores na primeira ocasião. Nas demais ocasiões a conversão de conceitos em indicadores segue o mesmo esquema, apenas trocando os indicadores para I5 a I8 na segunda ocasião e para I9 a I12 na terceira ocasião.

QUADRO 2 Esquema de transformação dos conceitos atribuídos aos estudantes na primeira ocasião em indicadores de uma escala do tipo Guttman

Assim, os conceitos alcançados nos três trimestres transformaram-se em 12 indicadores dicotômicos por estudante, que formam, em cada ocasião, uma escala do tipo Guttman com quatro itens cada. Seguindo as sugestões propostas por Linacre (2011), foi introduzido um estudante fictício com um vetor de resposta não ordenado para ajustar o modelo Rasch a escala do tipo Guttman. Uma matriz de dados foi construída contendo 96 itens (12 por turma), e 205 sujeitos. Após esse

procedimento, usou-se o Winsteps ( LINACRE e WRIGHT, 2000) para ajustar o modelo Rasch para análise de itens dicotômicos aos dados brutos.

## Análise, Resultados e Discussões

## A construção da escala de Competência em física escolar

Analisando as estatísticas resultantes do tratamento Rasch, encontrou-se que o infit médio para os ítens foi de 0,87 com desvio padrão de 0,39. O máximo Infit dos itens foi de 1,48 e o mínimo igual a 0,39. Linacre sugere que itens com infit entre 0,5 e 1,5 são produtivos para a mensuração (LINACRE, 2011, p. 272), enquanto que itens com Infit acima de1, 5 degradam o processo de construção da medida. No resultado obtido, o infit máximo está na faixa produtiva, e o mínimo abaixo do valor desejável. Existem 31 itens (ou 32,3% dos itens) com infit entre 0,49 e 0,39. O Modelo explica 79% da variância dos dados. Esses resultados indicam um ajuste satisfatório do modelo aos dados categóricos.

Deste procedimento resultou uma medida intervalar que representa em uma mesma escala a competência em física escolar de cada estudante nas três ocasiões de medida. Através dessa escala torna-se possível comparar a competência em física escolar dos estudantes ao longo do tempo.

## Investigando a evolução da competência em física escolar

Para uma melhor percepção da variabilidade da variável competência em física escolar ao longo das três ocasiões realizou-se uma análise exploratória, Analisou-se a partir das médias e dos desvios padrão da variável competência em física em cada ocasião e do gráfico com a representação do perfil de CFISmédio ao longo das três ocasiões. Verificou-se que a variável competência em física escolar média (CFISmédio) decai da 1ª para a 2ª ocasião e aumenta da 2ª para a 3ª ocasião, indicando uma suspeita de que, em média, a competência física escolar dos estudantes na 1ª ocasião foi ligeiramente maior se comparada com a 2ª e 3ª ocasiões; e que, em média, os estudantes na 2ª ocasião, tiveram os menores valores de competência em física escolar. A dispersão da competência em física escolar média (CFIS) em cada ocasião é próxima, demonstrando que a variabilidade de CFISmédio dos estudantes em torno da média é pequena. A partir do gráfico 1, observou-se que as barras de erro se superpõem entre as três ocasiões sugerindo que não há diferença entre as médias das três ocasiões.

As inferências realizadas a partir das evidências empíricas construídas, tanto na tabela 1 como no gráfico 1, não são suficientes, para se desistir da exploração da evolução da competência em física escolar, pois a variação para cada estudante é diferente da variação média da competência em física escolar. Outros estudos serão conduzidos nesse sentido de investigar as diferenças entre indivíduos.

Tabela 1: Média e desvio padrão da competência em física escolar dos estudantes da 1ª série do ensino médio por ocasião

<!-- image -->

GRÁFICO 1 - Média da competência em física escolar dos estudantes da 1ª série do ensino médio

## Considerações Finais

Metodologicamente, a competência em física escolar foi mensurada em uma escala intervalar, construída via modelamento Rasch das avaliações escolares ordinárias realizadas na disciplina física ao longo dos três trimestres do ano letivo. O modelamento Rasch providencia estatísticas que são úteis à validação de uma escala. Apesar da pequena evolução da competência em física escolar ao longo do ano letivo, os resultados alcançados nesse estudo sugerem que a escala se apresenta como um bom instrumento de comparação de desempenho dos estudantes.

Obter uma métrica única para avaliar o desempenho das pessoas utilizandose das avaliações escolares ordinárias e transformar essas avaliações em medidas intervalares é mais uma estratégia de tornar a comparáveis os ranqueamentos dos estudantes presentes nas escolas. Isto pode ser estendido para outras disciplinas e que pode dar uma medida que proporciona a mensuração da competência escolar.

## Referências Bibliográficas

ATKINSON, C. R., &amp; GEISER, S. Reflections on a century of college admissions tests. Educational Researcher , v. 38, n. 9, :p. 665-676, 2009.

BRASIL. MEC/SEF. PCNs para o Ensino Médio . Brasília: Brasil, 1998.

LINACRE,J. M.; WRIGHT, B. D. WINSTEPS (Programa de computador). Chicago: MESA Press, 2000.

LINACRE,J. M. A user's guide WINSTEPS and MINISTEPS rasch-model computer program . 488 p, 2011 .

SINGER, J. D., WILLETT, J. B., Applied Longitudinal Data Analysis Modeling Change and Event Occurrence . Oxford: University Press, 2003.

WEINERT, E. F. Definition and Selection of Competencies : Concepts of Competence. Definition and Selection of Competencies: Theoretical and Conceptual Foundations (DeSeCo), Max Planck Institute for Psychological Research, Munich,Germany, 1999.

TRIOLA, M. F. Introdução à Estatística . Rio de Janeiro: LTC - Livros Técnicos e Científicos Editora, 2005.

YOUNG, J. W., KOBRIN, J. L. Differential Validity, Differential Prediction, and College Admission Testing : A Comprehensive Review and Analysis. College Entrance Examination Board, Research Report, v.6, 2001.