Desconstruindo a pseudociência: o charlatanismo na pesquisa sobre preconceito na UFRGS

Por Gabriel Afonso Marchesi Lopes*

É importante distinguir aquilo que é real daquilo
que é "vendido" como se real fosse, mas que nada
tem de realidade

Os resultados de uma pesquisa científica séria devem retratar a realidade da forma mais fidedigna possível, logo os mesmos não são passíveis de questionamento direto quanto à sua validade, uma vez que devem ser imparciais e objetivos de tal forma que não cabe aos resultados agradar ou desagradar uma ou outra opinião ou ideologia, mas sim estar de acordo com os fatos propriamente ditos, ainda que isto, por assim dizer, gere “choro e ranger de dentes”. Todavia, os resultados podem ser invalidados de maneira indireta, e isto ocorre quando os pressupostos para sua obtenção não são atendidos, sendo estes aqueles que dizem respeito à metodologia empregada e a base de dados analisada. Se foi empregada uma metodologia inadequada e/ou a base de dados for inconsistente, então os resultados do estudo não vão retratar a realidade, logo são inválidos do ponto de vista técnico.

No dia 18 de Maio, o jornal Zero Hora publicou uma matéria sobre um estudo, realizado pelo Instituto de Psicologia da Universidade Federal do Rio Grande do Sul (UFRGS) e publicado na revista Sexuality Research and Social Policy, que supostamente apontou que 87% dos alunos da Universidade tinham algum preconceito de gênero ou contra a diversidade sexual. O conteúdo desta matéria teve grande repercussão nacional, sobretudo por tratar de um tema sensível que é o preconceito e por apontar que a nata intelectual da sociedade, isto é, os estudantes da instituição que é avaliada pelo Ministério da Educação (MEC) como a melhor Universidade do Brasil são, em sua grande maioria, preconceituosos.

Por mais que este resultado afronte algumas visões e, inclusive, atinja a imagem de uma instituição de ensino centenária, não cabe, em um primeiro momento, questionar se estas conclusões são ou não são válidas, porém é importante analisar o processo através do qual se obteve tal resultado, a fim de avaliar se o mesmo teve o rigor científico que se espera em uma universidade de renome e está de acordo com os padrões internacionalmente aceitos. Assim, cabe a análise do procedimento de coleta de dados, do instrumento utilizado nesta coleta e dos controles utilizados para que a mesma se restrinja à população alvo.

Analisando o estudo que foi originalmente publicado em inglês sob o título “Prejudice Toward Gender and Sexual Diversity in a Brazilian Public University: Prevalence, Awareness, and the Effects of Education” é visível que esta pesquisa é metodologicamente falha, logo seus resultados não podem ser replicados para toda a Universidade. Explico: quando se trabalha com uma amostra, usa-se uma série de procedimentos estatísticos a fim de que seus resultados possuam determinadas características e, assim, possam ser utilizados para se falar algo (inferir) sobre toda a população. Quando este procedimento amostral é feito de forma inadequada, seus resultados podem possuir um viés que leva à interpretações errôneas sobre a população.

Um dos pressupostos mais importantes em amostragem é a aleatoriedade da amostra, que são os procedimentos onde cada possível amostra tem probabilidade conhecida, a priori, de ocorrer, se baseando em teoria de probabilidade e inferência estatística, de forma que se possa, utilizando propriedades matemáticas associadas ao plano amostral, buscar uma amostra representativa da população que permita a generalização de seus resultados dentro de limites aceitáveis de dúvida.

Ocorre que a pesquisa não utilizou nenhum procedimento probabilístico na seleção da amostra. Conforme consta no próprio estudo, o procedimento utilizado foi o seguinte: a Reitoria da Universidade enviou um e-mail para todos os estudantes com um questionário on-line e alguns deles responderam ao estudo, tendo suas respostas utilizadas na obtenção das conclusões do estudo. Assim, a ausência de metodologia estatística na seleção da amostra faz com que seus resultados sejam tendenciosos e impede que os mesmos possam ser utilizados para se fazer inferência a respeito de todos os alunos da instituição.

Então, do ponto de vista técnico acerca do procedimento de coleta de dados, considerando que os procedimentos metodológicos não foram adequados, temos que a análise realizada, por mais sofisticada que seja, não pode ter seus resultados considerados como idôneos, pois foram tendenciosos já na origem, no momento de coleta da amostra.

Ainda, em um estudo científico é importante analisar o instrumento utilizado na coleta dos dados, isto é, a forma utilizada para medir os elementos que subsidiarão as conclusões da pesquisa. Em se tratando de uma pesquisa de opinião é usual utilizar um questionário, sendo este exatamente o meio que foi empregado neste estudo. Um questionário pode ser elaborado de diferentes formas, neste caso utilizou-se algo que possuí a nomenclatura técnica de “Escala de Likert”, que é uma forma de medição psicométrica onde cada questão é representada por cinco gradações que quantificam a opinião do respondente em relação aquilo que lhe é perguntado indo de “discorda totalmente” até “concorda totalmente”.

A “Escala de Likert” possuí diversas críticas, porém o interesse aqui não é a discussão sobre qual método é melhor ou pior, mas sim se o método utilizado teve seus pressupostos cumpridos, não possuindo falhas do ponto de vista técnico. Em se tratando de um questionário que utiliza a “Escala de Likert”, a verificação de sua adequabilidade técnica se dá a partir do emprego de uma medida estatística cujo nome é coeficiente alfa de Cronbach, que estima a confiabilidade de um instrumento aplicado em uma pesquisa a partir da correlação entre as respostas em um questionário através da análise do perfil das respostas dadas pelos respondentes. Cada item, a priori, deve abordar uma única ideia de cada vez, isto é, os itens devem ser independentes. Se a resposta a determinado item se comporta de maneira parecida com a resposta de outro item, conclui-se que um explica o outro.

Dessa forma, cabe ao pesquisador avaliar o questionário com o emprego do coeficiente alfa de Cronbach, realizando aquilo que é chamado de purificação da escala, que consiste na eliminação de itens que estejam afetando a confiabilidade da medição em um determinado levantamento de dados. Todo esse conjunto de procedimentos envolvendo o instrumento de medida em uma pesquisa de opinião é chamado de validação do questionário. Não obstante, pode também o pesquisador utilizar um questionário elaborado em outra pesquisa, que já passou por todo o processo de validação e é aceito pela comunidade científica.

Contudo, no referido estudo, não há qualquer menção quanto ao processo de validação do questionário empregado e nem mesmo quanto à outras referências e usos do mesmo em outras pesquisas científicas da área. Este é o tipo de erro que não se espera em um estudo sério, pois o uso de um instrumento de medida validado é fundamental para a adequada coleta dos elementos que serão analisados, uma vez que um questionário falho acabará repassando suas falhas aos dados que, então, farão com que se chegue à conclusões tendenciosas, que retratam uma visão distorcida da realidade. Portanto, neste quesito, o estudo deixou a desejar.

Por fim, dentro das questões metodológicas, cabe a análise dos controles utilizados para que a pesquisa se restrinja à população alvo. Em um estudo científico, a população objetivo ou população alvo é um conjunto de todos os elementos abrangidos no estudo que apresentam características próprias, sobre as quais se deseja obter conclusões. No caso em tela, a população alvo compreendeu os estudantes de graduação matriculados da Universidade Federal do Rio Grande do Sul em 03 de dezembro de 2013, sendo cada estudante uma unidade elementar distinta. Nota-se que não houve qualquer menção sobre o fato de terem sido considerados somente os alunos com matrícula ativa ou se foram também considerados os alunos com matrícula trancada, mas este é o menor dos problemas como veremos a seguir.

Uma vez definida a população alvo, deve-se definir um sistema de referências que sirva para o mapeamento das distintas unidades elementares da população alvo. Em algumas populações, o sistema de referências pode se tornar extremamente complexo, contudo, no caso em questão, um sistema de referências relativamente simples seria o número do cartão da UFRGS, que é composto por seis dígitos, sendo diferente para cada membro da comunidade universitária. Uma vez que possa ser colocada em correspondência biunívoca as unidades elementares da população alvo com o sistema de referências, temos aquilo que é tecnicamente chamado de população referenciada, na qual será aplicada uma técnica estatística de amostragem com o intuito de obter a população amostrada ou simplesmente amostra, a partir da qual, fazendo uso de estimadores, se fará inferência sobre a população alvo.

Entretanto, como já foi exposto antes, não foi utilizada nenhuma técnica de amostragem probabilística para obtenção da população amostrada, o que constitui uma falha grave neste estudo, contudo, como este ponto já foi discutido, o importante agora é analisar os controles utilizados para delimitar a população alvo. Neste caso, conforme explicitado pelo próprio estudo, foram enviados e-mails para os alunos com acesso para o questionários on-line. Ocorre que, para acessar o questionário, não era necessário nenhum tipo de procedimento de “login”, o que permitia que estudantes, ou pior, terceiros sem vínculo com a Universidade, respondessem o questionário se fazendo passar por outras pessoas, podendo fazer isso repetidas vezes. Ainda, além dos itens de pesquisa dispostos em “Escala de Likert”, o questionário possuía diversas perguntas abertas referentes à caracterização do respondente, permitindo que um aluno (ou terceiro), por exemplo, incluísse informação errada quanto a seu curso.

Logo, a falta de controle sobre a população alvo permitia que elementos que não pertencessem à população objetivo do estudo respondessem o questionário o que, em um estudo que trata de um tema sensível como o preconceito, poderia gerar muita inconsistência nos dados, por exemplo, a partir de um grande volume de respostas extremas por uma pessoa ou grupo de pessoas mal-intencionadas que estejam interessadas em fazer parecer que os estudantes da UFRGS são preconceituosos ou, considerando o grande número de perguntas com respostas abertas na caracterização do respondente, que tenham interesse, por exemplo, em fazer parecer que alunos de um dado curso são mais preconceituosos que de outro curso.

Portanto, a polêmica pesquisa realizada no âmbito do Instituto de Psicologia da UFRGS não contou com controles sobre a população alvo, permitindo a interferência de elementos estranhos, quiçá, mal-intencionados na pesquisa, utilizou uma metodologia de amostragem não-probabilística, que gera amostras tendenciosas, e, por fim, aplicou um instrumento de medida cuja validação é desconhecida. Pelas gritantes falhas técnicas e metodológicas, a conclusão não pode ser outra senão: a pesquisa não tem base técnica suficiente para ter qualquer credibilidade científica, não passando de mais um caso de pseudociência, que embora sirva para propósitos ideológicos, não tem utilidade no âmbito das pesquisas sérias e calcadas em métodos realmente científicos.

****************************************************
Observações:
1 - O Acadêmico do curso de Letras da UFRGS, André von Kugland, fez uma análise qualitativa dos itens do questionário utilizado na pesquisa, para acessar esta análise clique aqui

2 - Para visualizar o artigo referente à pesquisa sobre preconceito na UFRGS clique aqui

3 - Para visualizar o questionário utilizado na pesquisa clique aqui

4 - Recomenda-se a leitura do seguinte artigo para aprofundamento sobre as limitações e problemas metodológicos relativos à utilização de amostras não probabilísticas em pesquisas:

de Oliveira, TM. Amostragem não probabilística: adequação de situações para uso e limitações de amostras por conveniência, julgamento e quotas. Admin Online [Internet]. 2001. Disponível em: http://www.fecap.br/adm_online/art23/tania2.htm

****************************************************

*GABRIEL AFONSO MARCHESI LOPES é Cientista Atuarial pela Faculdade de Ciências Econômicas da UFRGS e Estatístico pelo Instituto de Matemática da UFRGS. Possui Pós-Graduação em Perícia e Auditoria pelo NECON/UFRGS. Foi Conselheiro no Colegiado do Departamento de Estatística, na Comissão de Graduação em Estatística e no Conselho do Instituto de Matemática da UFRGS. Atuou como Monitor Acadêmico na UFRGS nas disciplinas de Estatística Geral, Estatística Econômica e Estatística Demográfica. Foi Professor junto ao Departamento de Estatística da UFRGS nas disciplinas de Estatística Geral e de Probabilidade e Estatística.