Uso — e mau uso — das estatísticas: como e por que os números são tão facilmente manipulados

Quando um relatório preparado pelo ex-senador George J. Mitchell revelou que Roger Clemens e mais de 80 outros jogadores da primeira divisão do beisebol americano (MLB) haviam usado drogas ilegais para melhora do desempenho, o ex-ganhador do prêmio Cy Young decidiu agir para limpar seu nome. Além do testemunho de Clemens perante os legisladores de Capitol Hill, havia também um volumoso relatório preparado por uma agência de marketing baseado em estatísticas em defesa da inocência de Clemens.

 

Contudo, um artigo publicado na edição de 10 de fevereiro do New York Times de autoria de quatro professores da Wharton, contrariava a argumentação apresentada: a validade da análise estatística depende de seus elementos constitutivos. Trata-se de uma ressalva que tende a ganhar importância à medida que empresas e indivíduos procuram dar conta de um volume cada vez mais vasto e complexo de informações.

 

“Hoje, o consumidor de informação está se afogando em dados”, diz Justin Wolfers, professor de negócios e políticas públicas da Wharton. “São terabytes de dados resultantes da mensuração constante das atividades econômicas, de atividades relacionadas aos trabalhadores, ao governo etc., e há muitas formas de tirar conclusões com base em dados em estado bruto. Infelizmente, muitos deles conduzem à direção errada.”

 

Wolfers diz, por exemplo, que uma rede de lojas de varejo que avalie suas operações com base em um período específico poderá constatar que toda vez que houve redução de preços houve também uma queda generalizada no volume de vendas. “Isso poderia levar o varejista a concluir que o preço baixo estimulou a redução no volume de vendas”, diz Wolfers. “No entanto, o verdadeiro elo causal pode ter razões mais profundas. Antes de o varejista subir os preços na tentativa de estimular as vendas, seria bom analisar outras coisas e ver se a demanda como um todo durante o período não teria sido influenciada por outros fatores. É possível, por exemplo, que a empresa faça sua liquidação semestral durante o período de vendas mais fraco. Se for esse o caso, então esse período de menor volume de vendas deve ser o responsável pela queda nos preços. Não são, portanto, os preços mais baratos que estão provocando a diminuição das vendas.

 

Isso mostra uma dificuldade muito grande em aplicar a análise estatística aos negócios, às ciências sociais e a outras situações, diz Wolfers. “De modo geral, é mais fácil isolar e excluir dados estranhos sempre que os pesquisadores lidam com dados experimentais ou próprios das ciências físicas ou naturais, como a medicina”, diz. “Em um cenário experimental, uma companhia farmacêutica pode administrar aleatoriamente uma droga a um conjunto de indivíduos e um placebo a outro. Supondo-se que os pesquisadores tenham escolhido aleatoriamente as pessoas que receberam o remédio, será possível isolar o resultado de acordo com o efeito do remédio ou do placebo.”

 

Contudo, em um ambiente de negócios, isso não é tão fácil. “No exemplo da rede varejista, talvez seja mais difícil isolar os efeitos de uma série de outras influências”, diz Wolfers. Com relação à mudança dos preços de venda, “seria necessário considerar os efeitos dos dias ensolarados e chuvosos, quentes e frios, sobre o volume e o comportamento dos consumidores”.

 

No caso envolvendo Roger Clemens, Wolfers trabalhou com os professores de estatística Shane Jensen e Abraham Wyner, e também com Eric Bradlow, professor de marketing e co-autor do artigo publicado no New York Times intitulado “Relatório em apoio a Clemens escolhe com cuidado os fatos”.

 

No artigo, os pesquisadores questionam a metodologia empregada pela Hendricks Sports Management para dar respaldo à negativa de Clemens de que teria usado esteróides. “O relatório Clemens tenta repelir a questão comparando-o a Nolan Ryan, que se aposentou em 1993 aos 46 anos”, dizem os autores. “Na comparação, o desempenho de Clemens não parece atípico: ambos fizeram muito sucesso mesmo depois dos 40. Podem-se tirar conclusões semelhantes quando comparamos Clemens a dois outros atletas contemporâneos, Randy Johnson e Curt Schilling.”

 

Contudo, os pesquisadores da Wharton dizem que tais comparações são incompletas. “Ao comparar Clemens somente com indivíduos bem-sucedidos na segunda fase de suas carreiras, em vez de compará-lo a todos os arremessadores que tiveram uma primeira fase igualmente bem-sucedida, o relatório minimiza de forma artificial as chances do que os números produzidos por Clemens pareçam incomuns”, dizem. “Os estatísticos referem-se a esse problema como ‘predisposição à seleção.’”

 

Assim como o varejista precisa levar em conta um outro prognóstico igualmente plausível das vendas a serem analisadas na comparação de preços, os pesquisadores da Wharton assinalam que o desempenho de Clemens deveria ser confrontado com “todos os arremessadores de alta resistência em início de carreira”. Feito isso, observamos que a “segunda fase da carreira de Clemens é pouco comum”, dizem. A maior parte dos arremessadores apresenta uma melhora constante de desempenho quando chega perto dos 30 anos; em seguida, entra num declínio paulatino. A carreira de Clemens, pelo contrário, entrou em declínio quando ele chegou perto dos trinta anos e melhorou pouco depois dos 40.

 

Quando se pensa em contratar o serviço de um estatístico, existe uma tendência de trabalhar grupos de parâmetros que dêem respaldo à reivindicação dos clientes, observam os pesquisadores da Wharton. Entretanto, o que acontece quando as análises estatísticas são usadas em um contexto em que o desfecho não esteja associado a um ponto de vista específico? Análises financeiras, econometria, auditorias, produção e operações são apenas algumas das áreas em que as partes buscam dados imparciais para tomar decisões acertadas em face de incertezas.

 

A Coca-Cola e os fundos mútuos

As coisas sempre vão melhor com Coca-Cola? Isso parece estar no centro de uma ação judicial — que pleiteia o status de ação coletiva — contra a campanha de marketing da Enviga, a bebida de chá verde com cafeína da empresa. A publicidade da Enviga diz que a bebida “queima mais calorias do que gera, dando origem a ‘calorias negativas’”, conforme ação ajuizada junto ao tribunal da comarca de Camden, em New Jersey.

 

De acordo com a ação, as declarações da Coca-Cola baseiam-se nas “[…] conclusões de um único estudo realizado durante um breve período e financiado pela Coca […]”. A ação diz ainda que embora os pacientes do estudo clínico sejam indivíduos relativamente magros com índice médio de massa corpórea (IMC) de 22, “a grande maioria dos americanos tem sobrepeso ou é obesa”, e seu IMC é de 25 ou mais. Portanto, dificilmente essas pessoas perderiam peso se consumissem Enviga. Um porta-voz da empresa diz que o estudo da Coca e seus resultados são válidos.

 

Outro exemplo de estatística controversa apareceu em março em um anúncio dos Fundos Dreyfus veiculado pelo Wall Street Journal. O anúncio chama a atenção para o fato de que seu Fundo de Renda de Prazo Médio obteve quatro estrelas na classificação do Morningstar, diz David Peterson, consultor independente de estatística da região conhecida como Research Triangle, na Carolina do Norte, e membro da Associação Americana de Estatística.

 

“O anúncio foi cauteloso ao ressaltar que os resultados passados não são promessa de resultados futuros, mas deixa de mencionar que a Dreyfus tem pelo menos 19 fundos mútuos”, diz Peterson. “É claro que os melhores dentre eles devem ser sempre muito bons; ao passo que os piores — que não são mencionados no anúncio — devem ser muito ruins, mesmo que não haja nada intrinsecamente atípico nesses 19 fundos.”

 

Utilizando o mesmo princípio, observa Peterson, uma companhia farmacêutica “poderia realizar dez testes de forma isolada e independente para avaliar a eficácia de um novo remédio, recorrendo unicamente à publicidade nos casos de resultados que fossem mais favoráveis”.

 

Desconfiança e comunicação mal feita

A possibilidade de erros não intencionais em qualquer estudo é também motivo de preocupação, diz Jensen, da Wharton.

 

“Mesmo que se tome muito cuidado na hora de preparar a amostra, existe a possibilidade de se chegar a resultados equivocados”, observa. “Um problema muito comum é a prospecção de dados. Quando se analisa um grande número de dados durante muito tempo, acaba-se encontrando um efeito estatístico significativo ou uma diferença entre alguns conjuntos de variáveis.” Infelizmente, diz ele, os pesquisadores simplesmente informam a descoberta única que fizeram sem admitir, ao mesmo tempo, “os inúmeros testes irrelevantes que fizeram antes de chegar àquele resultado”.

 

De acordo com Jensen, “é preciso que haja um relato adequado do processo de testes como um todo para que os resultados obtidos ganhem perspectiva”. No entanto, pelo menos duas forças trabalham normalmente contra a eficácia das análises. “A primeira delas é a desconfiança em relação às análises estatísticas; a segunda, a falta de diálogo entre estatísticos do mundo acadêmico e profissionais do setor.” Na verdade, diz Jensen, “já li a respeito de muitos estudos nas áreas de medicina, economia e ciências sociais que poderiam se beneficiar de uma discussão mais ampla com os estatísticos a respeito das análises dos dados colhidos e do próprio conjunto de dados.”

 

Bradlow também expressa sua preocupação com a interpretação dos resultados estatísticos. “Sempre digo aos meus alunos que as soluções oferecidas pelos dados nem sempre indicam a resposta certa. Pelo contrário, elas dizem quais as respostas a serem eliminadas porque não encontram respaldo nos dados.” O verdadeiro valor de uma análise estatística consiste no fato de que ela ajuda o usuário a definir com mais propriedade a incerteza em oposição ao “melhor palpite”, ajuda-o a se dar conta de quais resultados são estatisticamente significativos e a responder a hipóteses específicas.

 

“O ponto-chave aqui é a representação”, diz ele, referindo-se outra vez ao estudo sobre Roger Clemens. “Os pesquisadores e usuários devem sempre se preocupar com a forma pela qual os dados são obtidos e se, de fato, representam uma amostra aleatória. Se não, é preciso tomar cuidado com as conclusões.”

 

Mesmo aqueles pesquisadores que não tenham uma agenda de trabalho precisam de cautela, segundo Bradlow. “Em fins dos anos 1990, quando colhíamos dados demográficos em um cemitério bicentenário, percebemos que as pessoas que foram enterradas ali em uma data mais próxima da época em que o estudo era realizado haviam morrido, em média, com menos idade do que as pessoas que haviam falecido muitos anos antes”, diz Bradlow, que descreveu os resultados da pesquisa em um artigo para a revista Chance intitulado “Uma seleção de anomalias de seleção”.

 

“É tentador concluir que o índice de mortalidade aumentou no meio da população mais jovem, porém essa seria uma conclusão incorreta.” Em vez disso, diz ele, as mortes mais prematuras decorrem do fato de que à medida que a pesquisa se aproximava da data do levantamento feito por Bradlow, a amostra de pessoas que foram enterradas no cemitério estudado só poderia mesmo consistir em um número desproporcional de pessoas que morreram jovens simplesmente porque haviam nascido em data mais próxima da data da pesquisa.

 

Para Wolfers, um elemento fundamental para minimizar o mau uso da estatística requer a utilização da plausibilidade intuitiva, ou a compreensão da estratégia do pesquisador e do jogo de forças em ação. “É importante saber o que elementos impulsionam essas variáveis”, diz ele. “Feito isso, o observador pode compreender melhor a situação e estabelecer a relação de causalidade.”

 

Jensen propõe ainda um outro exemplo. “Participo de um estudo que analisa as habilidades de jogadores da principal divisão de beisebol que ocupam posições externas no campo. Uma hipótese levantada pelo estudo propõe que esses jogadores teriam mais dificuldade de pegar as bolas vindas de trás, obrigando-os a correr para trás, do que as bolas jogadas à sua frente, que seriam pegas mais facilmente, bastando para isso correr para frente em sua direção.”

 

Contudo, os resultados mostram que o oposto é que é verdade: a qualquer distância, o fielder [jogador que intercepta a bola] pegava mais bolas quando corria para trás. “Parecia, inicialmente, contrair a intuição”, diz Jensen. “No entanto, tudo começa a fazer sentido no momento em que você reflete sobre o tempo de evolução da bola no ar (hang time). As bolas lançadas mais longe permanecem mais tempo no ar, portanto o fielder tem mais tempo para alcançá-las, mesmo quando a bola vem de trás. Esse foi um caso interessante em que os dados mostraram com clareza a fragilidade do nosso raciocínio anterior.”

Citando a Universia Knowledge@Wharton

Close


Para uso pessoal:

Por favor, use as seguintes citações para referências de uso pessoal:

MLA

"Uso — e mau uso — das estatísticas: como e por que os números são tão facilmente manipulados." Universia Knowledge@Wharton. The Wharton School, University of Pennsylvania, [16 April, 2008]. Web. [19 September, 2019] <http://www.knowledgeatwharton.com.br/article/uso-e-mau-uso-das-estatisticas-como-e-por-que-os-numeros-sao-tao-facilmente-manipulados/>

APA

Uso — e mau uso — das estatísticas: como e por que os números são tão facilmente manipulados. Universia Knowledge@Wharton (2008, April 16). Retrieved from http://www.knowledgeatwharton.com.br/article/uso-e-mau-uso-das-estatisticas-como-e-por-que-os-numeros-sao-tao-facilmente-manipulados/

Chicago

"Uso — e mau uso — das estatísticas: como e por que os números são tão facilmente manipulados" Universia Knowledge@Wharton, [April 16, 2008].
Accessed [September 19, 2019]. [http://www.knowledgeatwharton.com.br/article/uso-e-mau-uso-das-estatisticas-como-e-por-que-os-numeros-sao-tao-facilmente-manipulados/]


Para fins Educacionais/Empresariais, use:

Favor entrar em contato conosco para usar com novos propósitos artigos, podcasts ou vídeos através do nosso formulário de contato para licenciamento de conteúdo. .

 

Join The Discussion

No Comments So Far