O p-value

Para quem gosta de uma discussão filosófica (ou metodológica?) sobre Estatística, acho que um prato cheio é este post. Entretanto, creio que esta briga tem mais argumentos do que os que aparecem no texto.

Mas, ironicamente, posso estar enganado.

Anúncios

Para compensar meu silêncio…

Meus 6 leitores devem ter notado meu silêncio. Bom, em resumo, viagem e internet nem sempre combinam muito bem, logo, ficou bem parado este blog. Para compensar, alguns momentos R do dia para os amigos.

1. R salvando vidas

2. Consumo e Renda em renda…com séries de tempo irregulares

3. R e metereologia

4. Análise de discurso em “Os Simpsons”…com R

5. Excel e R: manipulando arquivos

Por enquanto é isto, pessoal. O trabalho acumulado aqui inclui uma imensa faxina e reorganização de papéis que Deus me livre…

Divulgação gratuita

Evento científico no INPE discute resultados do projeto CHUVA
Após dois anos de campanhas científicas e pesquisa, o projeto CHUVA promove o I Workshop Científico, nos dias 24 e 25 deste mês, reunindo diversos trabalhos ligados aos cinco grupos temáticos que compõem o projeto. Financiado pela FAPESP e coordenado pelo Centro de Previsão do Tempo e Estudos Climáticos (CPTEC/INPE), o projeto tem como finalidade compreender os diferentes regimes de chuva do país. Além das medidas, a grande infraestrutura de equipamentos, incluindo um radar de última geração para medidas de chuva, vem permitindo o monitoramento de chuvas em tempo quase real durante a realização dos experimentos.

As campanhas científicas já estiveram em Alcântara (MA), Fortaleza (CE), Belém (PA) e São José dos Campos (SP). Neste último, entre novembro do ano passado e março deste ano, as medidas englobaram as regiões do Vale do Paraíba, Litoral Norte Paulista e Grande São Paulo, além do monitoramento de chuvas e de relâmpagos, cujos resultados serão apresentados no evento.

Para o workshop foram submetidos 59 artigos que apresentam e discutem os dados coletados durante as campanhas em áreas ainda pouco estudadas no país, como: modelagem numérica em alta resolução, microfísica das nuvens, eletricidade atmosférica, sistemas convectivos e previsão imediata (nowcasting). Na sexta-feira (25/05), os coordenadores do projeto vão discutir a preparação da próxima etapa do CHUVA – o CHUVA-SUL – que será em Santa Maria, no Rio Grande do Sul. O experimento iniciará entre os meses de novembro e dezembro deste ano.

O workshop será realizado no Instituto Nacional de Pesquisas Espaciais (INPE), em São José dos Campos, no Auditório Roger Roniatt, prédio do Laboratório de Integração e Testes (LIT). Os coordenadores dos grupos de trabalho – Luiz Machado, Maria Assunção, Carlos Morales, Gilberto Fisch e Daniel Vila – fazem a abertura do evento nesta quinta (24/05), às 9 horas.

Programação do evento: http://chuvaproject.cptec.inpe.br/chuvainscricao/workshop/br/curso.html#/programacao.html

Homepage do I Workshop do Projeto CHUVA: http://chuvaproject.cptec.inpe.br/chuvainscricao/workshop/br/curso.html#/workshop.html

Homepage do Projeto CHUVA: http://chuvaproject.cptec.inpe.br/portal/br/
Qualquer dúvida entrar em contato com:
Grupo de Atendimento – Tel:(12) 3186-8492
E-mail: atendimento@cptec.inpe.br

Pareceristas bons: a história de Wilcoxon

Wilcoxon era um químico que havia esbarrado em um problema com os testes “t” e “F” em seus testes. O que fazer? O cara pesquisou a literatura. Achou algo? Nada. Aí resolveu propor um método. Pesquisou de novo. Achou algo? Novamente nada. O que ele fez? Enviou um artigo para uma revista de estatística, a Biometrics (não é a Biometrika). Por que ele fez isto?

Eis uma lição da pesquisa científica: bons pareceres podem ajudar um autor. Como? Simples, ele esperava obter boas referências dos pareceristas. Bem, o final da história, pode-se dizer, é feliz. Não houve referências e Wilcoxon publicou seu artigo como uma contribuição original na história da estatística.

A história toda é contada no já citado livro de David Salsburg, “Uma Senhora Toma Chá… – como a estatística revolucionou a ciência no século XX”.

Uma coisa que sempre procuro fazer, como parecerista, é tentar contribuir para o autor. Mesmo que o artigo seja rejeitado, o autor sempre pode trabalhar com novas idéias. Agora, vale um aviso. Nem todo parecerista é assim. Wilcoxon, se habitasse a selva brasileira, provavelmente teria sua idéia roubada ou mesmo postergada por conta de concorrentes pouco éticos.

Não que isto não ocorra na civilização como o próprio livro mostra, para a briga entre Karl Pearson e Fischer. Mas no Brasil a coisa é mais feia. Já ouvi de filósofos que barraram defesas de tese (típico controle da agenda) para favorecer a “originalidade” da do seu orientando. Também já vi concursos cujos editais eram publicados e retirados de circulação com apenas um dia. Outro caso famoso é o controle das bolsas de doutorado que levaram um colega a permanecer no Brasil ao invés de ir estudar em Columbia porque, segundo o parecerista, “finanças” era algo que se estudava em centros como a Unicamp (nem o mais radical heterodoxo da Unicamp, se honesto, admitiria isto).

Imagino Wilcoxon neste mundo e a vontade de trocar de lugar com ele aumenta muito. Mas muito mesmo.

Divulgação gratuita

Estão abertas as inscrições para a posição de pós-doutorado na área de Estatística do Departamento de Ciências Exatas USP-ESALQ no período de 16/4 a 04/5.

O projeto tem por objetivo o desenvolvimento de metodologias para a quantificação e monitoramento do risco no agronegócio brasileiro sob uma perspectiva estatístico-atuarial e mecanismos para o seu gerenciamento. O grupo de pesquisa é formado por uma equipe de professores e pesquisadores de três importantes universidades brasileiras: USP, UFMG e UFLA e conta a colaboração de diversas instituições de pesquisa no país.

O edital pode ser acessado em http://ce.esalq.usp.br/

19 3429-4127 r. 231 / Fax: 55 19 3429-4346 – E-mail: sapsabad@esalq.usp.br

—————————————————–

Atenciosamente,

Vitor Ozaki

USP – ESALQ

Journal of Articles in Support of the Null Hypothesis

Eis um journal que tem uma proposta muito interessante. Anos luz à frente do que qualquer coisa que se veja por aqui, fora de alguns círculos de discussão de alto nível. O melhor mesmo é o nome: nada mais claro em suas intenções…

Uma senhora toma chá…

Ganhei ontem, da minha senhora, o “Uma senhora toma chá…  – como a estatística revolucionou a ciência no século XX” de David Salsburg. Comecei a ler apenas mas já dá para dizer que é um baita livro. Quem já conhece um pouco de Estatística e/ou Econometria (e afins: Cliometria, Antropometria, Biometria, Psicometria, Sociometria, etc) vai gostar.

Quem conhece pouco, pode ficar com a impressão de que Estatística é bacana, mas se limita a algumas contribuições de alguns grandes nomes. Creio que a boa leitura do livro desfaz esta errônea impressão rapidamente. Aliás, o prefácio em português – do próprio Salsburg – destaca alguns estatísticos brasileiros (como Pedro Morettin, conhecido dos estudantes sérios de finanças aplicadas) e mostra que a ciência, de modo geral, ganhou muito com a incorporação de métodos estatísticos. 

Sempre fui a favor do pluralismo. Mas, ao contrário da picaretolândia, não devemos apenas fazer pluralismo com os departamentos chefiados por “gente que tem a mesma ideologia que a gente”. Por isso, viva a Biologia, a Estatística, a Computação, a Matemática e todas as outras áreas que nos ajudam a avançar o debate científico.

p.s. Sabia que Carl Pearson trocou seu nome para Karl Pearson por conta de sua admiração por Karl Marx? Eis uma dica bacana para você decidir se compra ou não o livro. ^_^

Custo de oportunidade, na prática

Seven years after the attacks of Sept. 11, 2001, the state’s terrorism threat level remains at an elevated yellow, even in the absence of credible threats.

For local law enforcement leaders in Connecticut and across the country, the time has come for federal authorities to start putting their money where the most urgent problems lie: in fighting crime on the streets.

Federal funding for law enforcement has been “decimated” in recent years, according to a letter written by Ronald C. Ruecker, president of the International Association of Chiefs of Police.

“The simple truth, is that average Americans are much more likely to find themselves victims of crime than of a terrorist attack,” he wrote. Since the terrorist attacks, “99,000 Americans have been murdered, and each year roughly 1.4 million Americans are the victims of violent crime.”

Eis a necessária união da Estatística com a Economia. Como é que você decide a alocação de recursos sem pensar nas probabilidades? Claro, as probabilidades e toda a parafernália estatística deveria estar ligada a conceitos econômicos como os de bem-estar (Scitovsky, Pareto, Kaldor, etc). Bem, pelo menos no que diz respeito aos índices de preços e quantidades, qualquer aluno – que estudou e entendeu preferências reveladas – já sabe.

Você acha que sabe probabilidade e estatística?

Eu não era tão convencido, mas minha humildade aumentou consideravelmente quando fui à barra lateral de links fixos deste blog e procurei pelo Brazilian Journal of Probability and Statistics…

Problemas econométricos e científicos

Reproduzo na íntegra, com citação da fonte.
———— EH.NET BOOK REVIEW ————–
Published by EH.NET (June 2008)

Stephen T. Ziliak and Deirdre N. McCloskey, _The Cult of Statistical Significance: How the Standard Error Costs Us Jobs, Justice, and Lives_. Ann Arbor, MI: University of Michigan Press, 2008. xxiii + 287 pp. $25 (paperback), ISBN: 978-0-472-05007-9.

Reviewed for EH.NET by Philip R.P. Coelho, Department of Economics, Ball State University.

Ziliak and McCloskey have written a fine book of 24 chapters, a reader’s guide, and preface. They write for an “implied” audience of “keeper[s] of numerical things” to persuade them that: “Statistical significance is not the same thing as scientific finding. R-squared, t-statistic, p-value, f-test, and all the more sophisticated versions of them … are misleading at best” (p. xv). The authors have accomplished this and more in a well-researched, written and documented book. The authors start with a Contents section that contains a brief précis of each chapter’s contents. The précis is an imaginative and highly useful resurrection of nineteenth- and early twentieth-century practice; a reader-friendly technique that can be usefully employed today.

An examination of the Contents is revealing. Directly opposite the beginning of the Contents section is a photograph of William Sealy Gosset, the “Student” of the “Student t [commonly truncated to the t] distribution.” In conjunction with an exposition of why statistical significance is very different from importance or scientific (economic/historic or whatever) significance, they have written a paean and brief biography of Gosset. I am convinced that Gosset was a noble and modest man, a great statistician and intellect who was shabbily treated by his supposed friend and colleague, R.A. Fisher. He has also been neglected by historians of science and statistics; Gosset deserves to be memorialized, and certainly warrants biographies. That being said, combining two fine books on disparate subjects (statistical methodology and historical biography) does not make an even better book.

Ziliak and McCloskey emphatically make their argument against the use of statistical significance as a proxy for importance in Chapters 1 through 5. The basic difficulty with statistical significance is that it has been permeated with the mathematical ethos of certainty. A mathematical “proof” implies a truth (Gödel’s Theorem is conventionally ignored) that is invulnerable to time, space, and reality; it is an abstraction that cannot be falsified using mathematical epistemology. Relevance, economic importance, and any metrics other than mathematics are beside the point.

Scientific assertions should be confronted quantitatively with
the world as it is or else the assertion is a philosophical or
mathematical one, meritorious no doubt in its own terms but not
scientific. …

The problem we are highlighting is that the so-called test of
statistical significance does not in fact answer a quantitative,
scientific question. Statistical significance is not a
_scientific_ test. It is a philosophical, qualitative test. It
does not ask how much. It asks “whether.” Existence, the
question of whether, is interesting. But it is not scientific
(pp. 4-5).

In the absence of some measure of how big an effect is, the existence of an effect reveals nothing of importance about the world of observational reality.

Ziliak and McCloskey highlight the danger and corruption that flow from the overwhelming importance placed upon statistical significance (a measure of existence or lack thereof) by using the tragic example of Vioxx. Vioxx was a formulation developed by Merck designed to combat pain. In clinical trials Vioxx had about five times the number of fatalities as a generic version of a control drug (naproxen). Because the number of observations did not reach the appropriate size, the 5 to 1 ratio of excess fatalities caused by Vioxx was deemed statistically insignificant. (Merck may have reduced the actual number of fatalities by manipulating the data [p. 29].) Merck’s ethics and the clinical/scientific studies of Vioxx that were sponsored by Merck have been sharply criticized by the scientific and journalistic establishments. (See the _Wall Street Journal_, April 16, 2008, p. B4) By simply discarding some fatalities (on dubious grounds) the 5 to 1 disadvantage in mortality became statistically insignificant in the submitted trials, and Vioxx was marketed. It was literally a fatal error that cost Merck billions of dollars and caused a number of needless deaths.

In the absence of any measure for costs or benefits the standard use of an acceptance/rejection rate arbitrarily set at five percent is mindless and/or non-scientific. Five percent of a very large number (say the world’s human population or the GDP of the United States) is still a large number; and conversely one hundred percent of a minuscule number is still minuscule. These are not Nobel Prize winning observations; regardless they are ignored by researchers in a depressingly large number of disciplines. Ziliak and McCloskey document (Chapters 5 through 16) the standard statistical conventions that predominate in publications in a number of journals and disciplines. The results do not inspire confidence in the scientific competence of the editors and practitioners. Typically overweening emphasis is placed on the existence of an effect (statistical significance) while the magnitude of the effect is either barely noticed or entirely ignored.

I found other parts of the book fascinating; some are apposite to their goal of reforming statistical practice (what should be done, strategies for change), others are not directly germane to their professed goal (digressions on the life and career of Gosset, Fisher, Edgeworth, and twentieth century academic politics). The difficulty with including these digressions is that it makes assigning this book as ancillary reading for students problematic. What other faults did I find with the book? 1) Rather than digressions I would like to have seen a greater emphasis on the analysis of examples, perhaps a step-by-step numerical approach highlighting the various issues inherent in statistical “acceptance/rejection.” (Vioxx would be a good case study; another would be the case of black-teenage unemployment which is statistically “insignificant” yet about 40 percent of the population at risk.) 2) I also found some deficiencies in the writing; it is too informal and breezy. My unhappiness with its literary style is strange because McCloskey is one of the better writers in all of academia today. Regardless, there are journalistic conventions (I expect done for emphasis) that should be eliminated; sentences without a noun or a verb are particularly irritating. Another infelicity is the constant usage of the word “oomph” instead of importance (relevance, interest, practical significance, etc.; in the synonym finder I consulted there were over 80 synonyms for the word “significance”). “Oomph” is singularly distasteful. Perhaps this is a taste unique to me, but I expect that in five years “oomph” will appear as grating to readers as “groovy” does now. This book warrants language and style that are more timeless and less ephemeral. 3) Finally the absence of an index is the bane of all reviewers. The index may be missing because my copy is an “advance reading copy,” and an index will be in the final version. If this is not the case, then subsequent printings should include one.

These are quibbles; this is an important work that deals with a major problem of statistical analysis in the social, medical and physical sciences. If you are not aware of the problem, you should be. If you are aware of the problem, this book is a good compendium of the problem, real-world issues, and the historical milieu in which the cult of significance evolved.

Philip R.P. Coelho is a professor of economics at Ball State University. He has written on and is continuing his study of long-run economic growth and the impact of parasitic diseases and biology upon economic growth, history and development. His papers have been published in the _Journal of Economic History_, the _American Economic Review_, _Explorations in Economic History_, _Economic Inquiry_, _Southern Economic Journal_, and other outlets.

Copyright (c) 2008 by EH.Net. All rights reserved. This work may be copied for non-profit educational uses if proper credit is given to the author and the list. For other permission, please contact the EH.Net Administrator (administrator@eh.net; Telephone: 513-529-2229). Published by EH.Net (June 2008). All EH.Net reviews are archived at http://www.eh.net/BookReview.

————– FOOTER TO EH.NET BOOK REVIEW ————–
EH.Net-Review mailing list
EH.Net-Review@eh.net
http://eh.net/mailman/listinfo/eh.net-review

Correlação ou Causalidade?

Agora é o outro jornal de São Paulo que diz algo similar ao que foi publicado no Estadão há umas duas semanas: o Bolsa-Família e a votação do presidente da Silva têm correlação positiva. A notícia só não é idêntica porque o pessoal não analisou o desempenho escolar (veja também esta notícia, sobre uma possível manipulação em ano eleitoral).

Obviamente, todo mundo que passa por uma notícia como esta se pergunta: então o governo usou a Bolsa-Família como moeda de troca eleitoral? É possível. Mas existe uma segunda pergunta que não se confunde com a primeira, embora seja -lhe uma decorrência natural. Trata-se de: uma vez que o Bolsa-Família existe, ele gerou votos adicionais ao presidente da Silva?

Para esta pergunta, veja bem, não basta uma correlação simples, como os jornalistas têm feito. É preciso um pouco mais de trato estatístico com os dados. Qual a diferença entre correlação e causalidade? De forma resumida, eu diria que é o grau de sujeição de seu argumento sobre a causalidade à terrível coincidência. Pode ser que, simplesmente, coincidiu de as variáveis X e Y serem correlacionadas positiva, neutra ou negativamente. A explicação causal necessita um pouco mais. Uma sugestão óbvia é uma regressão múltipla, envolvendo mais variáveis. Eu diria mais. Acho que um bom meio de se iniciar esta análise é aplicar variáveis instrumentais aos dados, sob um arcabouço teórico específico.

Em outras palavras, se eu fosse um jornalista realmente obcecado pelo tema, correria para um pacote econométrico qualquer, importaria os dados, e tentaria provar a causalidade entre Bolsa-Família e votos. Vai que ela existe mesmo…