segunda-feira, 13 de maio de 2013

A inutilidade de previsões do PIB

Cumprindo a promessa de depois das eleições dos EUA do ano passado, estou no finalzinho do excelente The Signal and the Noise (segundo a Folha, a tradução para o Português sai mês que vem). O capítulo 6, sobre o fracasso das previsões de variáveis macroeconômicas, deveria ser obrigatório antes de qualquer curso de econometria. De lá roubei esses dois gráficos:


Esse gráfico mostra as previsões para a variação anual do PIB americano recolhidas na Survey of Professional Forecasters. As barras delimitam um intervalo de confiança de 90%, ou seja, se as previsões são corretas, em 90% do tempo o PIB observado vai se situar dentro dessas barras. Os resultados observados são os pontos pretos (quando dentro do intervalo esperado) ou os "x" (quando fora). Silver notou que, para esses anos, em 1/3 do tempo o observado ficou fora do intervalo de confiança. Estendendo o mesmo exercício para uma amostra desde 1968, em quase metade do tempo o crescimento observado ficou fora desse intervalo.


Este mostra a relação entre previsões e as observações efetivas para o crescimento do PIB entre 1986 e 2006 - a correlação (ou seja, o poder de previsão dos analistas) é praticamente inexistente.

A mensagem central do livro é: previsões funcionam bem em alguns campos, nem tanto em outros. Em alguns, a tecnologia ajudou a melhorar a qualidade das previsões; em outros, pouco fez diferença. O histórico de previsões macroeconômicas, em especial, pede no mínimo humildade e muita desconfiança de quem tenta viver certezas, sejam eles políticos ou economistas.

14 comentários:

GusTavares disse...

Seu post ajuda em um argumento que estou tentando desenvolver para responder ao post do Mansueto sobre inovação no Brasil. O que atrapalha no desenvolvimento do argumento é a preguiça!!

Em resumo, eu acredito que os economistas (como todo outro tipo de profissional) apresentam uma deficiência natural em compreender que a visão econômica é apenas uma faceta da realidade. Querer discutir inovação considerando apenas os incentivos e barreiras econômicas é restringir a análise a um percentual pequeno dos fatores que podem influenciar o assunto. Neste (e na maior parte dos casos) o conjunto de fatores não econômicos é simplesmente importante demais para ser desconsiderado no diagnóstico do problema.

O que você chama atenção no livro do Nate Silver é que mesmo em assuntos estritamente econômicos (por exemplo, o crescimento do produto interno bruto) os métodos e as análises econômicas são, no melhor dos casos, incapazes de oferecer respostas consistentes.

Para o caso da discussão iniciada pelo Mansueto a respeito da inovação, sem desmerecer os pontos por ele colocados , falta ainda trazer para discussão diversos aspectos como: cultura empresarial brasileira, o tipo de formação dos bacharéis no Brasil, a composição do nosso mercado interno, o grau de desenvolvimento industrial (micro-economicamente falando) comparado ao dos países de alta inovação e até mesmo o tipo de colonização no Brasil em comparação com as demais. Não que qualquer fator destes seja determinante a respeito da inovação no Brasil, mas pela minha experiência como consultor em dois projetos de inovação financiados pelo FINEP e de estudante do assunto do ponto de vista gerencial, tenho a firme convicção de que estes fatores são mais relevantes do que o ambiente macroeconômico para o sucesso das iniciativas de inovação.

GusTavares disse...

Complementando.. é óbvio que o comentário esta totalmente fora do lugar... mal aí...

Delfim Bisnetto disse...

É, mas os dois últimos erros do primeiro gráfico são facilmente justificáveis: setembro de 2011 e crise financeira. Pela amostragem, se o cara tivesse errado esses dois anos, já era, teria acertado menos de 90%.

Além disso, provavelmente alguém melhor informado que eu pode encontrar respostas razoáveis a por que o PIB foi consistentemente subestimado entre 1996-99.

O tratamento geral ("previsões para a variação anual do PIB americano recolhidas na Survey of Professional Forecasters") também me parece inadequado para concluir que projeções macro não funcionam. No meio dessas várias previsões pode ter um cara que acertou a terceira casa decimal do centro do intervalo todo ano (portanto, as projeções dele funcionam) e acabou diluído no meio das outras.

No máximo, o que o gráfico diz é que, na média as previsões não funcionam. Mas não que nenhuma previsão possa funcionar.

Delfim Bisnetto disse...

Talvez o grande problema seja o uso de terminologia estatísica, que dá a impressão de que "intervalo de confiança de 90%" seja uma afirmação literal, quando, na verdade, todas as probabilidades em economia são subjetivas, já que todos os modelos e tratamentos cobrem, reconhecidamente, apenas parte dos determinantes.

Rafael H M Pereira disse...

Para para os apressados de consumo rápido, aqui o Nate Silver faz um resumao do livro na LSE

http://www2.lse.ac.uk/newsAndMedia/videoAndAudio/channels/publicLecturesAndEvents/player.aspx?id=1872

Ticão disse...

Pode até ser que a cada ano um cara acertou, até a terceira casa decimal. Resta saber se em pelo menos a metade das vezes foi o mesmo cara.
Se a cada ano foi um cara diferente então ...
Uma provocação. Até um relógio quebrado, aqueles com ponteiros, está na hora certa duas vezes ao dia. Se for um digital travado só acerta uma.

Ticão

Anônimo disse...

Ticão, nesse caso do relógio a tecnologia veio pra reduzir pela metade o número de acertos...

Drunkeynesian disse...

Bisnetto, note que, para a amostra maior, o índice de acerto é ainda menor...

Anônimo disse...

E olha que o intervalo de confiança é ENORME para uma economia madura como a americana

Anônimo disse...

O livro é na linha do Taleb? É a mesma critica.

Drunkeynesian disse...

Umas 500 vezes menos arrogante

give lincenca disse...

O livro não tem nada a ver com os do Taleb. Ele analisa a evolução dos métodos de previsão em várias (incontáveis) áreas diferentes e diferencia histórias de sucesso e fracasso nisso.

O moleque é muito esperto tambem, com a idade dele já ganhou meio milhão de dólares jogando limit holdem online, criou um software de análise de jogadores de baseball e previu as últimas eleições americanas

Delfim Bisnetto disse...

Claro que o negócio da terceira casa decimal era um exagero.

E também entendo que a amostragem maior demonstra pouca (ou nenhuma capacidade de previsão).

Só acho que uma análise mais qualitativa das previsões (em vez de pegar todas de baciada) poderia ser mais útil por 2 motivos:

(1) Saber se as previsões melhoram com o tempo (hipótese provável, já que a amostragem maior tem resultados piores do que a das previsões mais recentes);

(2) Saber se determinado quais métodos de previsão e quais previsores são melhores que outros, e quão melhores.

Claro que nem folheei o livro pra saber se o Silver trata ou não dessas questões...

Marcos Ross disse...

Olhando pelo lado positivo e sem ser o sindicalista da profissao:
os erros se concentram nos anos em que houveram eventos DE FATO extraordinarios (crise asiatica, 2001 e crise recente).

Olhando pelo lado econometrista da coisa:
nao tem como falar em consistencia olhando 18 anos.

Nao acho que temos que nos agarrar as projecoes com toda a nossa fe, mas que elas tem serventia, isso elas tem...