Sou José Pirani. Conduzo auditoria de modelos preditivos e engenharia de dados.
O nome vem da construção civil. A fôrma é a estrutura que dá formato ao concreto antes de ele endurecer. Ela não aparece no resultado final, mas define tudo o que o resultado pode ser. Se a fôrma está torta, nenhuma qualidade do material corrige.
É o que um protocolo de validação faz com um processo de decisão: impõe estrutura antes que o resultado esteja fixado. Depois que o modelo está em produção e alimentando decisões, é tarde para perguntar se a metodologia se sustentava.
Método
Registro hipóteses antes de testá-las e mantenho o registro quando elas caem. Na auditoria descrita no estudo de caso deste site, propus oito explicações para os fenômenos observados. As oito foram refutadas pelos dados, e as oito constam do registro com data e autoria.
Isso não é modéstia. É a única forma de saber se você está auditando ou racionalizando. Quem só registra as hipóteses que se confirmam não tem como distinguir método de sorte, e é exatamente esse o erro que a auditoria existe para encontrar.
O corolário desconfortável é que um bom processo de validação reprova coisas. Se o seu nunca reprovou nada, ele não está validando.
Competências
Estatística de séries temporais e validação sob seleção múltipla. Correção por múltiplos testes, validação cruzada com purga e embargo, testes de vazamento estrutural.
Python, pandas, NumPy, scikit-learn. Pipelines de dados de ponta a ponta. Docker, orquestração e deploy em servidor.
Ingestão de fontes públicas mal documentadas, reconciliação entre bases e reconstrução de séries históricas com regra de disponibilidade temporal.