Penso que, com frequência, a tendência de parecer que você foi a uma toca de coelho com análises exploratórias se deve à perda de vista das perguntas substantivas que você está fazendo. Eu mesmo faço isso ocasionalmente e preciso me lembrar de quais são meus objetivos. Por exemplo, estou tentando criar um modelo específico ou avaliar a adequação de um modelo existente? Estou procurando evidências de problemas com os dados (análise de dados forenses)? Ou é isso nos estágios iniciais da análise, onde estou investigando questões específicas informalmente (por exemplo, existe uma relação entre duas variáveis?) Antes de prosseguir no desenvolvimento de um modelo formal? Em suma, se você se põe em marcha plotagens e tabelas, mas não pode afirmar claramente qual é seu objetivo imediato ou por que essa plotagem / tabela é relevante, então você sabe que '
Tento abordar a análise exploratória de dados, como escrevo, seja escrevendo um programa ou escrevendo um artigo. Em ambos os casos, eu não começaria sem fazer um esboço primeiro. Esse esquema pode mudar (e freqüentemente muda), é claro, mas começar a escrever sem um é ineficiente e geralmente produz um produto final ruim.
Na organização WRT, cada analista precisa encontrar um fluxo de trabalho que funcione para ele - é IMO mais importante do que tentar seguir rigidamente o fluxo de trabalho de outra pessoa (embora seja sempre útil obter idéias do que os outros estão fazendo). Se você estiver trabalhando programaticamente (ou seja, escrevendo código que pode ser executado para gerar / regenerar um conjunto de resultados) e verificando seu trabalho no git, então você já está muito à frente de muitos nesse sentido. Eu suspeito que você pode precisar gastar algum tempo organizando seu código e, por isso, sugiro seguir seu esboço. Por exemplo, mantenha seus arquivos de análise relativamente curtos e direcionados, para que cada um responda a uma pergunta específica (por exemplo, gráficos de diagnóstico para um modelo de regressão específico). Organize-os em subdiretórios em um ou dois níveis, dependendo do tamanho e da complexidade do projeto. Dessa maneira, o projeto se torna auto-documentado; uma exibição de lista dos diretórios, subdiretórios e arquivos (juntamente com o comentário na parte superior de cada arquivo) deve, em teoria, reproduzir seu esboço.
Obviamente, em um projeto grande, você também pode ter um código que faça a limpeza e o gerenciamento de dados, o código que você escreveu para estimar um certo tipo de modelo ou outros utilitários que você escreveu, e eles não se encaixam no substantivo estrutura de tópicos para sua análise de dados, para que eles sejam organizados em uma parte diferente da pasta do projeto.
Atualização: depois de postar isso, percebi que não resolvi sua pergunta diretamente sobre "becos sem saída". Se você realmente decidir que um conjunto inteiro de análises não tem valor, se estiver trabalhando no git, sempre poderá excluir o (s) arquivo (s) correspondente (s) com uma mensagem de confirmação como "Abandonou esta linha de análise porque não era produtivo." Ao contrário de amassar o que você escreveu e jogá-lo no lixo, você sempre pode voltar ao que fez mais tarde, se desejar.
No entanto, acho que você descobrirá que, se seguir um esboço para o qual pensou um pouco, terá menos dos chamados becos sem saída. Em vez disso, se você gastar um tempo investigando uma pergunta relevante e relevante - mesmo que isso leve a uma descoberta nula ou não seja como você previa -, provavelmente ainda desejará manter um registro do que fez e do resultado (em no mínimo, para não cometer o erro de repetir isso mais tarde). Apenas mova-os para o final do seu esboço, em uma espécie de "Apêndice".