Estatísticas e Big Data

Há um velho ditado: "Correlação não significa causalidade". Quando ensino, costumo usar os seguintes exemplos padrão para ilustrar esse ponto: número de cegonhas e taxa de natalidade na Dinamarca; número de padres na América e alcoolismo; no início do século XX, observou-se que havia uma forte correlação entre 'Número de …

74 correlation  teaching 

Estou participando dos cursos de aprendizado de máquina on-line e aprendi sobre a descida do gradiente para calcular os valores ideais da hipótese. h(x) = B0 + B1X por que precisamos usar a descida do gradiente se podemos encontrar facilmente os valores com a fórmula abaixo? Isso parece direto e …

74 regression  machine-learning  gradient-descent 

Estou tentando entender a diferença entre diferentes métodos de reamostragem (simulação de Monte Carlo, inicialização paramétrica, inicialização não paramétrica, jackknifing, validação cruzada, validação cruzada, testes de randomização e testes de permutação) e sua implementação no meu próprio contexto usando R. Digamos que eu tenha a seguinte situação - desejo executar …

74 r  bootstrap  resampling  jackknife  permutation-test 

Ao contrário de outros artigos, achei a entrada da Wikipedia para este assunto ilegível para uma pessoa que não é matemática (como eu). Entendi a ideia básica de que você é a favor de modelos com menos regras. O que eu não entendo é como você passa de um conjunto …

74 regularization 

Eu sei que correlação não implica causalidade, mas uma ausência de correlação implica ausência de causalidade?

73 correlation  causality 

Em 25 de fevereiro de 2015, a revista Basic and Applied Social Psychology publicou um editorial proibindo valores- e intervalos de confiança de todos os trabalhos futuros.ppp Especificamente, eles dizem (formatação e ênfase são minhas): [...] antes da publicação, os autores deverão remover todos os vestígios do NHSTP [procedimento de …

73 hypothesis-testing  confidence-interval  p-value  effect-size  psychology 

Li no resumo deste artigo que: "O procedimento de máxima verossimilhança (ML) do Hartley aud Rao é modificado adaptando uma transformação de Patterson e Thompson que particiona a probabilidade renderizar a normalidade em duas partes, sendo uma livre dos efeitos fixos. A maximização dessa parte produz o que é chamado …

73 mixed-model  maximum-likelihood  reml 

Há muito tempo que me interesso por mineração de dados e aprendizado de máquina , em parte porque me formei nessa área na escola, mas também porque estou realmente muito mais empolgado tentando resolver problemas que exigem um pouco mais de reflexão do que apenas programação conhecimento e cuja solução …

73 machine-learning  data-mining  careers  phd 

Existe alguma GUI para R que facilite para um iniciante o aprendizado e a programação nesse idioma?

73 r 

O videoclipe do PSY "Gangnam style" é popular, depois de pouco mais de 2 meses, tem cerca de 540 milhões de espectadores. Aprendi isso com meus filhos pré-adolescentes no jantar da semana passada e logo a discussão foi na direção de se era possível fazer algum tipo de previsão de …

73 modeling  web 

Existem vários usos distintos: estimativa da densidade do kernel truque do kernel suavização do kernel Por favor, explique o que o "núcleo" neles significa, em inglês simples, com suas próprias palavras.

73 kernel-trick  kernel-smoothing 

Ao usar a análise de cluster em um conjunto de dados para agrupar casos semelhantes, é preciso escolher entre um grande número de métodos de cluster e medidas de distância. Às vezes, uma escolha pode influenciar a outra, mas existem muitas combinações possíveis de métodos. Alguém tem alguma recomendação sobre …

73 clustering  distance-functions  methodology 

Muitas vezes, um analista estatístico recebe um conjunto de dados definido e é solicitado a ajustar um modelo usando uma técnica como regressão linear. Com muita frequência, o conjunto de dados é acompanhado por um aviso semelhante a "Ah, sim, nós erramos ao coletar alguns desses pontos de dados - …

73 regression  outliers 

Em algumas disciplinas, o PCA (análise de componentes principais) é sistematicamente usado sem qualquer justificativa, e PCA e EFA (análise fatorial exploratória) são considerados sinônimos. Por isso, recentemente usei o PCA para analisar os resultados de um estudo de validação de escala (21 itens na escala Likert de 7 pontos, …

73 pca  factor-analysis  eda 

Nos últimos anos, as redes neurais convolucionais (ou talvez as redes neurais profundas em geral) tornaram-se cada vez mais profundas, com redes de ponta passando de 7 camadas ( AlexNet ) a 1000 camadas ( Redes Residuais) no espaço de 4 anos. A razão por trás do aumento no desempenho …

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network