Estatísticas e Big Data

Estou executando um modelo logístico. O conjunto de dados do modelo real tem mais de 100 variáveis, mas estou escolhendo um conjunto de dados de teste no qual existem cerca de 25 variáveis. Antes disso, eu também fiz um conjunto de dados com 8 a 9 variáveis. Me disseram que …

13 model-selection  logistic  aic 

Eu tenho uma regressão multivariada, que inclui interações. Por exemplo, para obter a estimativa do efeito do tratamento para o quintil mais pobre, preciso adicionar os coeficientes do regressor de tratamento ao coeficiente da variável de interação (que interage tratamento e quintil 1). Ao adicionar dois coeficientes a partir de …

13 regression  standard-deviation  standard-error 

Seja Qn=Cn. { |XEu-Xj| ; eu&lt;j}( K )Qn=Cn.{|XEu-Xj|;Eu&lt;j}(k)Q_n = C_n.\{|X_i-X_j|;i < j\}_{(k)} portanto, para uma amostra muito curta como , pode ser calculada a partir da localização da estática da ésima ordem das diferenças entre pares: k{1,3,6,2,7,5}{1,3,6,2,7,5}\{1,3,6,2,7,5\}kkk 7 6 5 3 2 1 1 6 5 4 2 1 2 …

13 data-transformation  scales  robust  optimal-scaling 

Eu li e vi muitas plotagens de coordenadas paralelas. Alguém pode responder ao seguinte conjunto de perguntas: O que são gráficos de coordenadas paralelas (PCP) em palavras simples, para que um leigo possa entender? Uma explicação matemática com alguma intuição, se possível Quando o PCP é útil e quando usá-lo? …

13 r  data-visualization 

Pergunta: Qual é um bom método para realizar testes post hoc de diferenças entre médias de grupos após o ajuste para o efeito de uma covariável? Exemplo prototípico: Quatro grupos, 30 participantes por grupo (por exemplo, quatro populações diferentes de psicologia clínica) Variável dependente é numérica (por exemplo, pontuações de …

13 anova  multiple-comparisons  ancova 

Qual deve ser a razão entre o número de observações e o número de variáveis? Como detectar o ajuste excessivo no modelo de rede neural e quais são as formas de evitar o ajuste excessivo? Se eu quiser fazer uma classificação com a Rede Neural, as aulas devem ter a …

13 neural-networks 

Digamos que tenho uma população de 50 milhões de coisas únicas e colho 10 milhões de amostras (com substituição) ... O primeiro gráfico anexado mostra quantas vezes eu coleciono a mesma "coisa", o que é relativamente raro como o população é maior que minha amostra. No entanto, se minha população …

13 r  sampling  expectation-maximization 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 4 meses . Existe uma boa biblioteca python para o treinamento de árvores de decisão aprimoradas?

13 python  cart  boosting 

Ao dar aulas de estatística, pode ser útil incorporar um vídeo curto ocasional. Meus primeiros pensamentos incluíram: Animações e visualizações de conceitos estatísticos Histórias sobre a aplicação de uma técnica específica Vídeos humorísticos relevantes para uma ideia estatística Entrevistas com um estatístico ou um pesquisador que usa estatística Existem vídeos …

13 teaching  references 

Seguindo as perguntas recentes que tivemos aqui . Eu esperava saber se alguém havia se deparado ou pode compartilhar o código R para realizar uma análise de energia personalizada com base na simulação de um modelo linear? Mais tarde, obviamente, gostaria de estendê-lo a modelos mais complexos, mas lm parece …

13 r  power  power-analysis 

Quais testes estão disponíveis para testar duas amostras independentes para a hipótese nula de que elas provêm de populações com a mesma inclinação? Existe um teste clássico de 1 amostra para determinar se a inclinação é igual a um número fixo (o teste envolve o sexto momento da amostra!); existe …

13 hypothesis-testing  distributions  bootstrap  moments  l-moments 

Eu tenho lutado com o seguinte problema, espero que seja fácil para estatísticos (eu sou um programador com alguma exposição a estatísticas). Preciso resumir as respostas a uma pesquisa (para gerenciamento). A pesquisa tem mais de 100 perguntas, agrupadas em diferentes áreas (com cerca de 5 a 10 perguntas por …

13 categorical-data  data-transformation  descriptive-statistics 

Eu me deparei com um grande corpo de literatura que defende o uso da métrica de Informações de Fisher como uma métrica local natural no espaço de distribuições de probabilidade e, em seguida, a integração sobre ela para definir distâncias e volumes. Mas essas quantidades "integradas" são realmente úteis para …

13 model-selection  information-geometry 

Para algumas medições, os resultados de uma análise são apresentados adequadamente na escala transformada. Na maioria dos casos, no entanto, é desejável apresentar os resultados na escala de medida original (caso contrário, seu trabalho é mais ou menos inútil). Por exemplo, no caso de dados transformados em log, surge um …

13 data-transformation  confidence-interval  t-test  interpretation 

Alguém sabe de pesquisas que investigam a eficácia (compreensibilidade?) De diferentes técnicas de visualização? Por exemplo, com que rapidez as pessoas entendem uma forma de visualização em detrimento de outra? A interatividade com a visualização ajuda as pessoas a recuperar os dados? Qualquer coisa nesse sentido. Um exemplo de visualizações …

13 data-visualization  communication