Estatísticas e Big Data

Essa pergunta foi desencadeada por algo que li neste livro de estatística em nível de pós-graduação e também (independentemente) ouvi durante esta apresentação em um seminário de estatística. Nos dois casos, a declaração foi semelhante à "porque o tamanho da amostra é bem pequeno, decidimos realizar uma estimativa via bootstrap …

71 bootstrap  small-sample 

Atualmente, estou trabalhando em um trabalho de pesquisa quase experimental. Eu só tenho um tamanho de amostra de 15 devido à baixa população na área escolhida e que apenas 15 se enquadram nos meus critérios. 15 é o tamanho mínimo da amostra para calcular para o teste t e o …

71 t-test  sample-size  assumptions  power 

Para um estudo de simulação, eu tenho que gerar variáveis ​​aleatórias que mostram uma correlação pré-definida (população) com uma variável existente YYY. Examinei os Rpacotes copulae CDVineque podem produzir distribuições multivariadas aleatórias com uma determinada estrutura de dependência. No entanto, não é possível corrigir uma das variáveis ​​resultantes em uma …

71 r  correlation  random-variable  random-generation  independence  assumptions  random-variable  unbiased-estimator  regression  hypothesis-testing  heteroscedasticity  generalized-least-squares  distributions  networks  data-visualization  sas  reproducible-research  philosophical  time-series  variance  outliers  quality-control  mean  multilevel-analysis  average  weighted-mean  regression  confidence-interval  prediction-interval  correlation  matlab  matrix  data-mining  maximum-likelihood  r  time-series  survival  predictive-models 

A análise de correlação canônica (CCA) é uma técnica relacionada à análise de componentes principais (PCA). Embora seja fácil ensinar PCA ou regressão linear usando um gráfico de dispersão (veja alguns milhares de exemplos na pesquisa de imagens do google), não vi um exemplo bidimensional intuitivo semelhante para o CCA. …

70 regression  data-visualization  pca  canonical-correlation  geometry 

Estou curioso, para aqueles de vocês com vasta experiência em colaborar com outros pesquisadores, quais são alguns dos conceitos errôneos mais comuns sobre regressão linear que você encontra? Eu acho que pode ser um exercício útil pensar antecipadamente sobre equívocos comuns, a fim de Antecipe os erros das pessoas e …

70 regression  multiple-regression 

Pergunta: Quero ter certeza de alguma coisa, o uso da validação cruzada k-fold com séries temporais é direto ou é necessário prestar atenção especial antes de usá-lo? Antecedentes: estou modelando uma série temporal de 6 anos (com cadeia semi-markov), com uma amostra de dados a cada 5 minutos. Para comparar …

70 time-series  modeling  cross-validation 

A econometria se sobrepõe substancialmente às estatísticas tradicionais, mas geralmente usa seu próprio jargão sobre uma variedade de tópicos ("identificação", "exógena" etc.). Certa vez, ouvi um professor de estatística aplicada em outro campo comentar que freqüentemente a terminologia é diferente, mas os conceitos são os mesmos. No entanto, ele também …

70 econometrics  terminology 

Em uma regressão linear múltipla, por que é possível ter uma estatística F altamente significativa (p <0,001), mas ter valores de p muito altos em todos os testes t do regressor? No meu modelo, existem 10 regressores. Um deles tem um valor de p de 0,1 e o restante está …

70 hypothesis-testing  regression  t-test  multicollinearity 

Em abril, participei de uma palestra na série de seminários do grupo de Estatísticas do Departamento de Matemática da UMD denominada "Explicar ou prever?". A palestra foi proferida pelo Prof. Galit Shmueli, que leciona na Smith Business School da UMD. Sua palestra foi baseada na pesquisa que ela fez para …

70 predictive-models 

fundo Estou trabalhando no Network Operations Center, monitoramos os sistemas de computadores e seu desempenho. Uma das principais métricas a serem monitoradas é o número de visitantes \ clientes atualmente conectados aos nossos servidores. Para torná-lo visível, nós (equipe de operações) coletamos métricas como dados de séries temporais e desenhamos …

70 machine-learning  time-series  python  computational-statistics  anomaly-detection 

Qual é a estratégia apropriada para dividir o conjunto de dados? I pedir feedback sobre a abordagem seguinte (não sobre os parâmetros individuais como test_sizeou n_iter, mas se eu usasse X, y, X_train, y_train, X_test, e y_testde forma adequada e se a sequência faz sentido): (estendendo este exemplo da documentação …

70 machine-learning  cross-validation  python  scikit-learn 

Comparei ?prcompe ?princompencontrei algo sobre a análise de componentes principais (QA) e modo Q (modo principal) (PCA). Mas honestamente - eu não entendo. Alguém pode explicar a diferença e talvez até explicar quando aplicar qual?

70 r  pca 

Precisa entender o funcionamento da camada 'Incorporação' na biblioteca Keras. Eu executo o seguinte código em Python import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array = np.random.randint(5, size=(1, 5)) model.compile('rmsprop', 'mse') output_array = model.predict(input_array) que fornece a seguinte saída …

70 text-mining  word-embeddings  keras 

Embora todas as imagens no conjunto de dados MNIST estejam centralizadas, em uma escala semelhante e com a face para cima sem rotações, elas têm uma variação significativa de manuscrito que me intriga como um modelo linear atinge uma precisão de classificação tão alta. Tanto quanto eu consigo visualizar, dada …

70 logistic  image-processing 

Uma época em descida de gradiente estocástico é definida como uma única passagem pelos dados. Para cada minibatch SGD, amostras são coletadas, o gradiente calculado e os parâmetros atualizados. Na configuração de época, as amostras são coletadas sem substituição.kkk Mas isso parece desnecessário. Por que não desenhar cada minibatch do …

69 neural-networks  deep-learning  gradient-descent