Estatísticas e Big Data

No aprendizado estatístico, implícita ou explicitamente, sempre se assume que o conjunto de treinamento é composto de tuplas de entrada / resposta que são desenhados independentemente da mesma distribuição conjunta comD={X,y}D={X,y}\mathcal{D} = \{ \bf {X}, \bf{y} \}NNNP ( X , y )(Xi,yi)(Xi,yi)({\bf{X}}_i,y_i) P(X,y)P(X,y)\mathbb{P}({\bf{X}},y) p(X,y)=p(y|X)p(X)p(X,y)=p(y|X)p(X) p({\bf{X}},y) = p( y \vert {\bf{X}}) …

54 machine-learning  cross-validation  non-independent  iid 

Sinto muito se isso parece um pouco básico, mas acho que estou apenas tentando confirmar o entendimento aqui. Tenho a sensação de que eu teria que fazer isso em duas etapas e comecei a tentar criar matrizes de correlação, mas isso está começando a parecer realmente envolvido. Estou procurando uma …

53 probability  correlation  conditional-probability  random-generation 

Existe uma transformação semelhante a Box-Cox para variáveis ​​independentes? Ou seja, uma transformação que otimiza a variável para que ela se ajuste de forma mais razoável a um modelo linear?xxxy~f(x) Em caso afirmativo, existe uma função para executar isso R?

53 r  regression  data-transformation  normality-assumption 

EDIT: A exibição da tarefa CRAN de Tecnologias e Serviços da Web contém uma lista muito mais abrangente de fontes de dados e APIs disponíveis no R. Você pode enviar uma solicitação pull no github se desejar adicionar um pacote à exibição da tarefa. Estou fazendo uma lista dos vários …

53 r  references  dataset 

Estou pensando em usar bibliotecas Python para fazer minhas experiências de Machine Learning. Até agora, eu confiava no WEKA, mas fiquei bastante insatisfeito. Isso ocorre principalmente porque achei que o WEKA não é tão bem suportado (muito poucos exemplos, a documentação é escassa e o apoio da comunidade é menos …

53 machine-learning  python 

Imagine o seguinte design comum: 100 participantes são alocados aleatoriamente em um grupo de tratamento ou controle a variável dependente é numérica e medida pré e pós-tratamento Três opções óbvias para analisar esses dados são: Teste o efeito de interação do grupo pelo tempo na ANOVA mista Faça uma ANCOVA …

53 anova  ancova  clinical-trials  change-scores 

Estou analisando alguns dados nos quais gostaria de executar uma regressão linear comum, mas isso não é possível, pois estou lidando com uma configuração on-line com um fluxo contínuo de dados de entrada (que rapidamente se tornará muito grande para memória) e precisa para atualizar estimativas de parâmetros enquanto isso …

53 time-series  regression  algorithms  real-time 

Quero medir a entropia / densidade da informação / semelhança de padrão de uma matriz binária bidimensional. Deixe-me mostrar algumas fotos para esclarecimentos: Essa exibição deve ter uma entropia bastante alta: A) Isso deve ter entropia média: B) Finalmente, essas imagens devem ter entropia quase zero: C) D) E) Existe …

53 algorithms  binary-data  entropy  pattern-recognition  information 

Quais são os estatísticos mais importantes e o que os tornou famosos? (Responda a apenas um cientista por resposta, por favor.)

53 methodology  history 

Dadas todas as boas propriedades dos modelos de espaço de estado e KF, pergunto-me - quais são as desvantagens da modelagem de espaço de estado e do uso do Kalman Filter (ou EKF, UKF ou filtro de partículas) para estimativa? Vamos dizer que metodologias convencionais como ARIMA, VAR ou métodos …

53 time-series  arima  kalman-filter  var 

Este post é a continuação de outro post relacionado a um método genérico para detecção de outlier em séries temporais . Basicamente, neste ponto, estou interessado em uma maneira robusta de descobrir a periodicidade / sazonalidade de uma série temporal genérica afetada por muito ruído. Do ponto de vista do …

53 time-series  algorithms  frequency  real-time 

Na maioria dos códigos de fluxo de tensão, o Adam Optimizer é usado com uma taxa de aprendizado constante de 1e-4(ou seja, 0,0001). O código geralmente tem a seguinte aparência: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

O que significa ter "variação constante" no termo de erro? A meu ver, temos dados com uma variável dependente e uma variável independente. A variação constante é um dos pressupostos da regressão linear. Estou imaginando o que significa homoscedasticidade. Como mesmo se eu tiver 500 linhas, eu teria um único …

53 regression  heteroscedasticity 

Já tínhamos várias perguntas sobre dados desequilibrados ao usar regressão logística , SVM , árvores de decisão , empacotamento e várias outras perguntas semelhantes, o que o torna um tópico muito popular! Infelizmente, cada uma das perguntas parece ser específica do algoritmo e não encontrei nenhuma orientação geral para lidar …

53 machine-learning  classification  predictive-models  unbalanced-classes 

Suponho que fico frustrado toda vez que ouço alguém dizer que a não normalidade de resíduos e / ou heterocedasticidade viola as suposições do OLS. Para estimar parâmetros em um modelo OLS, nenhuma dessas suposições é necessária pelo teorema de Gauss-Markov. Vejo como isso é importante no Teste de Hipóteses …

52 regression  assumptions  normality-assumption  robust  teaching