Ciência de dados

Eu tenho um site no qual os usuários classificam coisas em um sistema de 1 a 5 estrelas. Quando um item chega ao topo dos gráficos, alguns usuários tendem a começar a classificá-lo com 1 estrela, mesmo que tenha uma maioria de 4-5 estrelas para chegar onde está. Não é …

7 statistics  normalization 

Eu tenho um banco de dados de cerca de 200 documentos que são ngrams que eu extraí. Quero encontrar o documento no meu banco de dados que seja mais semelhante a um documento de consulta. Em outras palavras, desejo encontrar o documento no banco de dados que compartilhe o maior …

7 nlp  similarity  search  information-retrieval 

Uma suposição básica no aprendizado de máquina é que os dados de treinamento e teste são obtidos da mesma população e, portanto, seguem a mesma distribuição. Mas, na prática, isso é altamente improvável. O turno covariável aborda esse problema. Alguém pode tirar as seguintes dúvidas sobre isso? Como se verifica …

7 machine-learning  classification  dataset  image-classification 

Existe alguma abordagem padrão para detectar a mudança covariável entre os dados de treinamento e teste? Isso seria útil para validar a suposição de que existe mudança covariável no meu banco de dados, que contém algumas centenas de imagens.

7 machine-learning  classification  dataset  image-classification 

Existe um pacote nomeado segmentado em R. Existe um pacote semelhante em python?

7 python  regression  linear-regression 

A taxa de erro de Bayes é um limite teórico que determina a menor taxa de erro possível para um problema de classificação, dados alguns dados. Eu queria saber se existe um conceito equivalente para o caso de algoritmos de regressão. Meu objetivo é determinar a que distância está o …

7 regression  linear-regression 

Eu tenho um conjunto de dados com fragmentos de texto com uma estrutura fixa que pode conter parâmetros. Exemplos são: Temperature today is 20 centigrades Temperature today is 28 centigrades ou Her eyes are blue and hair black. Her eyes are green and hair brown. O primeiro exemplo mostra um …

7 machine-learning  r  nlp 

Eu tenho alguns pontos em , ou seja, a esfera da unidade dimensional incorporada em , e gostaria de projetá-los para , ou seja, a bidimensional esfera unitária (incorporada em ) para visualizá-la com a restrição de que os pontos vizinhos devem estar próximos. Passei algum tempo brincando com t-sne, …

7 machine-learning  dimensionality-reduction  visualization 

Eu tenho um conjunto de dados que quero classificar como fraude / não fraude e tenho muitos alunos fracos. Minha preocupação é que haja muito mais fraude do que não fraude; portanto, meus alunos fracos têm desempenho melhor que a média, mas nenhum desempenho melhor que 50% no conjunto completo. …

7 classification  unbalanced-classes 

Passei por essa comparação de disciplinas analíticas e essa perspectiva de aprendizado de máquina , mas não estou encontrando respostas sobre o seguinte: Como a ciência de dados está relacionada ao aprendizado de máquina? Como isso não está relacionado ao Machine Learning?

7 machine-learning  definitions  knowledge-base 

O objetivo: Eu sou novo em aprendizado de máquina e experimento com redes neurais. Eu gostaria de construir uma rede que tenha como entrada uma série de 5 imagens e preveja a próxima imagem. Meu conjunto de dados é completamente artificial, apenas para minha experimentação. Como ilustração, aqui estão alguns …

7 machine-learning  neural-network 

Comparei os modelos de regressão logística em R ( glm) e Spark (LogisticRegressionWithLBFGS ) em um conjunto de dados de 390 obs. de 14 variáveis. Os resultados são completamente diferentes na interceptação e nos pesos. Como explicar isso? Aqui estão os resultados do Spark (LogisticRegressionWithLBFGS): model.intercept : 1.119830027739959 model.weights : …

7 machine-learning  r  logistic-regression  apache-spark 

Estou interessado em encontrar uma estatística que rastreie a imprevisibilidade de uma série temporal. Por uma questão de simplicidade, suponha que cada valor na série temporal seja 1 ou 0. Portanto, por exemplo, as duas séries temporais a seguir são totalmente previsíveis TS1: 1 1 1 1 1 1 1 …

7 time-series 

Alguém poderia recomendar uma boa medida de similaridade para objetos que possuem várias classes, onde cada classe faz parte de uma hierarquia? Por exemplo, digamos que as classes se pareçam com: 1 Produce 1.1 Eggs 1.1.1 Duck eggs 1.1.2 Chicken eggs 1.2 Milk 1.2.1 Cow milk 1.2.2 Goat milk 2 …

7 similarity 

Pode ser uma pergunta muito ampla com opiniões pesadas, mas estou realmente achando difícil buscar informações sobre a execução de vários algoritmos usando projetos de mineração de dados do SQL Server Analysis Service versus usando R. Isso ocorre principalmente porque todos os profissionais de ciência de dados com quem trabalho …

7 data-mining  r  algorithms