Perguntas com a marcação «dataframe»

Eu só estou querendo saber qual é a diferença entre um RDDe DataFrame (Spark 2.0.0 DataFrame é um mero tipo de alias para Dataset[Row]) no Apache Spark? Você pode converter um para o outro?

257 dataframe  apache-spark  apache-spark-sql  rdd  apache-spark-dataset 

Como obtenho o nome da coluna de índice nos pandas python? Aqui está um exemplo de quadro de dados: Column 1 Index Title Apples 1 Oranges 2 Puppies 3 Ducks 4 O que estou tentando fazer é obter / definir o título do índice do quadro de dados. Aqui está …

255 python  pandas  dataframe  columnname 

Eu gostaria de pegar os dados do formulário before = data.frame(attr = c(1,30,4,6), type=c('foo_and_bar','foo_and_bar_2')) attr type 1 1 foo_and_bar 2 30 foo_and_bar_2 3 4 foo_and_bar 4 6 foo_and_bar_2 e use split()na coluna " type" acima para obter algo parecido com isto: attr type_1 type_2 1 1 foo bar 2 30 …

245 r  string  dataframe  split  r-faq 

Fechadas. Esta pergunta não é reproduzível ou foi causada por erros de digitação . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico do Stack Overflow. Fechado no ano passado . Melhore esta pergunta Tenho alguns problemas com a função …

239 python  python-2.7  pandas  dataframe  apply 

É possível vincular linhas a dois quadros de dados que não possuem o mesmo conjunto de colunas? Espero manter as colunas que não coincidem após o vínculo.

232 r  dataframe  r-faq 

Eu tenho dois quadros de dados de pandas que têm algumas linhas em comum. Suponha que dataframe2 seja um subconjunto de dataframe1. Como posso obter as linhas do dataframe1 que não estão no dataframe2? df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5], 'col2' : [10, 11, 12, …

229 python  pandas  dataframe 

Eu tenho um quadro de dados em pandas onde cada coluna tem um intervalo de valores diferente. Por exemplo: df: A B C 1000 10 0.5 765 5 0.35 800 7 0.09 Alguma idéia de como posso normalizar as colunas desse quadro de dados em que cada valor está entre …

227 python  pandas  dataframe  normalize 

Em R, quando você precisa recuperar um índice de coluna com base no nome da coluna, você pode fazer idx <- which(names(my_data)==my_colum_name) Existe uma maneira de fazer o mesmo com os quadros de dados do pandas?

220 python  pandas  dataframe  indexing 

Eu tenho um Dataframe do Pandas, como mostrado abaixo: 1 2 3 0 a NaN read 1 b l unread 2 c NaN read Quero remover os valores NaN com uma string vazia para que fique assim: 1 2 3 0 a "" read 1 b l unread 2 c …

217 python  pandas  dataframe  nan 

Eu tenho um quadro de dados de pandas que se parece com isso (é bem grande) date exer exp ifor mat 1092 2014-03-17 American M 528.205 2014-04-19 1093 2014-03-17 American M 528.205 2014-04-19 1094 2014-03-17 American M 528.205 2014-04-19 1095 2014-03-17 American M 528.205 2014-04-19 1096 2014-03-17 American M 528.205 …

214 python  pandas  updates  dataframe 

Suponha que eu tenha dois DataFrames como este: left = pd.DataFrame({'key1': ['foo', 'bar'], 'lval': [1, 2]}) right = pd.DataFrame({'key2': ['foo', 'bar'], 'rval': [4, 5]}) Quero mesclá-los, então tento algo assim: pd.merge(left, right, left_on='key1', right_on='key2') E eu estou feliz key1 lval key2 rval 0 foo 1 foo 4 1 bar 2 …

208 python  pandas  dataframe  join 

Estou usando esse quadro de dados: Fruit Date Name Number Apples 10/6/2016 Bob 7 Apples 10/6/2016 Bob 8 Apples 10/6/2016 Mike 9 Apples 10/7/2016 Steve 10 Apples 10/7/2016 Bob 1 Oranges 10/7/2016 Bob 2 Oranges 10/6/2016 Tom 15 Oranges 10/6/2016 Mike 57 Oranges 10/6/2016 Bob 65 Oranges 10/7/2016 Tony 1 …

206 python  pandas  dataframe  group-by  aggregate 

Estou usando o spark-csv para carregar dados em um DataFrame. Quero fazer uma consulta simples e exibir o conteúdo: val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv") df.registerTempTable("tasks") results = sqlContext.sql("select col from tasks"); results.show() A coluna parece truncada: scala> results.show(); +--------------------+ | col| +--------------------+ |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| …

201 apache-spark  dataframe  spark-csv  output-formatting 

Eu tenho um pandas dataframeem que uma coluna de seqüências de texto contém valores separados por vírgula. Quero dividir cada campo CSV e criar uma nova linha por entrada (suponha que o CSV esteja limpo e só precise ser dividido em ','). Por exemplo, adeve se tornar b: In [7]: …

200 python  pandas  numpy  dataframe 

Eu tenho um quadro de dados pandas com poucas colunas. Agora eu sei que certas linhas são discrepantes com base em um determinado valor de coluna. Por exemplo a coluna 'Vol' tem todos os valores ao redor 12xxe um valor é 4000(outlier). Agora eu gostaria de excluir as linhas que …

197 python  pandas  filtering  dataframe  outliers