Perguntas com a marcação «pandas»

Eu tenho um arquivo de temperatura com registros de temperatura de muitos anos, em um formato como abaixo: 2012-04-12,16:13:09,20.6 2012-04-12,17:13:09,20.9 2012-04-12,18:13:09,20.6 2007-05-12,19:13:09,5.4 2007-05-12,20:13:09,20.6 2007-05-12,20:13:09,20.6 2005-08-11,11:13:09,20.6 2005-08-11,11:13:09,17.5 2005-08-13,07:13:09,20.6 2006-04-13,01:13:09,20.6 Cada ano tem diferentes números, tempo dos registros, então os índices de data e hora dos pandas são todos diferentes. Quero representar …

92 python  matplotlib  pandas 

Ambiente: Python 2.7, matplotlib 1.3, IPython notebook 1.1, linux, chrome. O código está em uma única célula de entrada, usando--pylab=inline Quero usar notebook IPython e pandas para consumir um stream e atualizar dinamicamente um gráfico a cada 5 segundos. Quando eu apenas uso a instrução print para imprimir os dados …

92 python  matplotlib  pandas  ipython  ipython-notebook 

Tenho notado um desempenho muito fraco ao usar iterrows de pandas. Isso é algo experimentado por outras pessoas? É específico para iterrows e essa função deve ser evitada para dados de um determinado tamanho (estou trabalhando com 2-3 milhões de linhas)? Essa discussão no GitHub me levou a acreditar que …

92 python  performance  pandas  iteration 

Fiquei preso em algo que parece que deveria ser relativamente fácil. O código que trago abaixo é um exemplo baseado em um projeto maior no qual estou trabalhando. Não vi motivo para postar todos os detalhes, então aceite as estruturas de dados que trago como estão. Basicamente, estou criando um …

92 python  python-2.7  pandas  matplotlib  data-visualization 

Digamos que eu tenha um log de atividade do usuário e desejo gerar um relatório de duração total e o número de usuários únicos por dia. import numpy as np import pandas as pd df = pd.DataFrame({'date': ['2013-04-01','2013-04-01','2013-04-01','2013-04-02', '2013-04-02'], 'user_id': ['0001', '0001', '0002', '0002', '0002'], 'duration': [30, 15, 20, 15, …

92 python  pandas 

Eu tenho um quadro de dados de vários índices com colunas 'A' e 'B'. Existe uma maneira de selecionar linhas filtrando em uma coluna do multi-índice sem redefinir o índice para um índice de coluna única? Por exemplo. # has multi-index (A,B) df #can I do this? I know this …

92 python  pandas  dataframe  multi-index 

Estou explorando a mudança para python e pandas como um usuário SAS de longa data. No entanto, ao executar alguns testes hoje, fiquei surpreso que python ficou sem memória ao tentar pandas.read_csv()um arquivo csv de 128 MB. Ele tinha cerca de 200.000 linhas e 200 colunas de dados principalmente numéricos. …

91 python  pandas  sas 

Estou fazendo alguma prática de código e aplicando mesclagem de quadros de dados enquanto faço isso, recebendo um aviso do usuário /usr/lib64/python2.7/site-packages/pandas/core/frame.py:6201: FutureWarning: classificação porque o eixo de não concatenação não está alinhado. Uma versão futura do pandas mudará para não classificar por padrão. Para aceitar o comportamento futuro, passe …

91 python  pandas 

Quando há um DataFrame como o seguinte: import pandas as pd df = pd.DataFrame([1, 1, 1, 1, 1], index=[100, 29, 234, 1, 150], columns=['A']) Como posso classificar esse dataframe por índice com cada combinação de índice e valor de coluna intacta?

91 python  pandas 

Como posso exportar uma lista de DataFrames para uma planilha do Excel? Os documentos para o to_excelestado: Observações Se passar um objeto ExcelWriter existente, a planilha será adicionada à pasta de trabalho existente. Isso pode ser usado para salvar diferentes DataFrames em uma pasta de trabalho writer = ExcelWriter('output.xlsx') df1.to_excel(writer, …

91 python  pandas  openpyxl 

Suponha que eu tenha um dicionário aninhado 'user_dict' com a estrutura: Nível 1: UserId (número inteiro longo) Nível 2: Categoria (String) Nível 3: Atributos variados (flutuadores, ints, etc.) Por exemplo, uma entrada deste dicionário seria: user_dict[12] = { "Category 1": {"att_1": 1, "att_2": "whatever"}, "Category 2": {"att_1": 23, "att_2": "another"}} …

90 python  pandas  dataframe  multi-index 

Estou tentando fazer um gráfico de dispersão simples em pyplot usando um objeto Pandas DataFrame, mas quero uma maneira eficiente de plotar duas variáveis, mas tem os símbolos ditados por uma terceira coluna (chave). Eu tentei várias maneiras usando df.groupby, mas não com sucesso. Um exemplo de script df está …

90 python  matplotlib  pandas 

Eu quero usar arquivos do Excel para armazenar dados elaborados com python. Meu problema é que não consigo adicionar planilhas a um arquivo excel existente. Aqui, sugiro um código de amostra para trabalhar a fim de resolver esse problema import pandas as pd import numpy as np path = r"C:\Users\fedel\Desktop\excelData\PhD_data.xlsx" …

90 python  pandas  openpyxl  xlsxwriter 

Freqüentemente, preciso aplicar uma função aos grupos de um muito grande DataFrame(de tipos de dados mistos) e gostaria de tirar proveito de vários núcleos. Posso criar um iterador a partir dos grupos e usar o módulo de multiprocessamento, mas não é eficiente porque cada grupo e os resultados da função …

89 python  pandas  multiprocessing  shared-memory 

Eu tenho um dataframe como este: cluster org time 1 a 8 1 a 6 2 h 34 1 c 23 2 d 74 3 w 6 Eu gostaria de calcular a média de tempo por organização por cluster. Resultado esperado: cluster mean(time) 1 15 ((8+6)/2+23)/2 2 54 (74+34)/2 3 …

89 python  pandas  group-by  mean