O Pandas é uma das melhores bibliotecas Python para análise de dados. Esta biblioteca open source oferece estrutura de dados de alto nível com um excelente desempenho para simplificar tarefas complicadas de manipulação de dados. Sua grande variedade de ferramentas possibilita traduzir operações complexas com dados em um ou dois comandos, além de possuir métodos internos para agrupar, filtrar e combinar dados.
Conheça agora, os seis truques mais úteis dos Pandas para acelerar sua análise de dados.
- Selecionar colunas por tipo de dados;
- Converter cadeias de caracteres em números;
- Detectar e manipular valores ausentes;
- Converter um recurso numérico contínuo em um recurso categórico;
- Criar um DataFrame a partir da área de transferência;
- Construir um DataFrame a partir de vários arquivos.
Confira aqui o repositório no Github para obter o código-fonte.
1. Selecione colunas por tipos de dados
Aqui estão os tipos de dados do DataFrame Titanic:
df.dtypes PassengerId int64 Survived int64 Pclass int64 Name object Sex object Age float64 SibSp int64 Parch int64 Ticket object Fare float64 Cabin object Embarked object dtype: object
Digamos que você precise selecionar as colunas numéricas.
df.select_dtypes(include='number').head()
Isso inclui as colunas int e float. Você também pode usar esse método para:
- selecionar apenas colunas de objeto;
- selecionar vários tipos de dados;
- excluir certos tipos de dados.
# select just object columns df.select_dtypes(include='object')
# select multiple data types df.select_dtypes(include=['int', 'datetime', 'object']) # exclude certain data types df.select_dtypes(exclude='int')
2. Converta sequências de caracteres em números
Existem dois métodos para converter uma string em números no Pandas:
- O método astype()
- O método to_numeric()
Vamos criar um exemplo de DataFrame para ver a diferença.
df = pd.DataFrame({ 'product': ['A','B','C','D'],
'price': ['10','20','30','40'],
'sales': ['20','-','60','-']
})
As colunas de price e sales são armazenadas como uma cadeia de caracteres e, portanto, resultam em colunas de objeto:
df.dtypes product object price object sales object dtype: object
Podemos usar o primeiro método astype()para realizar a conversão na coluna de price da seguinte maneira:
# Use Python type
df['price'] = df['price'].astype(int)
# alternatively, pass { col: dtype }
df = df.astype({'price': 'int'})
No entanto, isso resultaria em um erro se tentássemos usá-lo na coluna de sales. Para consertar isso, podemos usar to_numeric() com o argumento errors=’coerce’.
df['sales'] = pd.to_numeric(df['sales'], errors='coerce')
Agora, valores inválidos – são convertidos para NaN e o tipo de dado é float.
3. Detectar e manipular valores ausentes
Uma maneira de detectar valores ausentes é usar o método info(). Veja na coluna Non-Null Count.
df.info() RangeIndex: 891 entries, 0 to 890 Data columns (total 12 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 PassengerId 891 non-null int64 1 Survived 891 non-null int64 2 Pclass 891 non-null int64 3 Name 891 non-null object 4 Sex 891 non-null object 5 Age 714 non-null float64 6 SibSp 891 non-null int64 7 Parch 891 non-null int64 8 Ticket 891 non-null object 9 Fare 891 non-null float64 10 Cabin 204 non-null object 11 Embarked 889 non-null object dtypes: float64(2), int64(5), object(5) memory usage: 83.7+ KB
Quando o conjunto de dados é grande, podemos contar o número de valores ausentes. df.isnull().sum() retorna o número de valores ausentes para cada coluna.
df.isnull().sum() PassengerId 0 Survived 0 Pclass 0 Name 0 Sex 0 Age 177 SibSp 0 Parch 0 Ticket 0 Fare 0 Cabin 687 Embarked 2 dtype: int64
df.isnull().sum().sum() retorna o número total de valores ausentes.
df.isnull().sum().sum() 886
Além disso, também podemos descobrir a porcentagem de valores que estão faltando, executando: df.isna().mean()
PassengerId 0.000000 Survived 0.000000 Pclass 0.000000 Name 0.000000 Sex 0.000000 Age 0.198653 SibSp 0.000000 Parch 0.000000 Ticket 0.000000 Fare 0.000000 Cabin 0.771044 Embarked 0.002245 dtype: float64
Eliminando valores ausentes
Para descartar linhas se houver algum valor NaN:
df.dropna(axis = 0)
Para descartar colunas se houver algum valor NaN:
df.dropna(axis = 1)
Para descartar colunas nas quais mais de 10% dos valores estão ausentes:
df.dropna(thresh=len(df)*0.9, axis=1)
Substituindo valores ausentes
Para substituir todos os valores de NaN por um escalar:
df.fillna(value=10)
Para substituir os valores de NaN pelos valores da linha anterior:
df.fillna(axis=0, method='ffill')
Para substituir os valores de NaN pelos valores da coluna anterior:
df.fillna(axis=1, method='ffill')
Você também pode substituir os valores de NaN pelos valores da próxima linha ou coluna:
# Replace with the values in the next row df.fillna(axis=0, method='bfill') # Replace with the values in the next column df.fillna(axis=1, method='bfill')
A outra substituição comum é trocar os valores de NaN pela média. Por exemplo, para substituir os valores de NaN na coluna Idade pela média.
df['Age'].fillna(value=df['Age'].mean(), inplace=True)
4. Converta um recurso numérico contínuo em um recurso categórico
Na etapa de preparação dos dados, é bastante comum combinar ou transformar recursos existentes para criar outro mais útil. Uma das maneiras mais populares é criar um recurso categórico a partir de um recurso numérico contínuo.
Observe a coluna Age do dataset do Titanic:
df['Age'].head(8) 0 22.0 1 38.0 2 26.0 3 35.0 4 35.0 5 NaN 6 54.0 7 2.0 Name: Age, dtype: float64
Age é um atributo numérico contínuo, mas se você desejar convertê-la em um atributo categórico, por exemplo, converta as idades em grupos de faixas etárias: ≤12, Teen (≤18), Adult (≤60) e Older (>60).
A melhor maneira de fazer isso é usando a função Pandas cut():
import sys df['ageGroup']=pd.cut( df['Age'], bins=[0, 13, 19, 61, sys.maxsize], labels=['<12', 'Teen', 'Adult', 'Older'] )
Usar a função head(),na coluna age Group, deverá exibir as informações da coluna.
df['ageGroup'].head(8) 0 Adult 1 Adult 2 Adult 3 Adult 4 Adult 5 NaN 6 Adult 7 <12 Name: ageGroup, dtype: category Categories (4, object): [<12 < Teen < Adult < Older]
5. Crie um DataFrame a partir da área de transferência
A função Pandas read_clipboard() é uma maneira muito útil de inserir dados em um DataFrame de forma rápida..
Suponha que tenhamos os seguintes dados e desejemos criar um DataFrame a partir dele:
product price 0 A 10 1 B 20 2 C 30 4 D 40
Só precisamos selecionar os dados e copiá-los para a área de transferência. Então, podemos usar a função para ler um DataFrame.
df = pd.read_clipboard () df
6. Crie um DataFrame a partir de vários arquivos
Seu dataset pode se espalhar por vários arquivos, mas você pode querer lê-lo em um único DataFrame.
Uma maneira de fazer isso é ler cada arquivo em seu próprio DataFrame, combiná-los e excluir o DataFrame original. Porém, isso seria ineficiente em memória.
Uma solução melhor é usar o módulo interno glob (graças aos truques do Data School Pandas).
Neste caso, glob() estará procurando no diretório de dados, todos os arquivos CSV que começam com a palavra ” data_row_ “. O glob()recupera nomes de arquivos em uma ordem arbitrária, e é por isso que classificamos a lista usando a função sort().
Para dados em linha
Digamos que nosso dataset esteja distribuído por 2 arquivos em linhas: data_row_1.csv e data_row_2.csv.
Para criar um DataFrame a partir dos 2 arquivos:
files = sorted(glob('data/data_row_*.csv'))
pd.concat((pd.read_csv(file) for file in files), ignore_index=True)
sorted(glob(‘data/data_row_*.csv’)) recupera nomes de arquivos. Depois disso, lemos cada um dos arquivos usando read_csv()e passamos os resultados para a função concat(), que conectará as linhas em um único DataFrame. Além disso, para evitar um valor duplicado no índice, dizemos ao concat()que ignore o index (ignore_index=True) e, em vez disso, use o índice inteiro padrão.
Para dados em colunas
Digamos que nosso dataset esteja distribuído em 2 arquivos em colunas: data_col_1.csv e data_col_2.csv.
Para criar um DataFrame a partir dos 2 arquivos:
files = sorted(glob('data/data_col_*.csv'))
pd.concat((pd.read_csv(file) for file in files), axis=1)
Desta vez, dizemos à função concat() para conectar ao longo do eixo das colunas.
————-
Isso é tudo!
Obrigado pela leitura e continue acompanhando nossos postagens em Data Science.
Texto original: B. Chen
