10 commandes Pandas incontournables pour les data scientists

Pandas est une bibliothèque Python populaire et largement utilisée pour la manipulation et l’analyse des données, car elle fournit des outils pour travailler avec des données structurées, comme des tables et des séries chronologiques, ce qui en fait un outil essentiel pour le prétraitement des données.

Que vous nettoyiez des données, examiniez des ensembles de données ou prépariez les données pour l’apprentissage automatique, Pandas est votre bibliothèque de prédilection. Cet article présente les bases de Pandas et explore 10 commandes essentielles pour les débutants.

Qu’est-ce que les pandas ?

Pandas est une bibliothèque Python open-source conçue pour la manipulation et l’analyse de données, qui est construite sur NumPy, une autre bibliothèque Python pour l’informatique numérique.

Pandas introduit deux structures de données principales :

Série : Un tableau étiqueté unidimensionnel capable de contenir n’importe quel type de données (par exemple, des entiers, des chaînes, des flottants).
DataFrame : structure de données étiquetée bidimensionnelle, similaire à une feuille de calcul ou à une table SQL, où les données sont organisées en lignes et en colonnes.

Pour utiliser Pandas, vous devez d’abord l’installer à l’aide du gestionnaire de paquets pip :

pip install pandas

Une fois installé, importez-le dans votre script Python :

import pandas as pd

L’alias est couramment utilisé pour rendre les commandes Pandas plus courtes et plus faciles à écrire.

Plongeons maintenant dans les commandes essentielles !

1. Chargement des données

Avant de travailler avec des données, vous devez les charger dans un DataFrame Pandas à l’aide de la fonction read_csv(), qui est couramment utilisée pour charger des fichiers CSV :

data = pd.read_csv('data.csv')
print(data.head())

read_csv('data.csv') : lit le fichier CSV dans un DataFrame.
head() : Affiche les cinq premières lignes du DataFrame.

Cette commande est cruciale pour démarrer toute tâche de prétraitement de données.

2. Affichage des données

Pour comprendre votre jeu de données, vous pouvez utiliser les commandes suivantes :

head(n) : affiche les n premières lignes du DataFrame.
tail(n) : affiche les n dernières lignes du DataFrame.
info() : Obtient un résumé du DataFrame, y compris les noms de colonnes, les nombres non nuls et les types de données.
describe() : Obtient des résumés statistiques des colonnes numériques.

Ces commandes vous permettent d’évaluer rapidement la structure et le contenu de vos données.

print(data.info())
print(data.describe())

3. Sélection des données

Pour sélectionner des lignes ou des colonnes spécifiques, utilisez les méthodes suivantes :

Sélectionnez une seule colonne :

column_data = data['ColumnName']

Sélectionnez plusieurs colonnes :

selected_data = data[['Column1', 'Column2']]

Sélectionnez les lignes à l’aide du découpage :

rows = data[10:20]  # Rows 10 to 19

Sélectionnez des lignes et des colonnes à l’aide de loc ou iloc :

# By labels (loc)
subset = data.loc[0:5, ['Column1', 'Column2']]

By index positions (iloc)
subset = data.iloc[0:5, 0:2]

4. Filtrage des données

Le filtrage vous permet de sélectionner des lignes en fonction de conditions.

filtered_data = data[data['ColumnName'] > 50]

Vous pouvez combiner plusieurs conditions à l’aide de & (AND) ou | (OR) :

filtered_data = data[(data['Column1'] > 50) & (data['Column2'] < 100)]

Ceci est utile pour restreindre votre ensemble de données aux lignes pertinentes.

5. Ajouter ou modifier des colonnes

Vous pouvez créer de nouvelles colonnes ou modifier des colonnes existantes :

Ajoutez une nouvelle colonne :

data['NewColumn'] = data['Column1'] + data['Column2']

Modifier une colonne existante :

data['Column1'] = data['Column1'] * 2

Ces opérations sont essentielles pour l’ingénierie des fonctionnalités et la transformation des données.

6. Gestion des données manquantes

Les ensembles de données du monde réel contiennent souvent des valeurs manquantes et Pandas fournit des outils pour les gérer :

Vérifiez les valeurs manquantes :

print(data.isnull().sum())

Supprimez les lignes ou les colonnes avec des valeurs manquantes :

data = data.dropna()
data = data.dropna(axis=1)

Remplissez les valeurs manquantes :

data['ColumnName'] = data['ColumnName'].fillna(0)
data['ColumnName'] = data['ColumnName'].fillna(data['ColumnName'].mean())

La gestion des données manquantes garantit que votre ensemble de données est propre et prêt à être analysé.

7. Tri des données

Pour trier votre ensemble de données par une ou plusieurs colonnes, utilisez la fonction sort_values() :

sorted_data = data.sort_values(by='ColumnName', ascending=True)

Pour plusieurs colonnes :

sorted_data = data.sort_values(by=['Column1', 'Column2'], ascending=[True, False])

Le tri est utile pour organiser les données et trouver des modèles.

8. Regroupement des données

La fonction groupby() permet de regrouper des données et d’effectuer des opérations d’agrégation :

grouped_data = data.groupby('ColumnName')['AnotherColumn'].sum()

Les fonctions d’agrégation courantes sont les suivantes :

sum() : Somme des valeurs.
mean() : Moyenne des valeurs.
count() : Nombre de valeurs non nulles.

Exemple:

grouped_data = data.groupby('Category')['Sales'].mean()

Cette commande est essentielle pour synthétiser les données.

9. Fusion et jonction de DataFrames

Pour combiner plusieurs DataFrames, utilisez les méthodes suivantes :

Concaténer:

combined_data = pd.concat([data1, data2], axis=0)

Fusionner:

merged_data = pd.merge(data1, data2, on='KeyColumn')

Unir:

joined_data = data1.join(data2, how='inner')

Ces opérations vous permettent de combiner des jeux de données pour une analyse complète.

10. Exportation des données

Après avoir traité vos données, vous devrez peut-être les enregistrer à l’aide de la fonction to_csv() :

data.to_csv('processed_data.csv', index=False)

Cette commande enregistre le DataFrame dans un fichier CSV sans la colonne d’index. Vous pouvez également exporter vers d’autres formats tels qu’Excel, JSON ou SQL.

Conclusion

Pandas est un outil indispensable pour le prétraitement des données, offrant un large éventail de fonctions pour manipuler et analyser les données.

Les 10 commandes couvertes dans cet article fournissent une base solide pour que les débutants commencent à travailler avec Pandas. Au fur et à mesure que vous vous entraînez et explorez davantage, vous découvrirez tout le potentiel de cette puissante bibliothèque.