TP 2.2 Pandas.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "3a67b38b-fcd1-434e-ad30-df69a0c66b6c",
   "metadata": {},
   "source": [
    "# TP Pandas"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0b0af9c5-b973-4db0-a972-01347b692347",
   "metadata": {},
   "source": [
    "<b>Pandas</b> est une <a href=\"/wiki/Biblioth%C3%A8que_logicielle\" title=\"Bibliothèque logicielle\">bibliothèque</a> écrite pour le langage de programmation <a href=\"/wiki/Python_(langage)\" title=\"Python (langage)\">Python</a> permettant la manipulation et l'<a href=\"/wiki/Analyse_des_donn%C3%A9es\" title=\"Analyse des données\">analyse des données</a>. Elle propose en particulier des <a href=\"/wiki/Structure_de_donn%C3%A9es\" title=\"Structure de données\">structures de données</a> et des opérations de manipulation de <a href=\"/wiki/Tableau_(structure_de_donn%C3%A9es)\" title=\"Tableau (structure de données)\">tableaux numériques</a> et de <a href=\"/wiki/S%C3%A9rie_temporelle\" title=\"Série temporelle\">séries temporelles</a>. \n",
    "</p><p>Pandas est un <a href=\"/wiki/Logiciel_libre\" title=\"Logiciel libre\">logiciel libre</a> sous <a href=\"/wiki/Licence_BSD\" title=\"Licence BSD\">licence BSD</a><sup id=\"cite_ref-2\" class=\"reference\"><a href=\"#cite_note-2\"><span class=\"cite_crochet\">[</span>2<span class=\"cite_crochet\">]</span></a></sup>. Son nom est dérivé du terme <i>Panel Data</i> (en français \"<a href=\"/wiki/Donn%C3%A9es_de_panel\" title=\"Données de panel\">données de panel</a>\", un terme d'<a href=\"/wiki/%C3%89conom%C3%A9trie\" title=\"Économétrie\">économétrie</a> pour les <a href=\"/wiki/Jeu_de_donn%C3%A9es\" title=\"Jeu de données\">jeux de données</a> qui comprennent des observations sur plusieurs périodes de temps pour les mêmes individus). Son nom est également un jeu de mots sur l'expression \"Python Data Analysis\".\n",
    "</p><p>Entre 2007 à 2010, Wes McKinney a commencé à construire ce qui allait devenir Pandas alors qu'il était chercheur dans la société américaine AQR Capital.\n",
    "</p>\n",
    "<mw:tocplace></mw:tocplace>\n",
    "<h2><span id=\"Structures_de_donn.C3.A9es\"></span><span class=\"mw-headline\" id=\"Structures_de_données\">Structures de données</span></h2>\n",
    "<p>Les principales structures de données gérées par cette bibliothèque sont&nbsp;:\n",
    "</p>\n",
    "<ul><li><a href=\"/wiki/S%C3%A9rie_(math%C3%A9matiques)\" title=\"Série (mathématiques)\">séries</a>&nbsp;: stockage des données selon une <a href=\"/wiki/Dimension\" class=\"mw-disambig\" title=\"Dimension\">dimension</a> - grandeur en fonction d'un index</li>\n",
    "<li>DataFrames&nbsp;: stockage des données selon 2 dimensions - lignes et colonnes</li>\n",
    "<li>Panels&nbsp;: représentation des données selon 3 dimensions</li>\n",
    "<li>Panels4D ou DataFrames avec des index hiérarchiques aussi nommés MultiIndex&nbsp;: représentation des données selon plus de 3 dimensions - <a href=\"/wiki/Hypercube\" title=\"Hypercube\">hypercube</a>.</li></ul>\n",
    "<h2><span id=\"Fonctionnalit.C3.A9s_de_la_biblioth.C3.A8que\"></span><span class=\"mw-headline\" id=\"Fonctionnalités_de_la_bibliothèque\">Fonctionnalités de la bibliothèque</span></h2>\n",
    "<ul><li>l'objet DataFrame pour manipuler des données aisément et efficacement avec des index pouvant être des chaines de caractères&nbsp;;</li>\n",
    "<li>des outils pour lire et écrire des données structurées en mémoire depuis et vers différents formats&nbsp;: <a href=\"/wiki/Comma-separated_values\" title=\"Comma-separated values\">fichiers CSV</a>, fichiers textuels, fichier du tableur <a href=\"/wiki/Microsoft_Excel\" title=\"Microsoft Excel\">Microsoft Excel</a>, <a href=\"/wiki/Base_de_donn%C3%A9es\" title=\"Base de données\">base de données</a> <a href=\"/wiki/SQL\" class=\"mw-redirect\" title=\"SQL\">SQL</a> ou le format rapide et permettant de gérer de gros volume de données nommé <a href=\"/wiki/HDF5\" class=\"mw-redirect\" title=\"HDF5\">HDF5</a>&nbsp;;</li>\n",
    "<li>alignement intelligent des données et gestion des données manquantes (NaN = not a number). alignement des données basé sur des étiquettes (chaines de caractères). tri selon divers critères de données totalement désordonnées&nbsp;;</li>\n",
    "<li>Redimensionnement et <a href=\"/wiki/Tableau_crois%C3%A9_dynamique\" title=\"Tableau croisé dynamique\">table pivot ou pivot table en anglais (aussi nommé tableau croisé dynamique)</a>&nbsp;;</li>\n",
    "<li><a href=\"/wiki/Fusion_de_donn%C3%A9es\" title=\"Fusion de données\">Fusion</a> et <a href=\"/wiki/Jointure_(informatique)\" title=\"Jointure (informatique)\">jointure</a> de large volume de données</li>\n",
    "<li>Analyse de séries temporelles</li></ul>\n",
    "<p>Les voies critiques de la bibliothèque sont écrits en <a href=\"/wiki/Cython\" title=\"Cython\">Cython</a> ou <a href=\"/wiki/C_(langage)\" title=\"C (langage)\">C</a><sup id=\"cite_ref-3\" class=\"reference\"><a href=\"#cite_note-3\"><span class=\"cite_crochet\">[</span>3<span class=\"cite_crochet\">]</span></a></sup>.\n",
    "</p>\n",
    "<br>Source : wikipedia"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2c2d3d62-902a-48e2-bf82-ab31deceb496",
   "metadata": {},
   "source": [
    "# 1 création de données"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "2575c856-0a09-4621-9b65-2d352052174f",
   "metadata": {},
   "outputs": [],
   "source": [
    "# import de librairies\n",
    "import pandas as pd\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "#Affichage avec la bibliothèque graphique intégrée à Notebook\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "db649027-a70e-4638-85aa-2a406d682c96",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>City</th>\n",
       "      <th>Colors Reported</th>\n",
       "      <th>Shape Reported</th>\n",
       "      <th>State</th>\n",
       "      <th>Time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Ithaca</td>\n",
       "      <td>NaN</td>\n",
       "      <td>TRIANGLE</td>\n",
       "      <td>NY</td>\n",
       "      <td>6/1/1930 22:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Willingboro</td>\n",
       "      <td>NaN</td>\n",
       "      <td>OTHER</td>\n",
       "      <td>NJ</td>\n",
       "      <td>6/30/1930 20:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Holyoke</td>\n",
       "      <td>NaN</td>\n",
       "      <td>OVAL</td>\n",
       "      <td>CO</td>\n",
       "      <td>2/15/1931 14:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Abilene</td>\n",
       "      <td>NaN</td>\n",
       "      <td>DISK</td>\n",
       "      <td>KS</td>\n",
       "      <td>6/1/1931 13:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>New York Worlds Fair</td>\n",
       "      <td>NaN</td>\n",
       "      <td>LIGHT</td>\n",
       "      <td>NY</td>\n",
       "      <td>4/18/1933 19:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18236</th>\n",
       "      <td>Grant Park</td>\n",
       "      <td>NaN</td>\n",
       "      <td>TRIANGLE</td>\n",
       "      <td>IL</td>\n",
       "      <td>12/31/2000 23:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18237</th>\n",
       "      <td>Spirit Lake</td>\n",
       "      <td>NaN</td>\n",
       "      <td>DISK</td>\n",
       "      <td>IA</td>\n",
       "      <td>12/31/2000 23:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18238</th>\n",
       "      <td>Eagle River</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>WI</td>\n",
       "      <td>12/31/2000 23:45</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18239</th>\n",
       "      <td>Eagle River</td>\n",
       "      <td>RED</td>\n",
       "      <td>LIGHT</td>\n",
       "      <td>WI</td>\n",
       "      <td>12/31/2000 23:45</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18240</th>\n",
       "      <td>Ybor</td>\n",
       "      <td>NaN</td>\n",
       "      <td>OVAL</td>\n",
       "      <td>FL</td>\n",
       "      <td>12/31/2000 23:59</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>18241 rows × 5 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                       City Colors Reported Shape Reported State  \\\n",
       "0                    Ithaca             NaN       TRIANGLE    NY   \n",
       "1               Willingboro             NaN          OTHER    NJ   \n",
       "2                   Holyoke             NaN           OVAL    CO   \n",
       "3                   Abilene             NaN           DISK    KS   \n",
       "4      New York Worlds Fair             NaN          LIGHT    NY   \n",
       "...                     ...             ...            ...   ...   \n",
       "18236            Grant Park             NaN       TRIANGLE    IL   \n",
       "18237           Spirit Lake             NaN           DISK    IA   \n",
       "18238           Eagle River             NaN            NaN    WI   \n",
       "18239           Eagle River             RED          LIGHT    WI   \n",
       "18240                  Ybor             NaN           OVAL    FL   \n",
       "\n",
       "                   Time  \n",
       "0        6/1/1930 22:00  \n",
       "1       6/30/1930 20:00  \n",
       "2       2/15/1931 14:00  \n",
       "3        6/1/1931 13:00  \n",
       "4       4/18/1933 19:00  \n",
       "...                 ...  \n",
       "18236  12/31/2000 23:00  \n",
       "18237  12/31/2000 23:00  \n",
       "18238  12/31/2000 23:45  \n",
       "18239  12/31/2000 23:45  \n",
       "18240  12/31/2000 23:59  \n",
       "\n",
       "[18241 rows x 5 columns]"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Pandas permet de récupérer directement des données tabulaires en ligne, par exemple\n",
    "url = 'http://bit.ly/uforeports'\n",
    "df_ufo = pd.read_csv(url)            \n",
    "df_ufo "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "aed2317e-180c-4148-9804-bfc3bb97738f",
   "metadata": {},
   "source": [
    "# 2 Transformations"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "18c9e04d-8ce9-481f-af32-9559e8853943",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Convertissez la colonne Time au format datetime, afin que pandas puisse exploiter ces données comme une série temporelle\n",
    "# renommez cette colonne Date et mettez cette colonne en index"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "8b0c2e41-0f16-4012-95cd-7a349c178275",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_ufo.index = pd.to_datetime(df_ufo.Time)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "f704db70-6c46-432a-99c1-f5cb62b645b6",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Remplacez les valeurs NaN par des chaines vides"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3fdb52a6-c292-4ed7-a067-f1a6ff5bb85c",
   "metadata": {},
   "source": [
    "# 3 Analyse"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "id": "06bf5769-f322-4bd2-b242-41ef23271557",
   "metadata": {},
   "outputs": [],
   "source": [
    "# combien d'observations ont été faites en 2000 ? en 1969 ? (on peut utiliser les fonctions de datetime : df_ufo.index.year)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "37ade5b1-1a1d-4004-973b-1820011c8919",
   "metadata": {},
   "outputs": [],
   "source": [
    "# quels sont les mois ou il y a le plus d'observations ? Pouvez-vous expliquer le résultat ?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "6a0f25cd-da2d-430c-9e13-348dbf5a4d61",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "f21cf77e-16b1-489d-8cf8-5bdbaba32399",
   "metadata": {
    "tags": []
   },
   "source": [
    "# 4 Visualisation"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "fce29872-a806-4f9a-91f9-0dd44ae0c2dd",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Tracez la courbe du nombre d'observations par année"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "aca35c8e-77f9-47ae-8e83-e972277ab34d",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c889677d-0946-4183-9bd4-67a8f9f3f37f",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}