Theo/pipeline_DL.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "source": [
    "# PIPELINE RESUME DEEP LEARNING\n",
    "\n",
    "**Bonjour** et **bienvenue** dans ce Jupyter de pipeline résumé via des méthodes de Deep Learning. Veillez bien à avoir le fichier __fats.py__ dans votre dossier pour l'importer correctement. Décommenter la 1ère cellule si besoin pour installer les packages requis.\n",
    "\n",
    "Vérifiez de bien avoir le fichier __MLSUM_fr_test.pickle__ (ou un autre fichier contenant des paragraphes à résumer, attention à la dimension) ainsi que le tokenizer (ou un tokenizer, suivant le texte que vous utilisez)."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "source": [
    "# A faire tourner que si vous n'avez pas déjà installé les packages nécessaires\r\n",
    "!pip install gensim==3.8.3\r\n",
    "!pip install unidecode\r\n",
    "!pip install torch\r\n",
    "!pip install sentencepiece\r\n",
    "!pip install transformers\r\n",
    "!pip install bs4\r\n",
    "!pip install networkx"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "source": [
    "import os\r\n",
    "\r\n",
    "#Indiquez votre chemin vers votre dossier contenant le git\r\n",
    "os.chdir('C:\\\\Users\\\\theo.roudil-valentin\\\\Documents\\\\Codes')"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "source": [
    "import warnings\r\n",
    "warnings.filterwarnings('ignore')\r\n",
    "\r\n",
    "import pickle\r\n",
    "from tqdm import tqdm\r\n",
    "\r\n",
    "os.chdir(\"2021-NLP_AE\\\\Theo\") \r\n",
    "texte=pickle.load(open('Paragraphes_exemple.pickle','rb')) # Veillez à bien avoir le fichier test en question pour pouvoir reproduire l'exemple\r\n",
    "\r\n",
    "from transformers import CamembertModel\r\n",
    "camem=CamembertModel.from_pretrained(\"camembert-base\")\r\n",
    "\r\n",
    "import fats"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "source": [
    "tok='MLSUM_tokenizer.model' # choix du tokenizer\r\n",
    "\r\n",
    "name='Net' #Quel modèle voulez-vous utiliser ?"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "source": [
    "os.chdir(\"Model\")\r\n",
    "r=fats.make_DL_resume(texte, # une liste de phrases ou une liste de listes de phrases.\r\n",
    "                    cpu=1, # nombre de cpu à utiliser, je conseille peu de cpu pour garder de la mémoire.\r\n",
    "                    choose_model=name, # le nom du modèle à aller chercher. si vous ne les connaissez pas, \r\n",
    "                    #ne mettez rien et l'erreur affichera les noms des modèles.\r\n",
    "                    k=3, # nombre de phrases à retenir\r\n",
    "                    camem=camem, # le modèle camembert que vous utilisez, par défaut le modèle from_pretrained('camembert_base') sera utilisé\r\n",
    "                    vs=12000, # taille du vocabulaire pour l'encoding, paramètre pour le tokenizer. Fixé à 12000 par convenance.\r\n",
    "                    sp=1, # split, fixé à 1 car cette fonction n'est pas pour l'entraînement.\r\n",
    "                    tok=tok, # le chemin vers le tokenizer, par défaut 'MLSUM_tokenizer.model', \r\n",
    "                    #faîtes donc bien attention à changer le chemin os vers le bon dossier au début du Notebook\r\n",
    "                    tr=False, # dummy pour l'entraînement, fixé à False donc.\r\n",
    "                    get_score_only=False, # dummy pour ne récupérer que les index des phrases et non les phrases elles-mêmes.\r\n",
    "                    x=4,\r\n",
    "                    time_=False)"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "source": [
    "r"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "[['carl recine reuters liverpool sommet europe ennui',\n",
       "  'cette rencontre restera comme bon souvenir peu moins pour tottenham qui vivait premiere finale ligue des champions vraiment pousse que dans dernier quart heure',\n",
       "  'est ennuye ferme sous les temperatures caniculaires stade metropolitano'],\n",
       " ['cette fois portier des reds avait main ferme',\n",
       "  'azlpa djlv rmcsport rmc sport',\n",
       "  'seconde periode ete legerement plus emballante lorsque tottenham rescape tant situations desesperees cette saison tente provoquer nouveau destin'],\n",
       " ['ces trajets multiples entre les sciences les litteratures les vocables les natures image meme philosophe trouve modifiee',\n",
       "  'michel serres aura sans doute rendu philosophie francaise son sens rencontre imprevu jeu',\n",
       "  'dirigeant cette vaste entreprise que tout paraissait devoir rendre impossible michel serres faisait pas seulement oeuvre memoire reviviscence'],\n",
       " ['michel serres ecrit beaucoup tous les matins aube leve heures quoi advienne jusqu midi',\n",
       "  'demission retour lycee',\n",
       "  'risque faire trop oublier parfois que les lois ecriture sont pas celles improvisation orale'],\n",
       " ['structuraliste serres disons bon eleve gaston bachelard qui ete directeur son diplome etudes superieures refuse separer les avancees pensee philosophique celles pensee scientifique',\n",
       "  'est pourquoi nouveau embarque',\n",
       "  'derriere ces titres compris derriere metaphore marine que recele dernier des concepts relies entre eux point etre interchangeables'],\n",
       " ['gardera bien lui reprocher',\n",
       "  'autre compensation ecriture',\n",
       "  'son charme fou attire vers philosophie public que sans lui celle aurait jamais conquis aide monter quelques folles entreprises neanmoins fort utiles comme corpus des oeuvres philosophie langue francaise'],\n",
       " ['depuis fin des annees rend frequemment universite johns hopkins baltimore invite rene girard',\n",
       "  'carriere americaine alors compense',\n",
       "  'ecrit aussi facilement parle avec meme accent gascon meme souffle epique'],\n",
       " ['lou lui avait tranquillement faire reposer ses titulaires semaine derniere grenoble apres etre assure recevoir barrages',\n",
       "  'lui laissera des regrets',\n",
       "  'jean philippe ksiazek afp lyon chaud pas seulement cause vague chaleur qui est abattue sur france'],\n",
       " ['lire aussi top une folle ultime journee propulse rochelle montpellier phase finale',\n",
       "  'touche est donc mis diapason toute fin match pour mettre fin epopee montpellierains',\n",
       "  'puis ngatai qui inscrit essai liberateur apres nouveau symbole une melee enfin conquerante'],\n",
       " ['article reserve nos abonnes lire aussi berlin empetre dans une polemique sur port kippa ministre famille franziska giffey spd plus largement appele samedi dans quotidien tagesspiegel engagement accru societe civile contre antisemitisme allemagne',\n",
       "  'grenell est pris dans discours regime iranien accuse propager une ideologie antisemite haineuse',\n",
       "  'israelien portant kippa avait ete frappe coups ceinture par syrien dans quartier huppe prenzlauer berg']]"
      ]
     },
     "metadata": {},
     "execution_count": 11
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "# Vous pouvez également comparer les sorties des différents modèles de DL"
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "source": [
    "from functools import partial\r\n",
    "MDR=partial(fats.make_DL_resume,cpu=1,k=3,camem=camem,vs=12000,sp=1,tok=tok,tr=False,get_score_only=False,x=4,time_=False)\r\n",
    "resume=[]\r\n",
    "for n in ['Net','SMHA','Simple','Multi']:\r\n",
    "    resume.append(\r\n",
    "        MDR(texte=texte,\r\n",
    "        choose_model=n)\r\n",
    "    )\r\n",
    "    print(\"Modèles :\",n,\"\\n\")\r\n",
    "    print(resume[-1],\"\\n\")"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "Modèles : Net \n",
      "\n",
      "[['carl recine reuters liverpool sommet europe ennui', 'cette rencontre restera comme bon souvenir peu moins pour tottenham qui vivait premiere finale ligue des champions vraiment pousse que dans dernier quart heure', 'est ennuye ferme sous les temperatures caniculaires stade metropolitano'], ['cette fois portier des reds avait main ferme', 'azlpa djlv rmcsport rmc sport', 'seconde periode ete legerement plus emballante lorsque tottenham rescape tant situations desesperees cette saison tente provoquer nouveau destin'], ['ces trajets multiples entre les sciences les litteratures les vocables les natures image meme philosophe trouve modifiee', 'michel serres aura sans doute rendu philosophie francaise son sens rencontre imprevu jeu', 'dirigeant cette vaste entreprise que tout paraissait devoir rendre impossible michel serres faisait pas seulement oeuvre memoire reviviscence'], ['michel serres ecrit beaucoup tous les matins aube leve heures quoi advienne jusqu midi', 'demission retour lycee', 'risque faire trop oublier parfois que les lois ecriture sont pas celles improvisation orale'], ['structuraliste serres disons bon eleve gaston bachelard qui ete directeur son diplome etudes superieures refuse separer les avancees pensee philosophique celles pensee scientifique', 'est pourquoi nouveau embarque', 'derriere ces titres compris derriere metaphore marine que recele dernier des concepts relies entre eux point etre interchangeables'], ['gardera bien lui reprocher', 'autre compensation ecriture', 'son charme fou attire vers philosophie public que sans lui celle aurait jamais conquis aide monter quelques folles entreprises neanmoins fort utiles comme corpus des oeuvres philosophie langue francaise'], ['depuis fin des annees rend frequemment universite johns hopkins baltimore invite rene girard', 'carriere americaine alors compense', 'ecrit aussi facilement parle avec meme accent gascon meme souffle epique'], ['lou lui avait tranquillement faire reposer ses titulaires semaine derniere grenoble apres etre assure recevoir barrages', 'lui laissera des regrets', 'jean philippe ksiazek afp lyon chaud pas seulement cause vague chaleur qui est abattue sur france'], ['lire aussi top une folle ultime journee propulse rochelle montpellier phase finale', 'touche est donc mis diapason toute fin match pour mettre fin epopee montpellierains', 'puis ngatai qui inscrit essai liberateur apres nouveau symbole une melee enfin conquerante'], ['article reserve nos abonnes lire aussi berlin empetre dans une polemique sur port kippa ministre famille franziska giffey spd plus largement appele samedi dans quotidien tagesspiegel engagement accru societe civile contre antisemitisme allemagne', 'grenell est pris dans discours regime iranien accuse propager une ideologie antisemite haineuse', 'israelien portant kippa avait ete frappe coups ceinture par syrien dans quartier huppe prenzlauer berg']]\n",
      "Modèles : SMHA \n",
      "\n",
      "[['alors que spectacle avait ete epoustouflant tour precedent finale plus apathique decennie est decantee apres jeu sur penalty concede bras par francais moussa sissoko transforme par egyptien salah dans torpeur stade metropolitano', 'cette rencontre restera comme bon souvenir peu moins pour tottenham qui vivait premiere finale ligue des champions vraiment pousse que dans dernier quart heure', 'madrid etait mauvais souvenir pour les reds passe battus'], ['ennui etait fini nuit pouvait commencer', 'seconde periode ete legerement plus emballante lorsque tottenham rescape tant situations desesperees cette saison tente provoquer nouveau destin', 'meme celles hugo lloris capitaine gardien adverse ont pas beaucoup tremble francais est incline fin match sur tir croise origi des heros des demi finales'], ['pas simple definir deux mots ailleurs car les francais selon lui ont trouve moyen faire unite avec discorde', 'michel serres aura sans doute rendu philosophie francaise son sens rencontre imprevu jeu', 'manuel cohen parmi les figures multiples michel serres mort samedi juin age ans est une qui reunit peut etre mieux que autres les aspects principaux penseur'], ['serge picard agence etait philosophe comme fait trop peu bon vivant double mauvais caractere amoureux des sciences des saveurs esprit encyclopedique prodigieux manieur mots grand penseur tradition orale touche tout genie maitre plutot professeur arlequin comedien', 'michel serres est decede samedi juin age ans', 'premier livre these parait mauvais moment'], ['interieur celui plus petit opuscule moindre sous systeme reproduit structure ensemble', 'michel serres est pas seul epoque tenir genre discours', 'structuraliste serres disons bon eleve gaston bachelard qui ete directeur son diplome etudes superieures refuse separer les avancees pensee philosophique celles pensee scientifique'], ['bref hermes', 'gardera bien lui reprocher', 'premier livre these parait mauvais moment'], ['michel serres ecrit beaucoup tous les matins aube leve heures quoi advienne jusqu midi', 'puis quand dernier quitte maryland michel serres suit sur cote ouest', 'est aujourd hui votre'], ['les lyonnais qualifient pour les demi finales pour seconde annee consecutive', 'montpellier pourtant jete toutes ses forces dans bataille jusqu bout obtenant meme dans les dernieres minutes trois touches toutes perdues dont derniere apres sirene vice champion france titre etait lance dans une folle course poursuite pour accrocher phase finale lors ultime journee decrocher son premier bouclier brennus depuis fevrier une defaite honteuse domicile contre perpignan', 'fatiguye physique sur rencontre ensemble saison les heraultais qui menaient jusqu aux dix dernieres minutes essai charlie ngatai ont certainement paye physiquement les efforts fournis dans leur remontada'], ['touche est donc mis diapason toute fin match pour mettre fin epopee montpellierains', 'lire aussi top une folle ultime journee propulse rochelle montpellier phase finale', 'puis ngatai qui inscrit essai liberateur apres nouveau symbole une melee enfin conquerante'], ['plusieurs elus locaux berlinois des membres bundestag ainsi que ambassadeur des etats unis allemagne richard grenell commissaire gouvernement charge antisemitisme felix klein ont participe rassemblement dessus duquel flottaient des drapeaux israeliens dans centre capitale', 'klein lors rassemblement', 'victime avait filmer une partie scene avait postee sur internet']]\n",
      "Modèles : Simple \n",
      "\n",
      "[['defenseur liverpool virgil van dijk celebre victoire issue finale ligue champions', 'maigre avantage suffi bonheur son entraineur jurgen klopp enfin titre troisieme tentative', 'madrid etait mauvais souvenir pour les reds passe battus'], ['okepamzchv rmcsport rmc sport mais cinquieme but egyptien dans cette qui aurait enflammer rencontre contraire assomme tout monde', 'azlpa djlv rmcsport rmc sport', 'cette fois portier des reds avait main ferme'], ['michel serres mai', 'manuel cohen parmi les figures multiples michel serres mort samedi juin age ans est une qui reunit peut etre mieux que autres les aspects principaux penseur', 'est pas une question etat civil chauvinisme culturel'], ['une intuition lumineuse commence alors une carriere universitaire classique peu province clermont ferrand puis capitale pour plaisir aller roland garros successivement paris viii paris', 'une soixantaine moins plus des cours pour rien dire des articles des conferences innombrables', 'vincennes septembre'], ['systeme leibniz ses modeles mathematiques puf est pas cette annee evenement qui retient attention', 'agit pourtant grand travail soutenu par une intuition lumineuse contrairement reputation penseur disperse voire brouillon philosophe allemand est auteur parfaitement coherent', 'est pas celui qui dos mur proclamerait verite derniere'], ['sommet californien une belle carriere dont principal beneficiaire regrette cependant elle depasse pas cadre des departements francais', 'abord gere carriere americaine', 'est stanford lieu septembre memorable colloque sur auto organisation dont serres est dernier jour conferencier vedette'], ['est vrai que anglais comme francais parle toujours gascon', 'abord gere carriere americaine', 'est stanford lieu septembre memorable colloque sur auto organisation dont serres est dernier jour conferencier vedette'], ['avoir produit une seconde periode meilleure facture sous effet baisse pied montpellieraine tres probablement une mise point dans vestiaire', 'jean philippe ksiazek afp lyon chaud pas seulement cause vague chaleur qui est abattue sur france', 'soit situation quasi inverse passe montpellier attendait tranquillement demi finales les lyonnais qui avaient batailler jusqu prolongation barrages toulon'], ['touche est donc mis diapason toute fin match pour mettre fin epopee montpellierains', 'comme symbole est justement une percee couilloud qui permis jonathan wisniewski placer son equipe pour premiere fois tete', 'lire aussi top une folle ultime journee propulse rochelle montpellier phase finale'], ['ambassadeur americain berlin richard grenell samedi juin', 'bild quotidien plus allemagne son cote propose une kippa decouper une son edition lundi pour combattre fleau', 'israelien portant kippa avait ete frappe coups ceinture par syrien dans quartier huppe prenzlauer berg']]\n",
      "Modèles : Multi \n",
      "\n",
      "[['les reds mohamed salah buteur sur penalty apres min ont etouffe tottenham lors une finale anglaise flamboyante samedi juin ligue des champions decrochant madrid leur sixieme couronne continentale', 'alors que spectacle avait ete epoustouflant tour precedent finale plus apathique decennie est decantee apres jeu sur penalty concede bras par francais moussa sissoko transforme par egyptien salah dans torpeur stade metropolitano', 'opportunite etait belle mohamed salah sorti sur blessure apres trente minutes dernier face real transforme force face hugo lloris pour glacer les supporteurs des spurs places derriere cage'], ['origi delivre liverpool son cote tottenham est enferre passer par axe mais ses approximations techniques ont empeche avoir des situations franchement brulantes exceptes deux tirs trop enleves sissoko christian eriksen contre mal negocie par son heung min', 'les reds pour pas decouvrir ont allonge jeu outre intenable salah seuls les lateraux trent alexander arnold une frappe trop croisee andy robertson tir claque par lloris ont instille quelques frissons dans torpeur ambiante', 'cette fois portier des reds avait main ferme'], ['est contraire comme vagabond ami terre arpenteur inventif ouvert aux fecondites hasard', 'michel serres bien que couvert honneurs revait comme ces marginaux nomades battant campagne franchissant les clotures braconnier bretteur plutot que professeur dignitaire', 'developpant des idees denses dans langue peuple plutot que dans celle des doctes'], ['elle etait tout coup plus coloree plus gaie', 'moins faisait tres bien semblant etre comme faisait aussi par pur caprice tres bien semblant etre colere', 'ignorait rien des ressources theatre sans avoir besoin pour cela frequenter conservatoire'], ['interieur celui plus petit opuscule moindre sous systeme reproduit structure ensemble', 'est pourquoi nouveau embarque', 'tout est toujours partout meme chose degre grandeur perfection pres est devise arlequin bien celle leibniz sera tout cas celle serres'], ['son charme fou attire vers philosophie public que sans lui celle aurait jamais conquis aide monter quelques folles entreprises neanmoins fort utiles comme corpus des oeuvres philosophie langue francaise', 'charme fou folles entreprises tres logiquement grand ecrivain finit par dire oui aux honneurs', 'retrouve academie francaise devient pour temps conseiller cinquieme chaine savoir'], ['une intuition lumineuse commence alors une carriere universitaire classique peu province clermont ferrand puis capitale pour plaisir aller roland garros successivement paris viii paris', 'son charme fou attire vers philosophie public que sans lui celle aurait jamais conquis aide monter quelques folles entreprises neanmoins fort utiles comme corpus des oeuvres philosophie langue francaise', 'charme fou folles entreprises tres logiquement grand ecrivain finit par dire oui aux honneurs'], ['jean philippe ksiazek afp lyon chaud pas seulement cause vague chaleur qui est abattue sur france', 'premier est ainsi fait contrer par aaron cruden dont essai place montpellier tete alors que second perdu ballon facile qui permis benoit paillaugue creuser ecart', 'mais chance lou ete etre mene que deux points pause grace notamment exploit centre champion monde des moins ans pierre louis barassi'], ['puis ngatai qui inscrit essai liberateur apres nouveau symbole une melee enfin conquerante', 'lire aussi top une folle ultime journee propulse rochelle montpellier phase finale', 'touche est donc mis diapason toute fin match pour mettre fin epopee montpellierains'], ['agissait contre rassemblement organise solidarite avec les juifs pour journee jerusalem evenement annuel protestation contre annexion jerusalem est', 'fabrizio bensch reuters plusieurs personnalites politiques ont participe samedi juin une manifestation contre antisemitisme plein debat allemagne sur port kippa', 'grenell est pris dans discours regime iranien accuse propager une ideologie antisemite haineuse']]\n"
     ]
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "source": [],
   "outputs": [],
   "metadata": {}
  }
 ],
 "metadata": {
  "kernelspec": {
   "name": "python3",
   "display_name": "Python 3.6.7 64-bit ('venv': venv)"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.7"
  },
  "interpreter": {
   "hash": "e34048b0732ca5da544928c261c6b0ec51b7f57de61b26cf2eebb756a9ee889a"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}