dimanche 15 février 2015

Suite des recherches de Pierre Beaufils sur TXM et le text mining

TXM et Iramuteq à l’essai

En plongée depuis quelques jours dans les univers de ces deux outils de textométrie TXM et Iramuteq, je refais surface pour donner les premières impressions :
L’installation :
L’installation de TXM peut s‘avérer délicate : il faut vérifier et mettre à jour la plateforme Java, ajouter l’installation de Treetagger et bien vérifier le paramétrage du raccourci qui doit lancer tXM.bat et TXM.vbs  (voir post précédent)
L’installation de Iramuteq n’a pas posé de problème particulier
Plateformes :
Java et Eclipse pour TXM. Appel des librairies R pour les statistiques et de Treetagger, module de lemmatisation et étiquetage morphosyntaxique. Langage CQL (Corpus Query Language).
Langage Python et R pour Iramuteq.
Interface avec R :
Les librairies R sont préinstallées. Les programmes R sont accessibles et éditables.
Dans les deux logiciels on devrait pouvoir greffer ses fonctions R (librairie psy et fpca)

Préparer un corpus digeste :
Pour TXM :  Placer dans un répertoire-corpus les x textes éléments du corpus, au format .txt. le nom est le numéro identifiant que l’on retrouve dans les métadonnées.
Les métadonnées sont dans un fichier metadata.csv, placé avec les textes :  ce sont les informations structurées (de type base de données) que l’on associe aux textes, par exemple, l’auteur, l’année, le lieu, la source,…. L’identifiant en fait partie et est obligatoire.
J’ai construit mon fichier à l’aide d’Excel et sauvegardé en .csv. les champs sont encadrés par des " et séparés par des virgules (comma en anglais, csv= comma separated values).

Exemple de fichier metadata.csv :
Id,loc,annee,
"0001","deniau_O","1942"
"0002","Hugo","1859"
"0003","Hugoogl1","2011"
"0004","Hugoogl2","2011"
"0005","Hugoogl4","2011"
"0006","Deniau2","1945"
"0007","Deniau3","1945"
"0008","PeB","2014"

C’est tout. Votre corpus est prêt à être chargé dans TXM.

Pour Iramuteq, j’ai importé le format de TXM et Iramuteq a convertit et généré son format (similaire à Alceste) :
Cette fois tous les textes sont placés à la suite, avec leurs métadonnées en debut, dans un fichier corpusxxx.txt :
Exemple : hugo.txt

Les fonctionnalités
On trouve les analyses statistiques descriptives de base dans les deux :
Nombre de textes, occurrences, nombre de formes, nombre d’hapax. Iramuteq documente plus d’infos et génère un graphique de la loi de Zipf.
TXM avec son langage CQL permet une manipulation des corpus avec des requêtes sophistiquées. Création de sous-corpus possible.
Génération et manipulation des index dans les 2 logiciels : on pourra travailler avec au choix, les mots, les lemmes ou les  formes (pos ou part of speech), tris ,filtres, regroupements…
Le retour au texte et la recherche des occurrences est possible dans les deux, avec un plus pour la lisibilité et la manipulation dans TXM.
TXM propose un graphe des spécificités (score de prépondérance ou de faible utilisation d’un mot), ainsi qu’un graph cumulé d’usage d’un mot choisi, sur tout le corpus
Des méthodes de classification hiérarchique descendante sont implémentées dans les deux logiciels.
Les AFC (analyse factorielle et graphes d’analyses en correspondance principale sont confondus) sont paramétrables (choix des dimensions, position des sujets (corpus) ou des mots…
Un plus pour IramuteQ qui propose plusieurs vues avec méthodes d’analyses différentes et la possibilité de vues en 3D, d’un paramètre couleur, d’enregistrer une cinétique et d’afficher les mots de taille proportionnelle à leur occurrence.
TXM permet une recherche des cooccurences.
IramuteQ génère également un nuage de mots.

Les imports et exports
Les corpus sont exportables sous différents formats que je détaillerai plus tard. (Alceste…).  Les imports sont réalisables à partir de nombreux format également.
J’ai pu aisément passer un corpus TXM à Iramuteq qui généré son propre format (proche d’alceste)
TXM et Iramuteq permettent de générer les matrices terme-document. Ce sera utile pour d’autres analyses avec R par exemple.

Conclusion
Deux logiciels libres, faciles à utiliser et ergonomiques,  offrant un choix d’analyses et de graphes assez varié. Ils me semblent complémentaires.


Je parlerai prochainement de mon corpus d’essai et de sa construction, avec quelques illustrations parlantes…


Pierre

vendredi 16 janvier 2015

Pierre Beaufils a trouvé une ressource de text mining intéressante

TXM : Enfin installé !
J’avais trouvé un logiciel qui me semblait intéressant, parmi les nombreux logiciels de textométrie (Iramuteq, le trammeur…. On en reparlera) :
TXM, développé par l’ENS de Lyon avait de nombreuses qualités à mes yeux :
http://textometrie.ens-lyon.fr/spip.php?rubrique96
Open-source, sur une plateforme Java et R, permet de construire et d’analyser vos corpus, et surtout, compatible avec R .
De plus, une doc et des tutoriels complets sont disponibles dans
http://sourceforge.net/projects/txm/files/documentation/Manuel%20de%20TXM%200.7%20FR.pdf/download
https://www.youtube.com/channel/UCc3_typ0Y3blRUCUU6qVtJQ
Il faut bien-sur penser à installer R au préalable, ainsi que la plateforme Java.
Et SURTOUT, windows 8 étant un peu espiègle avec les raccourcis, ne pas faire comme moi, aller chercher l’exe TXM, et créer un raccourci sur le bureau :
On retrouve les messages d’erreur de démarrage Java que j’avais sur mon ancien portable (Tiens… ce serait peut-être juste une histoire de raccourci ?)
Il faut utiliser le raccourci-lanceur VbScript TXM.vbs installé par TXM qui contient les paramètres de lancement de TXM.bat
C:\Users\PeB\progr\TXM\TXM.vbs "C:\Users\PeB\progr\TXM\TXM.bat" "C:\Users\PeB\progr\TXM"
Bonne Année, bon text mining,
Pierre

mercredi 14 janvier 2015

Séminaire commun U1178/CESP 2015 "Méthodologie et épistémologie de la recherche biomédicale"

Les dates et lieux du séminaire sont :

27/1 - 13h30 à Paul Brousse (salle de conférence du CESP). Hervé Guyon : "Variable latente et épistémologie : le pragmatisme-réaliste nécessaire" Vidéo ici

24/2 - 17h à la Maison de Solenn (salles 3-4). Bruno Falissard : "Psychothérapies, médecines alternatives, médicaments : comment les évaluer ?" [1] Vidéo ici

31/3 - 17h à la Maison de Solenn (salle Lébovici). Bruno Falissard : "Psychothérapies, médecines alternatives, médicaments : comment les évaluer ?" [2] Vidéo ici

5/5 - 17H à Paul Brousse (salle de conférence du CESP). Marion Carayol : L'activité physique adaptée : un soin non conventionnel pour les patients atteints de cancer ? Vidéo ici

9/6 - 15H à Paul Brousse (salle de conférence du CESP). Christophe Génolini : kmlshape, une technique de détermination de trajectoires basée sur la forme, application aux études de cohortes

16/6 - 17h à la Maison de Solenn (salles 3-4). Pierre Beaufils (text mining, titre à préciser)

Attention vérifiez bien ici avant de venir car des changements de dernière minute peuvent intervenir...
A bientôt !
Bruno

lundi 5 janvier 2015

Naissance de l'unité INSERM U1178 !

Après 10 ans de bons et loyaux services l'unité INSERM U669 a tiré sa révérence... C'est maintenant l'unité 1178 qui lui succède.
On retrouve toujours un peu la même équipe et les mêmes thématiques. Avec dorénavant 6 équipes :

  • Epidémiologie des usages de drogues : inégalités sociales et de genre (Stéphane Legleye)
  • Addictologie (Henri-Jean Aubin)
  • Dépression, plasticité et résistance aux antidépresseurs (Emmanuelle Corruble, Alain Gardier)
  • Impact du psychotraumatisme et du suicide en outremer (Louis Jehel)
  • Adversité, affects, apprentissages : perspective développementale et interventionnelle (Sylvie Berthoz, Sylvana Côté)
  • Approches qualitatives et quantitatives des phénomènes complexes (Bruno Falissard)
et plein de bonnes résolutions dont ce blog !