Ressources numériques en sciences humaines et sociales OpenEdition Nos plateformes OpenEdition Books OpenEdition Journals Hypothèses Calenda Bibliothèques OpenEdition Freemium Suivez-nous

“Big Data : est-ce que le déluge de données va rendre la méthode scientifique obsolète ?” – Le Monde/InternetActu

Illustration: Marian Bantjes pour Wired

Extrait : “Nous voici entré dans l’ère des Big Data des ensembles de données tellement gigantesques qu’ils nécessitent de nouveaux outils techniques et scientifiques pour les comprendre et en tirer du sens. Un déluge de données qui pose des questions profondes sur leur collecte, leur interprétation, leur analyse… Dans ce siècle des réseaux, la science des algorithmes, censée extraire le sens de ces amas d’information doit apprendre à comprendre ce qu’elle analyse. L’enjeu des Big Data nous adresse des questions scientifiques, mais aussi politiques et éthiques. Les Big Data, c’est le dossier de la semaine d’InternetActu qui commence par un retour sur un article fondateur de 2008 qui posait les bases de la révolution à venir.

Il y a soixante ans, les ordinateurs ont rendu l’information lisible. Il y a vingt ans, l’internet l’a rendu accessible. (…) Selon Chris Anderson, nous sommes à la fin de la science, de la science telle que nous la connaissons. “À l’échelle du pétaoctet, l’information n’est pas une question de simples dimensions en matière de taxonomie et d’ordre, mais de statistiques agnostiques en termes de dimensions. Cela nécessite une approche totalement différente, qui nous oblige à concevoir la donnée comme quelque chose qui ne peut être visualisée dans sa totalité. (…)” 

Source : Le Monde 

Voir aussi le dossier dans Wired

 

 

 

 

Some meta-mapping in progress…

Click to enlarge. Simplified hierarchy of relationship between actors of audiovisual production. Made with VUE

In complement of my previous article I wanted to present some maps made with Gephi, an amazing program (opensource in Java) allowing to explore and spatialize relational databases. The biggest problem is indeed to create your own relational database, what I tried to do using the datas of audience I grabbed on Internet (see also here). The main idea would be to follow this scheme of analysis to show and measure the process of creation of audiovisual content as TV series.

The scheme is a pure abstraction, and once the database put into the program of spatialization it begins to complicate a lot : the dataset is composed of approximately 500.000 entries, each one having the name of the program, the typology, audience score, rate, channel of broadcasting, and so on…The maps are made from datas going from april 2004 to august 2011, and are separated by group of study : in one hand the “AB” group mostly aimed by advertisers, and in another hand the “TÜM” group gathering the whole sample of study.

So the first maps shows the relations between channels and the typologies of programs channels broadcast. We won’t be surprised to find the same patterns of results I showed in this article, but I think those figures are more readable.

AB GROUP : 

AB group - first 10 audiences - from april 2004 to august 2011. Sources : Medyatava / AGB Nielsen. Made with Gephi
AB group - first 100 audiences - from april 2004 to august 2011. Sources : Medyatava / AGB Nielsen. Made with Gephi

Those maps shows the preference of the audience for turkish series (link more visible in the 10 first rates than in the 100 first).

 

TUM GROUP : 

(In construction)

 

WHAT’S NEXT ?

The next game I’ll play with those datas will be to cut them into laps of time (by season or by month) and observe the film of the evolution pictured by AGB Nielsen of the audience from 2004 to 2011.

 

More infos on Gephi and other programs to do datamapping here :

Excel : récupérer des données à partir d’une liste de liens (url)

Petit tutoriel trouvé sur Internet permettant d’utiliser Excel pour récupérer des tableaux de données inclus dans des pages internet, ceci à partir d’une liste de liens classés dans un tableau Excel. Quelques outils d’Excel peu connus sont employés : les macros (ou scripts), et les “web queries”.

J’ai utilisé cette méthode (à des fins de recherche) pour récupérer les données quotidiennes d’audience en Turquie, entre 2004 et 2011.

Ici une des nombreuses vidéos – toujours un peu kitch – d’un certain “Mr Excel“.

Technique, méthodologie et interdisciplinarité : des outils pour une “esquisse propre”

Leonardo Da Vinci, étude d'un crâne humain. Source : Wikipedia Commons

Voici un petit billet à propos de la méthode de travail que je suis en train d’expérimenter à travers ma thèse. Cette réflexion fait suite à un parcours professionnel multiple (en agence d’architecture, en ambassades, en agence de communication), à plusieurs discussions avec des étudiants et chercheurs d’horizons divers, ainsi qu’à une discussion avec Khedidja Mamou (architecte et doctorante en sociologie) sur ma façon de travailler. Elle m’a alors conseillé de faire un article sur mes “recettes de cuisine”.

J’exposerai ici mon credo méthodologique, celui d’une “esquisse propre” – ou comment tenter de travailller sur une projet jamais abouti mais en permanence communicable et cohérent – puis je listerai quelques outils informatiques permettant d’appliquer cette logique (pour les plus pressés voir § “Quels outils” en fin d’article).

Jusqu’à ce que le cadre de références se précise le travail de préparation de thèse donne parfois des vertiges vue la quantité d’informations aujourd’hui disponible, principalement grâce à l’informatique : sur Internet tout d’abord (les catalogues en ligne, les plateformes de référencement, les revues, la presse, etc…), mais aussi dans ces tableaux interminables de chiffres ou de statistiques, les listes de contacts, ce à quoi il faut ajouter toutes les données acquises par des méthodes plus traditionnelles (entretiens, photos, et ainsi de suite). Même si l’on peut regretter cette explosion de données, au motif qu’elle brouille la lecture et la compréhension du monde, on ne peut 1) qu’admettre qu’elle existe, 2) qu’elle nous entoure, et 3) qu’il faut bien au final composer avec.

C’est une banalité de dire que la quantité d’informations traitées dans une recherche change la nature même de la recherche, comme elle change en retour la pensée du chercheur. Sans trop s’attarder on pourrait dire qu’organiser son travail signifie aussi organiser sa propre pensée, et réciproquement. Le mode d’organisation que nous adoptons est à son tour conditionné par une tekhné, c’est-à-dire est à la fois un environnement technique matériel et une technique cognitive (une maîtrise) de ces outils matériels. S’entourer d’outils techniques ne signifie pas pour autant devenir un apôtre de la technique, passer au “tout-technique” ; comme pour le marteau, le téléphone, ou la grammaire, à chaque outil correspond des besoins spécifiques, un apprentissage et un champ d’usages potentiels, qu’ils soient inconnus ou accessoires.

J’essaie de distinguer trois grands problèmes qui conditionnent mon mode d’organisation, et qui demandent chacun une réflexion spécifique :

  • La question de départ, la problématique et les objectifs ;
  • L’organisation de son temps et de ses données ;
  • Les outils à disposition pour que correspondent au mieux les deux domaines précédents.

Cet article ne s’attardera pas sur le premier point, propre à toute thèse, qui sera traité dans des posts ultérieurs. Je me concentrerai simplement sur des questions pratiques d’organisation, et sur l’influence possible de mon mode d’organisation sur la nature de ma recherche. Ce billet suivra peu ou prou la logique suivant :

→ les contraintes de base
→ les besoins spécifiques
→ l’intention
→ l’organisation
—-→ les outils
—–
→ les résultats

Des contraintes très pragmatiques

Qu’il s’agisse d’un chercheur ou d’un travail en dehors de la recherche (en agence d’architecture par exemple) il existe des impératifs et des besoins très basiques, qui engendrent autant de risques qu’il faut anticiper. Ces risques sont d’autant plus importants que la quantité d’informations augmente. Parmi les risques et les besoins du thésard, je citerai les suivants qui sont des plus basiques ou des plus triviaux mais qui au final impactent la recherche même:

  • Ne pas perdre son travail :
    Que faire avant d’avoir le problème du disque dur qui ne répond plus, de l’ordinateur volé, du café renversé sur le clavier ?
  • Gérer des quantités toujours plus grandes d’information :
    Bibliographies, articles, mails, dossiers et fichiers non classés sur son disque dur, travailler sur plusieurs ordinateurs, dans plusieurs bureaux, dans plusieurs langues…
  • Economiser ses ressources :
    Les bourses d’études durent un temps, ne se renouvellent pas automatiquement, les voyages et le matériel informatique coûtent chers. Bref des sources de financement incertaines pour des investissements coûteux.
  • S’adapter à de nouvelles situations :
    Une nouvelle référence peut remettre en question tout ou partie du travail, ou dans le cas du travail dans une équipe (laboratoire, institut) le fait de programmer des événements en parallèle qui peuvent ensuite être intégrés à sa propre recherche.
  • Gagner du temps :
    3 ans pour faire une thèse (sur le papier) et peut-être un an ou deux de plus tolérés, c’est maintenant le “contrat” de base entre l’étudiant et son université. Trois ans donc pour chercher des sources, rencontrer des personnes, travailler à côté, lire, etc… voire même avoir une vie privée pour les plus ambitieux. Le but est alors de gagner du temps sur les tâches ingrates en évitant de refaire les mêmes manipulations plusieurs fois, comme par exemple : refaire un travail perdu (cf “ne pas perdre son travail”), recopier une par une des données… Bref d’automatiser toutes ces tâches ne demandant que peu de travail intellectuel.
  • “Ça pourra peut-être servir…” :
    … petite ritournelle qui trotte lorsqu’on trouve de nouveaux documents dont on ne sait quoi faire sur le moment, et pouvant conduire au syndrome de la boulimie intellectuelle. Aux tous premiers moments de la thèse cette boulimie est nécessaire pour dessiner son cadre de travail, mais peut tout aussi bien faire perdre toute cohérence à la recherche. Le problème est ici en gros de classer l’inutile sur le moment mais peut-être intéressant.
  • Produire une réflexion :
    Sans prendre en compte la course à la compétitivité que se livrent les universités, on demande d’abord à un chercheur d’écrire ou de produire du savoir pour pouvoir ensuite le transmettre et le diffuser. L’objectif est alors de se concentrer sur l’essentiel, c’est-à-dire sur la réflexion et l’usage de l’outil plutôt que sur l’outil lui-même.

La méthode et les solutions techniques choisies pour répondre à chacun de ces problèmes a une influence sur la nature de la recherche, et le point commun à ces techniques est qu’elles ont en général toutes aujourd’hui un support informatique, j’y reviendrai plus bas.

Les sources, les données et la complexité

J’ai choisi de commencer ma thèse en menant d’emblée une approche “macro” : dans mon cas il s’agit de recenser toutes les séries télévisées turques (les titres, les chaînes, les boîtes de production, les holdings financières rattachées, audience) et les acteurs de leur production sur tout le territoire d’Istanbul. Ce choix est motivé par ma problématique et n’est pas neutre : je cherche à étudier la production d’une industrie culturelle de masse (la télévision) et ses liens structurels avec le milieu financier. Il me semblait alors justifié d’étudier en premier lieu une industrie de masse par la masse de données qu’elle produit.

Cette quantité de données génère de fait une complexité : de par la somme des données (environ 1200 séries depuis les années 70), ainsi que par la nature des données (durée, genre, année de production, localisation des entreprises…). Plusieurs réactions extrêmes auraient été envisageables avant ce choix : trancher dans la complexité, ou bien changer d’outils – c’est-à-dire changer mon environnement technique et ma propre organisation.

La première remarque préalable est qu’une recherche de thèse est ou devient complexe quel que soit le sujet étudié. Mais si la complexité est aussi présente dans un cas (trancher) que dans l’autre (changer d’outils), les postures sont à mon sens extrêmement différentes dans leur définition de l’interdisciplinarité.

  • Trancher dans la complexité pour la réduire dès le départ, c’est-à-dire circonscrire mon champ d’étude autour d’un objet très défini (choisir un échantillon restreint de séries dès le départ par exemple, ou le cas d’une seule boîte de production). Le faire dès le début n’aurait été qu’un pis-aller et ce pour deux raisons : ce n’aurait été que retrouver de la complexité au niveau particulier (l’effet “microcosmos”), même si la nature des données change à cette échelle ;  et je n’aurais pu légitimer ma sélection initiale que sur des critères subjectifs, chose compliquée dans mon cas vue mon approche non-anthropologique.
    Dans ce premier cas (trancher) l’approche est celle du spécialiste ou de l’expert, se traduit par un champ disciplinaire plus identifié (histoire, géographie, sociologie…) et se concentre surtout sur un objet plus précis (géographique, disciplinaire ou thématique) : l’interdisciplinarité est ici mis au service d’un objet ou d’une discipline de référence.
  • Changer d’outils pour en trouver de plus adaptés à l’échelle de complexité attendue. En effet si la somme de données à disposition au départ paraît posséder une certaine cohérence mais qu’elle échappe à la compréhension au premier abord, il semble nécessaire de revoir sa “boîte à outils”, intellectuelle et technique.
    Dans ce cas (changer d’outils) l’approche est celle du non-spécialiste, pour ne pas dire de l’artisan ou de l’autodidacte, mais c’est aussi une posture qui se définit par une volonté première d’interdisciplinarité : l’interdisciplinarité se définit alors comme un champ différencié, avec ses outils spécifiques fonctions de la question initiale, et les disciplines satellites ne sont appelées qu’en appui. Alors,  il me semble que l’importance est donnée à la problématique initiale, en la plaçant avant l’objet de la recherche ou du terrain.

La pratique de l’architecte est une bonne métaphore de la pratique interdisciplinaire, car elle se situe exactement dans cet intervalle : “entre” des champs spécialisés. Cette dernière approche est évidemment celle qui me parle le plus et celle que je tente d’adapter au travail de thèse.

Croquis de Leonardo Da Vinci "dessin pour une machine volante". Source Wikipedia Commons

Une organisation proche de celle d’un “projet”

Cette réflexion repose au fond sur un principe de non-finalité et de doute : je considère en somme qu’un travail – quelle que soit sa nature – n’est jamais achevé, ou du moins en doutè-je. Deux métaphores pour l’illustrer : l’architecture et le diplôme. Dessiner un bâtiment n’est pas une fin en soi  tant qu’il n’est pas occupé dirons les architectes. Habiter un bâtiment n’est pas non plus une fin en soi dirons les habitants, cela nous permet d’avoir un confort, d’être proche des écoles, de son travail, et ainsi de suite. Le baccalauréat, un diplôme, un mémoire n’ont pas de fin en soi non plus ; certains diront qu’ils permettent de trouver un travail, mais on peut plus certainement dire qu’ils sont des rituels de passage vers autre chose. Une fois le travail trouvé on il s’agit ensuite de lui donner un sens. De fait la thèse n’est jamais qu’une étape dans ce parcours, étape est elle-même ponctuée de séquences, significatives ou non. Il n’y a donc dans cette logique ni fin ni moyen, simplement le cours d’une pensée.

Au cours de mes diverses expériences professionnelles ainsi qu’en repensant à mon apprentissage en école d’architecture j’ai souvent appliqué de manière plus ou moins consciente une logique de “projet” telle qu’on a  pu me l’enseigner en école d’architecture. Voici livrées à chaud quelques réflexions personnelles sur mon mode d’organisation en tant que chercheur, à la croisée de cette logique et de ce principe de non-finalité.

  • La thèse peut être vue comme un “projet” :
    Sans prétendre résumer la notion de “projet” d’architecture en un paragraphe je dirais que ce concept englobe plusieurs caractéristiques : une structure (une idée), un processus (une évolution), des objectifs (une commande), un planning (des délais), un cadre (une problématique), des contraintes extérieures (contraintes physiques par exemple), et l’obligation d’être communicable (pouvoir communiquer des résultats au fur et à mesure de son avancée).
  • La thèse est un processus, donc une production amenée à évoluer :
    Dans le monde professionnel un projet d’architecture se décompose dans le temps en plusieurs séquences. Dans l’ordre : l’esquisse, l’avant-projet sommaire, l’avant-projet détaillé, le projet, l’exécution,  le chantier, le rendu. Chacune des séquences demande de faire appel à des compétences propres ou à des compétences extérieures : création, expérience et inspiration personnelle de l’architecte au niveau de l’esquisse, appel à des bureaux d’études techniques au niveau projet, appel à des artisans du bâtiment lors de l’exécution et du chantier.
  • Chercheur, architecte ?
    L’architecte non-spécialiste a le rôle de coordinateur, chargé de maintenir une cohérence entre ces différentes compétences, sans pour autant figer la production. Le plus compliqué est alors de posséder en amont une organisation à la fois rigoureuse pour mener le projet vers un but précis, une connaissance minimale et critique des différentes compétences appelées pour pouvoir dialoguer avec les différents intervenants, et une flexibilité permettant de faire évoluer le projet au cours du temps.

Principes d’une “esquisse propre”

L’objectif de base de ce credo méthodologique est un principe de communication : constamment rendre lisible l’idée, puis l’évolution de l’idée maîtresse, pour permettre un dialogue à chacune des étapes et enrichir. En appliquant à ma thèse une logique de projet je la considérant comme un matériau composite et évolutif, qui n’est au final qu’un façon de créer de la discussion autour d’un sujet.

S’imposer une logique “d’esquisse propre” est une manière simple de dire qu’on est en permanence à l’étape du brouillon, de l’esquisse, mais que chaque esquisse se doit  d’être présentable, cohérente, parlante, claire, bref “propre” afin qu’elle puisse participer à faire évoluer le projet dans son ensemble.

Quelques exemples de productions que je considère comme autant d’esquisse, visibles dans ce carnet :

– Cet article, tout comme ce carnet de thèse dans son ensemble.
– Ma présentation d’étape du 26 janvier 2011 : visible ICI.
– Mon article sur les clusters média : visible ICI.

Quelques principes d’organisation et réflexes dans un environnement informatique et informationnel

En bonne théorie qu’elle est, cette notion d’esquisse propre n’est aucunement performative, elle n’est qu’une intention. Elle n’est efficace qu’à travers des outils concrets répondant à des problèmes d’organisation purement pratiques. Du général au particulier, voici quelques principes que j’essaie de garder à l’esprit :

  • Garder une vision d’ensemble ;
  • Trouver une organisation flexible dans le temps ;
  • Synchroniser ses dossiers ;
  • Partager ses fichiers ;
  • Sauvegarder sur plusieurs supports ;
  • Ne pas dépendre de logiciels payants.

J’ai bien conscience qu’une grande partie des problèmes évoqués jusqu’ici peuvent paraître d’une grande banalité. Pourtant j’ai pu observer que les solutions apportées à ces problèmes relèvent souvent soit de l’empirisme (techniques ad hoc qui parfois marchent très bien), soit d’une réaction par trop tardive suite à un accident, mais encore le plus souvent d’une mauvaise maîtrise technique, voire d’une technophobie irrationnelle.

Quels outils ?

Le but premier de cet article était de fournir quelques solutions concrètes à des problèmes d’organisation courants, à la portée de toute personne se servant d’un ordinateur. La courte mise en perspective théorique avait d’abord pour objectif de garder une distance critique avec les solutions proposées.

Voici donc quelques outils qui me servent quotidiennement, et que j’ai maintenant presque totalement intégrés à ma manière de faire, à tel point qu’ils me paraissent “naturels”, ou tout du moins comme constituant mon environnement. La plupart des outils que je mentionne dans ce paragraphe sont référencés dans la rubrique de liens (colonne de droite du carnet) intitulée “Outils pour la recherche“.

Outils de base, simples d’utilisation :

  • Excel : tableur bien connu de la suite Office mais possédant quantité de fonctions peu utilisées dans les sciences humaines : exploration et traitement de bases de données, calculs statistiques, formules de conditions… Payant (a priori).
  • Zotero : outil de gestion de bibliographie. Plug-in Firefox. Versions Safari et Chrome en développement. Voir aussi un autre article ICI.
  • OpenOffice : suite bureautique en opensource. A peu près les mêmes fonctionnalités que la suite Office de Microsoft mais gratuit.
  • GoogleDocs : espace de votre boîte mail Google permettant de stocker et partager des documents (word, excel, pdf, power point…).
  • Dropbox : synchronisation de fichiers. Permet de synchroniser un dossier et son contenu entre plusieurs ordinateurs, tout en conservant une copie de sauvegarde sur Internet (jusqu’à 3 Go gratuitement). Voir aussi ICI.
  • YouSendIt : un site permettant d’envoyer des mails (jusqu’à 100 Mo gratuitement).
  • Xmarks : synchronisation de bookmarks. permet de sauvegarder, de synchroniser et d’organiser tous ses favoris (bookmarks) internet entre plusieurs ordinateurs, entre plusieurs browser (Firefox, Chrome, Internet Explorer), tout en gardant une sauvegarde sur Internet.

Outils spécialisés :

  • RapidMiner : logiciel opensource de traitement de données et de “web crawling”/”data mining”. Voir aussi ICI.
  • UDig / gvSIG : deux Systèmes d’Information Géographiques (SIG) opensource et plutôt simples d’utilisation. Voir aussi ICI.
  • FileZilla : logiciel opensource de FTP (File Transfer Protocol).
  • FreeMinder : cartographie heuristique ( ou mind mapping ). Opensource, écrit en Java.

Outils ouvrant d’autres questions sur la recherche (qui feront l’objet d’autres articles) :

  • WordPress et Hypothèses (ce carnet en faisant partie) : de l’intérêt d’écrire sous la forme d’un “blog” lors d’un travail de recherche.
    voir aussi : “Why blog? (Pourquoi un blog?)”, éléments de réponse par André Gunther (article cité dans la documentation Cléo) : http://www.arhv.lhivic.org/index.php/2008/09/15/807-why-blog
  • La licence “Creative Commons” : diffuser l’information le plus librement possible en respectant certaines règles.

Ouverture sur une question majeure : du choix des outils et leur influence sur la nature de la recherche

En guise de conclusion j’aimerais ouvrir sur deux points distincts concernant l’influence de cette méthode sur la nature de ma recherche : la posture (l’interdisciplinarité comme champ) et les outils (l’informatique et la recherche).

  • En quoi cette posture interdisciplinaire basée sur la non-finalité constitue à la fois un risque et un angle importants dans ma recherche ?
  • En quoi les outils informatiques influent-ils mes résultats et ma pensée ?

Ces deux questions feront elles aussi l’objet de billets ultérieurement.

 

Croquis de Léonard de Vinci "Etudes d'eau franchissant un obstacle et d'une chute d'eau". Source Wikipedia Commons

Continuer la lecture de Technique, méthodologie et interdisciplinarité : des outils pour une “esquisse propre”

Un blog pour apprendre un peu de “data mining” sur RapidMiner

Un lien vers plusieurs tutoriels vidéo pour apprendre à se servir de Rapid Miner, un logiciel opensource (donc gratuit) permettant de programmer des scripts d’analyse statistique ou de “web scraping” (récupération automatique de données sur le net) :

Présentation rapide de Rapid Miner :
http://rapid-i.com/content/view/189/212/lang,en/

Blog (en anglais) de Neil McGuigan
http://vancouverdata.blogspot.com/

Tutorial Rapid Miner sur le site Neural Trend Market:
http://www.neuralmarkettrends.com/tutorials/

Un peu d’aide sur les “regular expressions” :
http://www.regular-expressions.info/reference.html