Here comes some webpages very usefull to geocode datas. The main purpose of it is to obtain automatically (and freely) the GPS coordinates from a list of addresses, so to be able to cross those information with quantitive or qualitative informations (demographical, financial, networks…). Once the GPS informations obtained you can use a huge range of SIG or network tools like uDig, Gephi, QGIS, and so on…
Extrait : “Nous voici entré dans l’ère des Big Data des ensembles de données tellement gigantesques qu’ils nécessitent de nouveaux outils techniques et scientifiques pour les comprendre et en tirer du sens. Un déluge de données qui pose des questions profondes sur leur collecte, leur interprétation, leur analyse… Dans ce siècle des réseaux, la science des algorithmes, censée extraire le sens de ces amas d’information doit apprendre à comprendre ce qu’elle analyse. L’enjeu des Big Data nous adresse des questions scientifiques, mais aussi politiques et éthiques. Les Big Data, c’est le dossier de la semaine d’InternetActu qui commence par un retour sur un article fondateur de 2008 qui posait les bases de la révolution à venir.
Il y a soixante ans, les ordinateurs ont rendu l’information lisible. Il y a vingt ans, l’internet l’a rendu accessible. (…) Selon Chris Anderson, nous sommes à la fin de la science, de la science telle que nous la connaissons. “À l’échelle du pétaoctet, l’information n’est pas une question de simples dimensions en matière de taxonomie et d’ordre, mais de statistiques agnostiques en termes de dimensions. Cela nécessite une approche totalement différente, qui nous oblige à concevoir la donnée comme quelque chose qui ne peut être visualisée dans sa totalité. (…)”
Click to enlarge. Simplified hierarchy of relationship between actors of audiovisual production. Made with VUE
In complement of my previous article I wanted to present some maps made with Gephi, an amazing program (opensource in Java) allowing to explore and spatialize relational databases. The biggest problem is indeed to create your own relational database, what I tried to do using the datas of audience I grabbed on Internet (see also here). The main idea would be to follow this scheme of analysis to show and measure the process of creation of audiovisual content as TV series.
The scheme is a pure abstraction, and once the database put into the program of spatialization it begins to complicate a lot : the dataset is composed of approximately 500.000 entries, each one having the name of the program, the typology, audience score, rate, channel of broadcasting, and so on…The maps are made from datas going from april 2004 to august 2011, and are separated by group of study : in one hand the “AB” group mostly aimed by advertisers, and in another hand the “TÜM” group gathering the whole sample of study.
So the first maps shows the relations between channels and the typologies of programs channels broadcast. We won’t be surprised to find the same patterns of results I showed in this article, but I think those figures are more readable.
AB GROUP :
AB group - first 10 audiences - from april 2004 to august 2011. Sources : Medyatava / AGB Nielsen. Made with GephiAB group - first 100 audiences - from april 2004 to august 2011. Sources : Medyatava / AGB Nielsen. Made with Gephi
Those maps shows the preference of the audience for turkish series (link more visible in the 10 first rates than in the 100 first).
TUM GROUP :
(In construction)
WHAT’S NEXT ?
The next game I’ll play with those datas will be to cut them into laps of time (by season or by month) and observe the film of the evolution pictured by AGB Nielsen of the audience from 2004 to 2011.
More infos on Gephi and other programs to do datamapping here :
“Longtemps, les sciences humaines ont souffert d’un lourd handicap vis-à-vis des sciences physiques. En effet, le sociologue était privé de l’outil primordial pour tout scientifique : l’instrument de mesure. Il ne pouvait appréhender son objet d’étude, l’homme et la société, qu’à travers des méthodes approximatives d’enquêtes et de sondages. D’où, sans doute, le qualificatif de science « molle » attaché aux sciences humaines, par opposition aux sciences dites « dures » comme la physique, la chimie ou la biologie. Cette situation est en train de changer radicalement depuis quinze ans avec l’apparition d’un phénomène unique dans l’histoire de l’humanité : Internet.(…)
I used excel’s macros programming (cf. this article for the technique) to gather into one database several informations about the daily audience of television in Turkey since 2004 containing : target group, day of diffusion, name of the program, channel of broadcasting, score of audience, rating, and market share. The period studied in that database runs from June 11th 2004 to May 1st 2011, and represents approximately, so 2500 days and 500.000 different programs referenced.
NA : in order to share those results with turkish colleagues more easily I tried to write this article in English. I apologize in advance for the grammar faults I’ll certainly do. You can post comments if some parts seems not understandable.
I considered that part of my thesis as a complement to other datas I presented into another articles (timelines, TV production informations). On the frame of a scientific research the global intention of this new quantitive work is to prepare, by gathering various quantitive facts or infos about my subject (tv turkish series production from 1970 to now) some sufficient factual backgrounds to lead further qualitative and theorical analysis.
THE DATAS :
Before any consideration I wanted to give some infos giving an idea of the turkish population concerned by the television. In Turkey, for a population of 72 millions inhabitants and 18,3 millions households in 2009, 17,9 millions have a tv (so 96%). It means around 71 millions turks were in 2009 able to watch television at home. (source : EU, MAVISE )
The audiences datas presented below were first produced by AGB Nielsen, then published day by day on Medyatava since June 2004.
According to their website “Nielsen Audience Measurement Turkey has been conducting Television Audience Measurement (TAM) services in Turkey since 1989. Today, the panel represents the urban Turkish population with 2500 households“.
KEY FACTS Population: 72,561,312 total / 60,264,546 urban (2009 population) Panel Size: 2,500 households First data production: 1989
THE PANEL Peoplemeters installed: 3,500 to 4,000 Universe: 51,657,783 (representing age 5+ urban population) Data monitored: Terrestrial, cable and digital satellite Data retrieval via: Phone lines
(Source : AGB Nielsen)
The main critic we could do about the audience survey by AGB Nielsen is the lack of precisions concerning the method they use to obtain their numbers. It’s also interesting to notice that AGB Nielsen is nowadays living the end of a crisis lasting since 2007 between them and the turkish government (cf “revue de presse” and this article), their contract coming also to an end. Anyway the interest of doing this study is the monopolistic position of AGB Nielsen in the audience measurement in Turkey. Even if the figures given by AGB are suspicious, the fact stays that every private channel has to refer to their numbers to decide of a broadcasting strategy.
Another precisions and definitions concerning the reading of the graphs :
Audience rating : from 0% to 100%, 0% meaning nobody watched the program, 100% the whole sample population watched it.
Audience score : from 1st to 100th place. A good score could be a high or low rate depending on the other audience ratings ; it’s relative.
Number of programs : quantity of programs broadcasted.
AB group / TÜM group : groups of population defined by AGB Nielsen. I don’t have yet a lot of information about the groups composition. So as a first exploration, this analysis will just focus on one : the AB group, seeming to be the “high and middle class”, the one interesting the most for advertisement sellers.
AUDIENCE ANALYSIS :
I’ll present therefore a serie of various graphics intending to measure the importance of TV series audience amongst other kind of programs into the grid of the channels. At this step of the analysis the audience analysis can be approached by different ways : the program typologies, the channels grid’s structuration, and the periodicities of audience.
The audience data is a key fact for any channel studied : the audience weights the price of the advirtisement space in the broadcasting grid, and so the capacity of revenue of the channel. The higher audience gets, the more expensive you can sell advertisement. It seems quite important to analyze audiences and its impact on creation considering the behavior of other channels as in Turkey as abroad : for instance it’s well-known in America the channels are monitoring very carefully the audience’s curves and make changes to the contents, to the scenario, to get better audience rates. The situation in Turkey seems to be likewise and any telespectator in Turkey could see what importance and presence got the sponsors into the production of a tv serie.
1/ PROGRAMS TYPOLOGIES
The first graph presented above compares the audience score rates (from the 1st viewed to the 100th) of different categories of programs :
Cartoons, Concerts, Daily Magazines, Documentary, Film Foreign, Film Turkish, Health/Service Education, Humour, Magazines, Meeting/Discussion, Music/Entertainment, News report, Newscast, Politics, Reality Show, Religious, Serials Foreign, Serials Turkish, Sport News, Sporting Events, Sporting Magazine, Studio Programs, Talk Show, Theatre/Cabaret/Musicals, TV Games, Weekly Magazines, Women.
Audience scores analysis by programs typologies (click for a full view)
Reading the graph : We can see on this graph a very distinguished preferences from the audience (10 first rates ) for turkish series and newscasts, the third prefered kind of program being the TV games. The particular observation with this chart is the relative constance of those curves for every typology from 10th to 100th rating score. The interpretation we could do at this point (as a hypothesis) would be the following :
Above another graph in the same spirit but slightly different. In that graph the scores (x axis) are replaced by constant ratings, so the interpretation deals with another fact : the “left-behinds” turkish series programs.
Audience rating analysis by programs typologies (click for a full view)
Reading the graph : In my interpretation of this graph, the “left-behinds” turkish series are the programs in orange at the left side of the graph, composing the big orange curve. Those programs get a very low audience (less than 10% on the x axis) but are massively produced ! That fact seems quite paradoxical but could be seen as an effect of the inflation of the tv series production – the so-called “Yesilcam” era for tv series. It could be explained by the will of producing more and more series, hoping one of them gets good rates. Series being the most successful way to have audience, more producers invent series concepts. Logically this “liberal” way to produce generates more offer than demand, and we can imagine half of series production has just succeeded in starting but not lasting. This could be the dark side of series production : the inflation of ideas and careers left behind because of their lack of capacity to get audiences.
2/ CHANNELS
The previous graphs were more dealing about the repartition of the whole programming between various typologies, without precising on which channels they were broadcasted.
The next graph shows how every channel compose its own grid of programs.
Channel programmation composition by typologies (%) (click for a full view)
The next graph shows the numbers of TV programs rated from 1st to 10th, classified by channels.
Scoring audiences by channel (click for a full view)
There is another way, perhaps more explicit, to show those figures using the percentages.
Audience scoring audiences by channels (%) (click for a full view)
Reading the graph : On the 18 channels presents in the AGB Nielsen datas, only 4 are getting more than 80% of the 10th first rates. So, if we trust AGB sources, the spectators are mostly watching ATV (in blue), KanalD (orange), Show TV (clear blue) and Star TV (pink). It’s also good to notice in the margin that TRT is treated differently by AGB Nielsen since 200…
The interesting fact showed by these numbers is the constance of this repartition in the 10th first rates.
3/ PERIODICITIES
Another important factors of the composition of broadcasting are the cycles of programs typologies choices within a day, within a week, or within a year. The time factor is a complex data to compute on a day-by-day database.
The two next graphics shows clear cycles on year-scale illustrations :
Audience ratings for 1st score by major typologies (click to a full view)Average audience rating by day of broadcasting for the 1st rating score (click to a full view)
Reading the graphs : every summer (between june and august) since 2005 registers a clear decrease of audience. We could also note that turkish series (in blue) gets most of the highest rates the whole year compared to other programs, as we can see by the “clouds” of high rates.
The serie of the next three graphics focuses on turkish series programmation and their periodicity by month :
Turkish series analysis by month - average / quantities (click to get a full view)
Turkish series analysis by month – average / percentages (click to get a full view)
Turkish series analysis by month, year of programmation and audience scores - quantities (click to get a full view)
Reading the graphs : As we’ve seen before, the summer period could be considered as an empty one for series. But here the curves for all audiences scores and 10th first audiences scores are very different : as the total of programs broadcasted is merely stable the whole year (just february, march and june registering a light decrease), the curve of best scores is much more flexible and increase from january to march. We could input that to a big difference of strategy of diffusion between series in general and series gaining the first 10th scores. Perhaps after a couple of month of tests, the less competing series are ended at the benefit of the other, then more broadcasted
Furthermore the last graph shows the increase of serie’s diffusion from 2005 to 2010 in the absolute, with two years having real particularities : 2008 (the month of August for first audience score shows a peak) and 2010 (the absolute quantities of series broadcasted for all scores and for the first score).
The next graph focuses on a week-scale analysis, showing the percentages of programs broadcasted by their typology every day.
Typologies by weekdays (%) (click for a full view)
Reading the graph : Once more we can see the importance of turkish series in the grid compared to other kinds. Series are mostly working-days programs, the saturday and sunday gaining good audiences with other kinds of programs like TV games. For instance the mondays, the first 10th best audiences are usually generated by turkish series (50%), then by newscasts (25%), and the rest stays under 10% or less.
LIMITS AND CONCLUSIONS :
To be understood clearly, I wanted to precise I tried to keep in mind during this study that the figures given by AGB Nielsen should be taken with many precautions : first because of the different complaints opposing AGB and the government on the accusation of manipulating the datas, and secondly because of the absence of another major channels like TRT. So it’s clear AGB figures doesn’t have to be taken as a reflect of the reality of the audience, but as a tool inside the TV production chain.
Taking in consideration those limits the interest of this database lies anyway in the possibility to show how the different program typologies, the channels, the schedule of broadcasting and the ratings are interrelated, constituting a field in a Bourdieusian way to speak. To complete those diagrams by a field analysis, a factorial correspondance analysis would be necessary and should be the main topic of a next article.
As a first conclusion it’s obvious to say turkish series have a strategical importance in the channel’s capacity to get audience, and mechanically to get revenues from advertisement. More than strategical it’s nowadays the first kind of program getting best audiences. This capacity reveals interesting characteristics of the TV production for private medias in Turkey : even if in Turkey the topics of series are very dependent with local cultures and so differentiate production from US, the logic of “market” and the inflation effects related are similar.
A second conclusion to this article would be the help those analysis gave to give more precision to my phd thesis. It’s one thing to know that generally tv series are important in the television panorama, it’s another to be able to give precise datas about it. Furthermore, crossing those reflexions with previous ones, those analysis allow me to choose with more arguments a reduced panel of channels (ATV, SHOW, KANAL D and STAR TV) being the channels whiches are in the same time major producers of TV shows, and the most dependent on audiences rates in their capacity to attract advertisement funding.
Entre le projet de thèse initial et le plan de thèse détaillé il se passe plusieurs années de recherche, d’évolutions, de découvertes. Garder une trace de cette évolution est nécessaire afin de rendre plus dense sa réflexion, mais compliqué lorsqu’on utilise simplement du traitement de texte. Chacun possède sa méthode pour mener cette réflexion ; en voici une s’appuyant sur des logiciels de cartographie mentale.
FreeMind, XMind et VUE (Visual Understanding Environment) sont des logiciels opensource écrits en java (multi pate-formes) permettant de faire des “cartes mentales” (ou “carte heuristique”, “mind maps”). Il s’agit ici de voir en quelle mesure ces programmes permettraient : 1) de s’affranchir de Word et de sa linéarité pour construire un plan de thèse, 2) de permettre à ce plan de thèse de pouvoir évoluer dans le temps au fur et à mesure que les idées et références l’enrichissent.
L’intérêt d’utiliser ce type de visualisation durant la première année de thèse est de pouvoir classer les différentes idées et thèmes de recherche qui viennent à l’esprit tout en ayant une vision globale et juger de la cohérence du tout. Ceci permet aussi de garder de côté certaines idées sans pour autant les inclure dans son plan de travail (telle la ramification “tâches” ou “idées vrac” du graphique ci-dessous) ou de les déplacer/copier d’une partie à l’autre. Bref ce type de visualisation permet de faire évoluer le projet initial de manière lisible sans avoir à le tronquer en cours de route.
L’avantage de cette méthode par rapport à un éditeur de texte de type Word est l’interactivité que cette visualisation permet. Sous Word tous les chapitres et sous-parties sont listés les uns après les autres, et il est compliqué d’avoir une vision d’ensemble. Sous FreeMind – ou tout autre logiciel de cartographie mentale – l’arborescence des thèmes (chapitres et sous parties) est tout aussi claire que sous Word, et chacune des “branches” peut être repliée pour donner encore plus de lisibilité au tout. Il est ensuite possible d’exporter l’arborescence en format texte.
Ci-dessous un exemple de “carte mentale” de ma thèse à l’heure actuelle :
Ici fait sous XMind (permet de mettre en ligne une version interactive) :
Ici le même plan fait sous FreeMind, ici presque entièrement “dépliée”, (cliquer sur l’image pour l’agrandir) :
Plan de ma thèse sous FreeMind : le premier étant celui proposé lors du dépôt de dossier, le second celui en cours de modification. (cliquer sur l'image pour l'agrandir)
Pour un rapide aperçu, voici un tutoriel trouvé sur YouTube expliquant le principe de base de FreeMind :
A partir des données recueillies sur Internet puis croisées, j’ai pu créer quelques graphiques montrant l’évolution de la production turque de séries télévisées entre 1970 et 2010. Les données seront prochainement disponibles sous forme de tableau excel sur ce site.
Quelques précisions et précautions : sur mon échantillon de base désagrégé (soit 1694 titres de séries recensées), une grande partie n’est pas encore totalement renseignée. En effet il me manque parfois soit l’année de production, soit la maison de production, soit le canal de diffusion, voire les trois. Le travail présenté dans ce billet est donc toujours en cours d’évolution et sera peut-être caduque une fois que l’ensemble de ces 1694 séries sera totalement renseignées.
De plus les données qui sont illustrées ici ne représentent que les années où ont été “lancés” ces titres : ces graphiques ne tiennent donc pas en compte les séries qui continuent d’une année sur l’autre (telles que Kurtlar Vadisi ou Muhteşem Yüzyıl) ou les taux d’audience. Prendre en compte ces aspects demandent de récupérer d’autres types de données, et ce par d’autres méthodes (ces chantiers sont en cours).
Pour ces raisons je ne m’aventurerai pas à tirer des conclusions à cette étape, si ce n’est pour remarquer ou questionner des grandes tendances.
Sources croisées : sinematurk.com / diziler.com / dizimizi.com / imdb.com
Données recueillies grâce à RapidMiner.
Graphique n°1 (cliquez pour agrandir)
Note concernant le graphique n°1 : le pic de l’année 2000 est soit intéressant soit suspect. Il peut s’agir soit d’une erreur dans les sources, soit d’une réelle “explosion” de la production. La question reste en suspens. On observe aussi un léger recul de la production entre 2008 et 2010.
Graphique n°2 (cliquez pour agrandir)
Note concernant le graphique n°2 : il s’agit de courbes empilées. L’intitulé “autres (<8)” correspond aux chaînes ayant diffusé moins de 8 titres de séries sur l’ensemble de la période étudiée. Le recul entre 2007 et 2010 est lui aussi à prendre avec précaution : erreur des sources ou effet réel ? De même il est impossible que la Fox (aka TGRT) ait diffusé des programmes avant 1993, date de son lancement. On en conclura qu’un nouveau nettoyage des sources est donc ici nécessaire, d’autant que l’échantillon ne couvre qu’environ un tiers de l’ensemble des séries recensées (1694 titres).
Graphique n°3 (cliquez pour agrandir)
Note concernant le graphique n°3 : comme pour le précédent graphique l’intitulé “autres (<15)” correspond aux maisons de production ayant produit moins de 15 titres de séries sur l’ensemble de la période étudiée. Entre 2005 et 2010, on notera que presque la moitié de la production est produite par des petites maisons de production (classées comme “autres (<15)”). Enfin on notera que l’échantillon ne couvre lui aussi qu’un peu plus d’un tiers de l’ensemble des séries recensées (1694 titres).
Graphique n°4 (cliquez pour agrandir)
Note concernant le graphique n°4 : ce graphique reprend les données du graphique précédent à ceci près qu’il ne comptabilise pas les maisons de production ayant produit moins de 15 titres de séries entre 1970 et 2010. Il permet d’observer une évolution allant de situations de quasi monopole dans les années 70 de quelques grands producteurs (nationaux comme la TRT), à une fragmentation de la production répartie entre une quinzaine de producteurs plus ou moins importants aujourd’hui.
Les entreprises liées aux médias sur le territoire d'Istanbul / nombre d'entreprises par mahalle tous clusters confondus (quartier) (source ITO 2009) - Note de l'auteur : les holdings et chaînes de télévision indiquées sur la carte ne sont que celles diffusant des séries
En 2006, sur les 72 heures en moyenne consacrées par mois à des activités dites culturelles, un citoyen turc passait 63 heures à regarder la télévision, contre environ 30 secondes à aller à des concerts, au musée ou à d’autres performances artistiques[1]. A ce niveau de consommation, qui demande une capacité à produire du loisir de façon industrielle, on ne peut que s’interroger sur les conditions de la production télévisuelle et leur réalité géographique.
Les thèses de David Harvey[2] et de Henri Lefebvre[3] ont déjà tissé des liens structurels entre capital, industrie et urbanisme mais se concentrent sur des territoires européens ou américains. Notre ambition est de poursuivre leur réflexion critique – ou celles d’Allen Scott[4] – pour la Turquie contemporaine, en déplaçant leur objet d’étude vers l’industrie du loisir qu’est la télévision. L’objectif modeste ici est de préparer quelques hypothèses, mais surtout de questionner les outils à disposition du chercheur en sciences sociales qui lui permettront de réfléchir à la part des logiques de marché dans les processus de production culturelle.
Cette première analyse cherche à repérer des regroupements géographiques d’activités caractéristiques de l’industrie des médias à Istanbul. Ce bref article tentera de faire une présentation synthétique des résultats de cette analyse statistique, de ses limites mais aussi des ouvertures possibles à d’autres recherches complémentaires. Ce travail – fait en partenariat avec Eda Yücesoy de l’université Sehir – s’inscrit dans le cadre de la préparation d’une thèse sur la production des industries culturelles[5] à Istanbul, prenant pour objet d’étude principal la production de feuilletons télévisés turcs et son lien à la question urbaine.
–
METHODE
Plusieurs études des clusters culturels d’Istanbul ont déjà été produites, particulièrement en 2010 à l’occasion du projet européen d’inventaire du patrimoine culturel d’Istanbul[6]. Cette analyse se démarque de ces recherches essentiellement par le type de méthode utilisée, l’approche relationnelle. En effet ces études se basent généralement sur des modèles et définitions pré-établis de « cluster culturel » développés par des institutions internationales (OCDE, UE, UNCTAD… ) ciblant un secteur d’activité précis, pour ensuite étudier la forme de ces modèles sur le territoire d’Istanbul[7]. Notre approche est ici inverse : chercher des regroupements relationnels sur l’ensemble du spectre des activités liées aux médias pour se demander ensuite si des schémas récurrents existent.
On le verra, certains des résultats de cette analyse tendent à rejoindre ceux produits pour le projet d’inventaire culturel, mais les enrichissent également d’une ouverture aux questions de structures de financement privé de la production culturelle.
Comme dans toute analyse statistique, un échantillon de cas a d’abord été choisi à partir d’une base de données désagrégée, le registre 2009 de la Chambre de Commerce d’Istanbul (ITO) : 824 types d’activités pour 295.000 entreprises recensées, classées selon la codification européenne NACE[8]. Notre échantillon couvre lui 75 types d’activités différentes et compte 34.110 entreprises. Cet éventail d’activités relativement large regroupe les activités liées à la communication, à l’édition, à la création artistique, à la finance, à l’enseignement, et les activités juridiques.
La méthode utilisée pour établir nos regroupements est basée sur celle développée par le professeur Murat Güvenç[9] de l’université Sehir, et procède de plusieurs calculs itératifs : calcul de l’indice de ségrégation (co-présences) des différentes activités en fonction de leur emplacement géographique[10] (semt), calcul des clusters grâce à l’indice d’écart à l’indépendance (Chi2 signé) et par la méthode dite de Ward, puis intégration des résultats dans un système d’information géographique (SIG)[11].
Un lien vers plusieurs tutoriels vidéo pour apprendre à se servir de Rapid Miner, un logiciel opensource (donc gratuit) permettant de programmer des scripts d’analyse statistique ou de “web scraping” (récupération automatique de données sur le net) :
“Google News automatically groups news tories with similar content and places them based on algorithmic results into clusters. In Newsmap, the size of each cell is determined by the amount of related articles that exist inside each news cluster that the Google News Aggregator presents. In that way users can quickly identify which news stories have been given the most coverage, viewing the map by region, topic or time. Through that process it still accentuates the importance of a given article.
Newsmap also allows to compare the news landscape among several countries, making it possible to differentiate which countries give more coverage to, for example, more national news than international or sports rather than business
Currently, the internet presents a highly disorganized collage of information. Many of us are working in an information-soaked world. There is too much of everything. We are subject everywhere to a sensory overload of images, bombarded with information; in magazines and advertisements, on TV, radio, in the cityscape. The internet is a wonderful communication tool, but day after day we find ourselves constantly dealing with information overload. Today, the internet presents a new challenge, the wide and unregulated distribution of information requires new visual paradigms to organize, simplify and analyze large amounts of data. New user interface challenges are arising to deal with all that overwhelming quantity of information.”
