Classement des pays par médailles aux Jeux Olympiques 2008: une approche Web Analytics

Il y a quelques jours, cet article du Figaro a attiré mon attention sur la question du classement des pays aux Jeux Olympiques qui, semble-t-il, a toujours posé un certain casse-tête. Les États-Unis comptent le nombre total de médailles remportées (et donc sortent en tête des jeux de Beijing / Pékin) tandis que le reste du monde utilise un système tout aussi défaillant qui consiste à compter uniquement le nombre de médailles d’or (si ex aequo, le nombre de médailles d’argent est pris en compte puis bronze).

Ce dernier système a au moins le mérite d’être celui utilisé par le comité Olympique, même si le comité propose ce tableau purement à titre indicatif et ne revêt aucun caractère officiel. Jusqu’aux Jeux Olympiques de 1920 d’ailleurs, les sports d’équipe pouvaient comporter des sportifs de nationalités différentes (vous remarquerez, je l’espère, le travail de recherche que j’ai effectué pour pondre cet article) – c’est dire que les Jeux n’avaient aucune vocation à mettre les pays en concurrence.

Mais comme l’expose éminemment ce journaliste du Figaro, en dépit des intentions de départ, les jeux ont au fil des ans acquis un caractère concurrentiel entre pays des plus poussés. En l’absence d’un classement officiel, chacun n’en fait qu’à sa tête (voire à son avantage) et les États-Unis et la Chine sont tous deux convaincus de sortir grands vainqueurs de cette confrontation géopolitique.

En essayant tant bien que mal d’imaginer un classement plus juste, je me suis rendu compte des rapprochements qui pouvaient être fait entre le Web Analytics et le classement des médailles par pays.

1. Prendre en compte les micro-conversions

Il est toujours bon dans le Web Analytics de prendre en compte des indicateurs autres que le taux de conversion pour mesurer la notion de “engagement” (à prononcer en anglais) de vos visiteurs. Avinash a d’ailleurs écrit un très bon article sur cette question. Sur ce blog, je mesure comme micro-conversions un clic AdSense (plus pour le défi que pour les thunes), un commentaire laissé, une inscription au flux RSS et une inscription par email. En leur assignant une valeur monétaire incrémentale en fonction de la valeur que chaque action a pour moi (en l’occurrence, de manière complètement symbolique), je peux me faire une idée comparative entre plusieurs sources de trafic en comparant le “Per visit goal value” ou voir quelles pages ont la plus grande valeur en comparant leur “$ Index” (XiTi propose un indicateur de ce type, mystérieusement baptisé – à mon sens en tout cas – “Quotient Comportemental”).

En appliquant ce principe au classement des pays, on peut imaginer un score de médailles qui prenne en compte toutes les médailles remportées (contrairement au classement du comité olympique), sans pour autant considérer qu’une médaille d’or a la même valeur qu’une médaille de bronze (contrairement au système américain).

La presse britannique avait développé un tel système pour les Jeux Olympiques de Londres en 1908 (non seulement je fais de la recherche, mais en plus je cite mes sources) en donnant une valeur de 5 points pour l’or, 3 pour l’argent et 1 pour le bronze. Voici le classement que l’on obtiendrait de la sorte:

Rien de tel pour faire passer la France de la dixième à la huitième place !

2. Mesurer des ratios plutôt que des valeurs absolues

Nul besoin de m’attarder trop longtemps sur ce point. Je pense que l’on est tous d’accord que l’on aurait du mal à s’en remettre si on comparait la performance de plusieurs campagnes avec différents volumes respectifs, en se basant uniquement sur le nombre total de conversions générées (sans considérer le taux de conversion). De la même manière, est-il réellement juste de comparer des valeurs absolues de médailles remportées sans prendre en compte la population des pays concernés ? Est-il réellement justifié de déduire du précédent tableau que la Chine a une culture sportive beaucoup plus développée qu’un pays comme l’Australie par exemple ? Essayons donc de déterminer un “taux de conversion” de médailles par pays. Aucun classement dans l’immédiat, car il faut tout d’abord prendre en compte le point suivant.

3. Toujours soumettre son analyse à la rigueur statistique

J’ai parlé dans un précédent billet de l’intérêt évident qu’il pouvait y avoir à utiliser des tests pour déterminer si la différence de résultats entre deux campagnes marketing était statistiquement significative ou non. Dans le cas qui nous intéresse, si on divise tout simplement le nombre de médailles d’or obtenues, par la population (exprimée en millions dans mon tableau), on se retrouverait avec ce que des personnes moins politiquement correctes que votre serviteur appelleraient “des petits pays à la con” en tête de classement, tout simplement parce qu’ils ont remporté une seule et unique médaille et ont une population minuscule.

De manière à ne pas fausser un tel classement, j’ai décidé d’exclure quelques pays sur la base de deux critères (tous deux étant nécessaires à l’exclusion).
N’est pas pris en compte, tout pays qui, à la fois:

a. pourrait passer de la dernière à une des deux premières places en remportant une seule et unique médaille d’or, et

b. a remporté moins de 3 médailles au total

C’est ainsi que nous sommes obligés d’exclure l’Islande, le Bahreïn et les Bahamas de ce classement.

(Il y a plusieurs autres méthodes, probablement plus rigoureuses que celle-ci, qui pourraient être employées. En revanche, elles m’auraient prit quelques heures de plus à mettre en œuvre et mon dévouement à ce qui demeure un petit exercice académique commence à rencontrer ses limites. De plus, elles arriveraient au même résultat. Quelle que soit la méthode employée, le seuil de ce qui est statistiquement significatif demeure arbitraire et repose uniquement sur le bon sens).

Classement des pays par médailles d’or ramenées à la population:

Classement des pays par score ramené à la population:

On va dire que ce dernier tableau est à peu de choses près mon ultime tableau de classement olympique des pays, en faisant appel aux principes d’analyse inhérents au Web Analytics. Cela dit, on ne saurait trouver la solution parfaite à ce problème. Je vous soumets donc, en guise de conclusion, quelques pensées par rapport aux limitations de l’exercice auquel je me suis prêté ici:

a. En prenant en compte la population, j’introduis du coup un nouveau biais contre les pays à forte population étant donné que chaque pays est limité dans le nombre d’athlètes qu’ils peuvent envoyer aux jeux.

b. On pourrait pousser l’analogie plus loin et prendre en compte les médaillés uniques par pays et par population (si Michael Phelps était un pays à lui tout seul, avec ses 8 médailles d’or, il supplanterait la France à la 10ème place).

c. Le choix de scoring 5-3-1 est comlètement subjectif, même si je me plie au précédent historique. Une médaille d’or vaut-elle réellement 5 médailles de bronze ? Vous pouvez télécharger mon fichier Excel (ici en format 2007 et ici en format xls normal) pour déterminer votre propre classement en changeant par exemple les valeurs que j’ai attribuées aux différentes médailles dans le scoring.

Bon, au final, je vais quand même livrer un dernier classement, identique au dernier (classement des pays par score ramené à la population), mais en ne prenant en compte que les pays de plus de 20 millions d’habitants. Cela aura pour effet de ne présenter que des pays qui nous ressemblent un peu et de réduire considérablement le biais énoncé en a. plus haut: