Proofiness

Je ne connaissais pas le mot en anglais, et après recherche je ne le trouve dans aucun dictionnaire.

Proofiness est un livre en anglais de Charles Seife, sous-titré The dark arts of mathematical deception. (Petite précision immédiate pour les non-anglophones : le mot deception en anglais signifie tromperie. Pour les francophones, rien que le mot en constitue donc déjà une*).

Je vous traduis un petit passage d'une Book Review pour expliquer le titre :

Bien que Seife ne le dise jamais aussi explicitement, le titre du livre fait allusion à "truthiness" - mot de l'année en 2005 [probablement aux Etats-Unis], selon l'American Dialect Society, qui l'a défini comme "l'attitude consistant à préférer des concepts ou des faits qu'on aimerait être vrais à ceux qui sont connus comme étant vrais". [...] Le cousin mathématique de "truthiness" est "proofiness" : l'art d'utiliser des arguments mathématiques bidon pour prouver quelque chose dont on sait au fond de son coeur que c'est vrai - même si ça ne l'est pas.

Le livre est composé de huit chapitres. Pour chacun d'eux j'évoquerai ici une partie du contenu, mais le reste appartiendra aux lecteurs.

1. Phony Facts, Phony Figures (Faits Bidon, Chiffres Bidon**)

- L'idée reçue : Si la raison est Dieu les nombres sont les saints

If you want people to believe something really, really stupid, just stick a number on it.

S'ils sont argumentés par des nombres, les gens ne se demanderont même pas comment on peut savoir que 58% des abdos aux US sont faits devant un programme d'exercice à la TV.

Ce chapitre constitue une accumulation d'exemples de mathématiques employés à mauvais escient dans la vie courante.

Et pourtant parfois le nombre mériterait un peu plus de prudence dans son interprétation.

A number without a unit is ethereal and abstract. With a unit it acquires a meaning, but at the same time, it loses its purity [...] It becomes tainted with the incertainties and the imperfections of the real world. [...] It's true ; all measurements are imperfect.

- Les chiffres significatifs

En physique-chimie on parle de chiffres significatifs pour illustrer ce phénomène. Un exemple simple : je mesure le pied de ma table avec un double décimètre gradué au millimètre. je trouve 47,2 cm.

Ca ne veut pas dire que le pied de la table mesure 47,2 cm exactement, ça veut dire qu'il mesure 47,2 cm plus ou moins une fraction de millimètre ; dans ce cas-là, un demi-millimètre, vu qu'on arrive à dire si on est plus près de 47,2 que de son voisin 47,1 ou 47,3. Rajoute à ceci l'incertitude lors de la fabrication, il y en a toujours une que les contrôles qualité servent à rendre minime mais qui rendent tout de même la vie infernale en chimie analytique.

On peut faire ce genre d'opération avec une balance, un thermomètre...

Mais une mauvaise compréhension de cette notion peut faire dire des bêtises : comme la personne à qui on dira qu'une étoile a 100 millions d'années (sous-entendu environ) comprendra 100 000 000 exactement et dira elle-même un an plus tard que l'étoile a 100 000 001 ans, ce qui paraît absurde.

- Les nombres Potemkine

Et encore, ce mesurage*** n'est pas le pire, car à peu près tous les opérateurs sont d'accord sur la définition de la longueur et du mètre, ou d'une durée et d'un an. Le pire comme dit Seife, c'est quand on cherche à mesurer des grandeurs mal définies : l'intelligence, la douleur, le sens de l'humour (comme aurait dit Sheldon), ou même un impact... quand on dit que ce test augmente l'intelligence de 40% ou donneront 3 fois plus d'impact à vos cils, on tombe dans le parfait Proofiness. Ces chiffres sont phony. L'auteur les appelle des nombres Potemkine.

2. Rorschach's Demon

Ben voilà tiens, en voilà un exemple directement appliqué en France (et avec circonstances aggravantes) de ce concept.

On prend un résultat non significatif et on lui donne l'air significatif.

L'exemple qui suit est totalement issu de mon imagination et de la fonction d'Excel générant des nombres aléatoires. Mais y a vraiment des études qui ressemblent à ça (celles du bouquin sont réelles, par exemple)

Imaginons donc une compagnie qui veut prouver que la consommation régulière du yaourt qu'elle commercialise augmente l'espérance de vie. Les données récoltées seraient les suivantes :

Je peux décider d'interpréter que l'espérance de vie augmente de 15 ans si tu manges un yaourt tous les jours. C'est probablement ce qu'un bon commercial fera : eh oui, les chiffres sont vraiment obtenus selon les règles mais l'interprétation est d'eux...

Je peux aussi utiliser le modèle donné par Excel et dessiner une variation si peu "statistiquement significative" comme dit le jargon que ça ne veut rien dire du tout.

(Et encore là je ne compte pas les facteurs de confusion, ni la taille et la représentativité de l'échantillon... j'y viendrai)

Quant à la vérité de l'assertion "consommer ce yaourt augmente l'espérance de vie" ? Deux hypothèses :

- Il n'y a aucun lien entre ces deux variables

- Il y en a bien un, que cette étude ne dégage pas car elle est mal menée (possible aussi, le lien fourni en début de cette partie le montre)

Dans ce deuxième cas on dégage deux possibilités non exclusives :

- Le yaourt augmente bien l'espérance de vie de ses consommateurs

- Ou, comme rappelons-le, c'est une marque de luxe, ceux qui le consommeront seront sans doute de classes plus aisées en moyenne que les autres, ce qui introduit un biais, ou plus exactement une corrélation entre les deux faits sans lien de causalité ; un comportement que Seife appelle causuistry.

Casuistry - without the extra "u" - is the art of making a misleading argument through seemingly sound principles. Causuistry is a specialized for of casuistry where the fault of the argument comes from implying that there is a causal relationship between two things where in fact there isn't any such linkage.

(C'est trop génial la langue anglaise qui permet de former des mots comme proofiness et causuistry quand même... imaginez en français ?)

Ci-dessus la version un peu plus développée de ce que je viens de dire : cela consiste à conclure que lorsque deux choses sont présentes simultanément l'une a causé l'autre. Le livre prend comme exemple le parallèle qui fut fait un peu rapidement par la communauté médicale entre un nouveau produit alimentaire mis sur le marché et la recrudescence d'une maladie, oubliant de prendre en compte le simple fait qu'à cette même époque le dépistage de cette maladie avait pris beaucoup d'ampleur.

A ranger dans la causuistry : les "regressions to the moon" consistant à mettre des modèles en équation et les imaginer universels ; un de ces modèles affirme que les femmes courront le cent mètres à Mach 1 au XXIIIe siècle ; un autre a fait accuser la Russie de violer les traités internationaux sur le nucléaire, plus précisément le point concernant la puissance maximale autorisée des essais, en interprétant des mesures sismiques selon une équation valable pour le Nevada (USA).

3. Risky Business

De l'évaluation, la communication et la conception du risque par les sociétés et les populations.

Des histoires des chances de crash notamment d'appareils volants ou spatiaux complètement phony pour raisons politiques, et le fait qu'un scénario présentant une alternative entre deux possibilités, présenté avec les mêmes arguments mathématiques mais présentés de manières différente - l'une évoquant indirectement les avantages de la première alternative et l'autre ses inconvénients - génèrera un choix fait selon la rhétorique et non les arguments mathématiques.

On peut faire la même expérience en France avec le nucléaire, en présentant d'un côté l'augmentation du prix que génèrera l'abandon du nucléaire et de l'autre "s'il se passe quelque chose nous et nos territoires sommes morts". C'est à peu près l'exercice constant auquel on se livre depuis Fukushima (et si encore les chiffres étaient les mêmes comme dans l'expérience précédente, ça serait un progrès).

La sous-estimation commune du risque à pourcentage faible.

La finance et les placements sont naturellement également évoqués, ainsi que le risque qu'un assureur encourt dans son business et comment il peut faire pour le contourner... très claire illustration des causes au moins partielles de Notre Crise des Subprimes.

4. Poll Cats

Oh comme je l'attendais la question des sondages !

Il y a tout :

- l'anecdote du rédacteur en chef d'un journal américain mis à imprimer trop tôt après une élection pas encore comptée et qui avait fait sa une en se fiant aux résultats partiels qui confirmaient les sondages... erreur ! et qui aurait dit, attention les yeux :

"I think the 1948 polls were more accurate than the 1948 election."

Mon grand fou rire du livre !

Et les problèmes du sondage un par un :

En premier, la supposition que le sondage auprès de l'échantillon représente exactement l'opinion de la population entière. Ca c'est un problème que je connais bien, en analyse quand on travaille sur des sols ou du sable.

Solution évidente : tenter de réduire la marge d'erreur (concept que la plupart des journalistes maîtrisent à peu près aussi bien que moi un semi-remorque).

La marge d'erreur est l'intervalle entourant la réponse donnée dans lequel la réponse réelle a X% de chances de se trouver (ce X chiffre l'effet du hasard qui peut être un sacré couillon parfois et avoir complètement faussé ton échantillon même si t'as bien bossé : on veut le hasard minime, donc X important). Oui c'est compliqué.

Disons par exemple que si des études permettent de dire que ma plantation de choux va générer cette année 56 choux avec une marge d'erreur :

- de 5 choux à X=95% de certitude : J'ai 95% de chances d'obtenir entre 51 et 61 choux,

- de 8 choux à X=99% de certitude : J'ai 99% de chances d'obtenir entre 48 et 64 choux.

(Si si ces deux affirmations sont parfaitement compatibles)

Concrètement, ça veut dire que je suis sûr à 95% seulement de pouvoir livrer les 50 choux que je dois à mon client après la récolte. Pas à 99% par contre.

Donc la marge d'erreur change selon le degré de certitude que tu veux apporter à ce résultat.

Quoi migraine ? Ah c'est compliqué la science des statistiques et des sondages, hein ?

Ben les journalistes aussi sont dans les choux pour le coup, hein.

Plus simplement, la marge d'erreur (qu'on dit erreur aléatoire) change également avec la taille de l'échantillon : plus il est grand, plus l'erreur aléatoire est petite.

C'est ce qu'a voulu faire un magazine pour l'élection Roosevelt-Landon de 1936, en sélectionnant un échantillon énorme composé de près du quart des votants de l'époque... et l'erreur équivalut à 250 fois la marge d'erreur calculée.

Pourquoi ? Parce que l'échantillon comportait ce qu'on appelle une erreur systématique : un énorme biais qui lui ne diminue pas avec la taille de l'échantillon... les sondés l'étaient par téléphone, rares à l'époque et réservés aux riches, ce qui donnait un échantillon très nettement surreprésenté en votes républicains par rapport à la population...

D'autres énormes biais des sondages sont abordés que je ne détaillerai pas non plus.

5. Electile Dysfunction

6. An Unfair Vote

Je rassemble ces deux-là sous forme de problématiques :

- Y a-t-il un dénommé 'Lizard People' dans l'Etat du Minnesota ? Ce vote pour Lizard People est-il valide ou blanc ?

- Parlons des erreurs de comptage... Bush v. Gore ? Impossible de connaître le nombre de voix exact pour chaque candidat ?

- Ne serait-il pas plus démocratique d'établir un système de classement des candidats par chaque votant plutôt que juste un nom afin de choisir le gagnant ?

7. Alternate Realities

Des cas de tribunal pour lesquels les arguments mathématiques bidon utilisés ont pu participer à la condamnation ou l'acquittement d'accusés, et aussi un cas médiatique sur la question du caractère dissuasif de la peine de mort.

Permettez-moi d'utiliser l'exemple théorique**** de l'annexe liée à ce chapitre car je considère qu'il a vraiment une valeur pédagogique.

Il utilise l'exemple d'une maladie rare et incurable qui peut être

fait n°1 : dépistée par un test qui dans 0,00001% des cas (une fois sur un million) seulement détecte un "faux positif" .

Vous subissez le test. Vous êtes positif. Vous êtes effondré. En effet, si un seul test sur un million donne un faux positif il est très improbable que vous soyez concerné par ce faux positif donc vous êtes sûrement vraiment positif.

Quoique ?

Il ne faut sans doute pas ignorer le

fait n°2 : la maladie, comme on l'a dit, est rare. En fait, elle touche une personne sur un milliard.

Ce qui voudrait dire que si on testait la planète entière, dont on estimera la population à sept milliards alors

fait n°3 : on aurait des résultats très voisins de

- sept vrais malades

- et sept mille faux positifs...

Soit une probabilité d'être vraiment malade de 0,1% seulement et non de 99,99999% comme on le croyait au départ.

Vous pouvez être un peu rassuré quand même.

(Tiens c'est marrant ça, y a un exo qui illustre pile ce genre de confusion dans le bac de maths d'hier. Pas besoin de savoir le faire il suffit de lire l'énoncé de la partie A de l'exo 1.)

Beaucoup de cas en justice donnent un fait numéro 1 sans le pondérer avec un fait numéro 2 et en n'en déduisant donc pas le fait n°3 qui donnerait une interprétation très différente du fait n°1. C'est un exemple de proofiness.

En remplaçant maladie par meurtre et en adaptant les phrases, on peut avoir une idée des arguments bidon avancés par certains procureurs et avocats.

C'est ainsi qu'un avocat a intentionnellement trompé le jury en lui faisant confondre "probabilité qu'une femme battue soit assassinée par son mari" (0,1%) et "probabilité que cette femme battue dont on sait qu'elle a été tuée l'ait été par son mari" (supérieure à 50%).

Par exemple.

8. Propaganda By The Numbers

Comment les gouvernements utilisent à mauvais escient les nombres pour tromper l'opinion, en particulier lors de la guerre du Vietnam.

Voilà. Pour des raisons éditoriales, cet article n'est qu'une overview***** partielle et pas un résumé exhaustif. Ca se voit d'ailleurs en le lisant, j'empiète un peu sur le droit classique de citation mais c'est pour faire de la pub.

Bref, si vous lisez la langue de Shakespeare dans le texte, c'est vraiment super instructif.

*Oui c'est nul.

** Orthographe à vérifier.

*** Le mot existe. Inventé par des techniciens qualité qui trouvaient le mot mesure trop polysémique. Le mesurage désigne l'action de mesurer, la mesurande est la grandeur mesurée.

**** Que j'ai dû réécrire plusieurs fois et relire une dizaine parce qu'avec les probas il faut faire super attention à ce dont on parle.

***** Comment ça se dit en français bon sang ?