1

2

Malgré une apparente bonne foi des auteurs, l'étude présente, il me semble, de nombreuses erreurs méthodologiques.

D'autre part, certains raisonnements logiques sont - ou me semblent – erronés.

La presse grand public a omis de nombreux détails qui tempèrent de manière forte les résultats de cette étude.

Et finalement, quand bien même les résultats de l'étude seraient justes, la presse grand public a retranscrit de manière (fortement ?) erronée les propos des auteurs. Pour atteindre directement la justification de cette affirmation, cliquez ici.

Contexte de l'étude

La question posée

This study seeks to answer the question - is ecocertification associated with quality?

Description des données utilisées

Quelques réflexions autour de la méthode

Variable dépendante : Le score de qualité

Variable indépendante et variables de contrôle

L'exploitation produit des vins écocertifiés L'exploitation est certifiée «Biodynamie» par l'association Demeter L'exploitation achète des raisins à une source satisfaisant les points 1 ou 2



vins produits par City Winery New York LLC Dba City Winery

Analyse des résultats

Interestingly, certification experience (which is equal to the vintage minus the first year the winery was certified) has a negative and statistically significant impact on scaled score.

La variation de score liée à la variable Ecocertified seule est absolument dénuée de sens. En effet, il ne peut pas y avoir d'écocertification sans y avoir également une baisse de point liée à la durée d'écocertification. En moyenne, la variation de score liée à un vin éco certifiée n'est donc plus que de 1.2 point (+4 points pour être Ecocertified et -2.8 points pour être certifié, en moyenne, depuis 3.8 années). Beaucoup moins impressionnant…



La relation obtenue par régression sur les deux variables liées à l'écocertification est du type $\Delta S = 4 - 0.74\times y$, avec $\Delta S$ la différence de score après $y$ années d'écocertification.

La plus grosse erreur : celle de la presse…

[…] ecocertification is associated with a statistically significant increase in wine quality rating. Being ecocertified increases the scaled score of the wine by 4.1 points on average.

Résultat : les vins «bio» (selon la certification officielle californienne) ou «biodynamiques» (selon la certification privée de Demeter) affichent en moyenne un score supérieur de 4 points aux vins conventionnels, sur une échelle graduée de 50 à 100 — 50 étant le score d'une épouvantable piquette, un grand cru d'exception pointant entre 90 et 100

Pour conclure

Si je m'étais arrêté à ma discussion, sur Twitter, j'aurais conclu que les vins bios étaient meilleurs que les vins conventionnels.

Si je m'étais arrêté aux articles de presse, j'aurais conclu qu'il y avait un impact positif important de l'agriculture biologique sur la qualité des vins.

Si je m'étais arrêté à l'abstract, j'aurais conclu qu'il y avait un impact positif (mais modéré) de l'écocertification sur la qualité des vins.

En lisant l'article complet, je conclue qu'il y a un impact positif, très modéré, de l'écocertification sur la qualité de l'ensemble des vins (même non-bio) produits par un établissement viticole, sous un nombre important d'hypothèses de modélisation et de possible biais statistiques… Notez bien que je ne jette pas la pierre aux auteurs de l'étude : ils ont été, eux, remarquablement honnête dans la description des limitations de leur étude et dans la retranscription de leur méthode !