Toutes les actus

Dans les coulisses de la vague 5 de la European Values Study

Interview avec Sandrine Astor, Pierre Bréchon et Frédéric Gonthier

Comment se prépare une grande enquête comme l’EVS ?

Les enquêtes récurrentes ont un petit avantage sur les enquêtes ad hoc. Elles mobilisent souvent des équipes déjà en place lors des vagues précédentes. Ces équipes disposent ou héritent de routines de fonctionnement bien éprouvées. C’est le cas en France, où les universitaires, chercheurs et ingénieurs qui travaillent sur l’enquête depuis les années 1990 sont fédérés dans l’association pour la recherche sur les systèmes de valeurs (ARVAL). La barométrie implique aussi la réplication de certaines étapes de travail sur le questionnaire ou la méthodologie, sans interdire d’ailleurs les innovations.

La préparation est-elle beaucoup plus complexe quand il y a plusieurs pays ?

La coordination internationale est en effet l’un des principaux défis des grandes enquêtes. Celle de l’EVS s’est mise en place très tôt, dès la fin 2013. Le cadre administratif a tout d’abord été préparé, sous la forme d’une Fondation internationale hébergée par l’Université de Tilburg aux Pays-Bas. Chaque pays partenaire a signé une convention avec cette Fondation, qui collecte également les cotisations nationales servant à financer une partie de la coordination.

Il ne faut pas sous-estimer la complexité de ces structures. Les statuts juridiques s’accompagnent de plusieurs obligations, comme celle de réunir régulièrement les différents comités. On ne saurait assez remercier les pays qui assurent le montage de ces structures et les chercheurs qui les font vivre.

Une fois tendu le cadre légal, la coordination internationale de l’EVS s’est déployée sur deux fronts. Un Theory Group a été formé pour préparer le nouveau questionnaire. Un Methodology Group a aussi été nommé pour réfléchir au recueil des données. Dans un souci d’efficacité, ces deux groupes ont été restreints à quelques pays mandatés pour leur expertise.

Comment la France est-elle représentée ?

La France a été élue dans les deux groupes. Pierre Bréchon a pris part aux activités du Theory Group. La préparation du nouveau questionnaire a surtout impliqué deux choses. D’abord, s’assurer que les dimensions et les concepts d’intérêt étaient bien mesurés. Ce qui passe par une longue réflexion sur la formulation des questions et par une analyse minutieuse des résultats des enquêtes précédentes. Certaines questions ont ainsi été abandonnées parce que peu pertinentes, ou tout simplement parce que peu utilisées.

Ensuite, il faut actualiser le questionnaire en développant de nouvelles dimensions, en lien avec des thématiques de recherche ou des sujets de société structurants pour les systèmes de valeurs. Par exemple, le nouveau questionnaire fait une large place à la question des migrations et à son influence sur les valeurs d’ouverture et de fermeture vis-à-vis d’autrui.

Les marges de manœuvre sont toutefois assez réduites car on doit conserver les deux tiers des questions des vagues précédentes pour optimiser les comparaisons dans le temps. L’un des objectifs du groupe était également de réduire le temps de passation du questionnaire. La barométrie peut donc aussi représenter une contrainte.

En fait, les chercheurs sont souvent d’accord sur les nouveaux thèmes à introduire. Mais ils ont plus de difficultés à s’entendre sur la manière de les prioriser et de les formuler. Par exemple, chaque pays est impacté différemment par les enjeux de l’immigration selon qu’il est pays d’accueil ou pays d’origine. Et le poids des cultures nationales reste fort sur les valeurs religieuses et familiales, comme on l’a montré dans notre dernier ouvrage collectif. Certains thèmes émergents sont aussi difficiles à introduire sous la forme de questions d’opinion, comme par exemple les inégalités liées au développement de l’intelligence artificielle, très bien analysées dans le dernier livre de Ronald Inglehart (dont la traduction française paraîtra en novembre aux Presses universitaires de Grenoble, sous le titre Les transformations culturelles. Comment les valeurs des individus bouleversent le monde). Etre ainsi limité dans l’actualisation d’un questionnaire peut être frustrant pour le chercheur, qui doit plutôt s’astreindre à l’amender par petites touches.

Qu’en est-il de l’autre groupe de travail ?

Le Methodology Group a été constitué pour faire un bilan des dispositifs de recueil utilisés lors des vagues précédentes et pour réfléchir à leur amélioration. Frédéric Gonthier y a représenté la France. L’un des enjeux pour ce groupe était d’arriver à monter en qualité et à faire en sorte que tous les pays respectent des standards méthodologiques exigeants.

Trois innovations ont été mises en place. La première concerne l’harmonisation des plans de sondage. Chaque pays s’est ainsi engagé à utiliser des bases de sondage nationales représentatives et à mettre en place un tirage aléatoire (éventuellement stratifié) des points d’enquête. Ces standards peuvent paraître une évidence, mais tous les pays ne sont pas forcément en capacité de les tenir. Ainsi, en 2008, l’Italie a utilisé des listes électorales, dont la couverture est bien moins bonne que celle du recensement. D’où l’importance de formaliser les standards le plus explicitement possible, par le biais notamment de Methodological Guidelines validés par chaque pays.

La seconde innovation porte sur la taille des échantillons, avec un minimum de 1200 entretiens en-face-à-face à réaliser par pays (1000 pour les pays de moins de deux millions d’habitants). Cela peut sembler sous-dimensionné. Mais il faut bien mesurer les implications financières de ce type de décision, tout particulièrement pour les pays d’Europe occidentale où le coût des enquêtes en-face-à-face est très élevé. Au demeurant, les « poids lourds » démographiques d’Europe de l’Ouest comme l’Allemagne ou la France dépassent cette volumétrie minimale, malgré des structures de financement très différentes.

La troisième innovation a trait aux modes de recueil. Afin de préparer une éventuelle transition vers les enquêtes online, la coordination EVS a donné la possibilité d’utiliser des mixed modes, sous la forme d’un complément web (ou papier) au recueil en face-à-face. Plusieurs pays, comme la Suisse, l’Allemagne, les Pays-Bas ou certains pays scandinaves, se sont saisis de cette opportunité. Une opportunité pas nécessairement accessible pour les pays qui ne disposent pas déjà d’une enquête online solide et financée par la recherche publique. Ou qui n’ont pas les ressources pour constituer un fichier d’adresses web, implémenter et suivre un terrain internet.

Il faut d’ailleurs noter que sur ces trois points, le Methodology Group a bénéficié de l’immense travail de veille et de documentation réalisé dans le cadre des autres programmes comme l’ESS ou l’ISSP. Le terme d’intellectuel collectif, volontiers employé en France, prend tout son sens pour caractériser les grandes enquêtes sociales internationales.

Est-ce que cette montée en qualité a été bien acceptée ?

L’harmonisation méthodologique ne se décrète pas. Il est crucial de sensibiliser et de convaincre les pays en amont. En plus des différentes réunions du Theory Group et du Methodology Group, plusieurs meetings intermédiaires ont ainsi eu lieu pour échanger avec les trente-sept pays participants et leur permettre de préparer leurs terrains. Chaque pays étant financièrement autonome, l’uniformité des process dissimule du reste la grande variété des financements de la recherche en Europe.

Mais le plus important est de donner aux pays les moyens de cette harmonisation. La coordination internationale a ainsi mis en place une série d’outils dédiés, qui permettent de structurer et de monitorer toutes les étapes de l’enquête dans l’ensemble des pays. Ces innovations logicielles sont les moins visibles, mais peut-être les plus décisives en termes d’avancée dans l’harmonisation. Elles ont pu voir le jour grâce à la sédimentation des routines issues des vagues précédentes, mais aussi grâce à l’investissement fort de l’Université de Tilburg et de l’infrastructure de recherche allemande GESIS qui ont engagé une partie de leurs ressources.

Concrètement, comment fonctionnent ces outils ?

Deux grands outils ont été mis en place. Le premier est un logiciel dit Translation Management Tool, qui aide à gérer la traduction des questionnaires nationaux. Techniquement, cet outil permet de séparer et d’assigner les tâches de traduction, en suivant les différentes étapes de la méthode TRAPD (Translation-Review-Adjudication-Pretest-Documentation) qui est aujourd’hui considérée comme la bonne pratique en matière de traduction. Pour le dire simplement, cette méthode préconise de passer par cinq phases : une traduction par au moins deux personnes indépendantes ; une révision concertée avec les traducteurs et un expert indépendant ; une prise de décision ; un pré-test ; et une documentation de l’ensemble de ces étapes.

Pas forcément très convivial, ce type d’outil est néanmoins utile sur le long terme puisqu’il conserve la trace des traductions effectuées et permet l’exportation du questionnaire dans différents formats. Il facilite aussi les échanges entre pays où le questionnaire est administré dans les mêmes langues. L’outil TMT est enfin intéressant pour superviser l’implémentation des classifications internationales. Dans les pays où les classifications ISCO-08 et ISCED ne coïncident pas bien avec les nomenclatures nationales de profession et de diplôme, il est précieux d’avoir une bonne visibilité sur cette étape et de pouvoir mutualiser certaines difficultés de traduction. Cela illustre bien la philosophie de la recherche quantitative internationale qui est une recherche en réseau.

Et l’autre outil ?

L’autre outil est un progiciel de gestion intégrée, installé pour structurer ce qu’on a appelé le workflow EVS. Comme la plupart des progiciels, le workflow EVS présente une multitude de fonctionnalités développées plus ou moins à la carte. On peut mentionner trois utilisations principales. La plus élémentaire est celle d’un espace de stockage sécurisé pour les documents importants. Un autre usage repose sur les possibilités d’échange en forum plus ou moins ouvert, permettant des navettes entre pays sur différents documents de travail.

Mais l’utilisation principale du workflow EVS est le suivi des terrains nationaux. Chaque pays a désigné un directeur de terrain (Fieldwork Director), qui est au cœur de l’élaboration du plan de sondage et qui a la connaissance la plus fine des spécifications du design d’enquête. Le directeur de terrain assure un trait d’union indispensable entre la coordination internationale et le recueil de données sur le terrain.

Pour la France, c’est Sandrine Astor qui fait ainsi le lien entre EVS et l’institut Kantar Public. Concrètement, chaque pays fait remonter au fil de l’eau un ensemble d’information clefs sur l’avancée du terrain national. Ce suivi « en temps réel » permet de détecter, de façon plus ou moins automatisée, des anomalies dans la progression du terrain et d’intervenir pour les corriger. Entre la vague 4 et la vague 5, on est passé d’un modèle de contrôle ex post (des inconsistances sur les données 2008 de l’Azerbaïdjan n’ont par exemple pu être repérées qu’en 2015) à un modèle de contrôle ex ante de la qualité des données.

Bien sûr, le coût d’apprentissage de ces outils est fort. Et le suivi ajoute une charge de travail aux équipes nationales. Certaines procédures de contrôle font aussi doublon avec les normes de qualité des instituts de sondage. Plusieurs équipes étaient donc au départ assez réticentes à utiliser le workflow EVS. Il ne faut cependant pas oublier que pour un grand nombre des pays d’Europe, ce type d’outil constitue d’abord une ressource et crée du coup une incitation forte à aller vers des standards méthodologiques exigeants. C’est l’objectif visé. A terme, un Data Processing Handbook sera édité pour présenter toutes les étapes de production des données de la European Values Study.

Quels sont vos objectifs en termes d’analyse ?

L’institut livrera les données françaises en septembre. Nous allons à ce moment-là entrer dans une séquence de publication similaire à celle de la vague 4. On va d’abord s’intéresser aux résultats français, en nous concentrant sur les tendances récentes qui seront par exemple riches d’enseignements sur le rapport à la démocratie et à la tolérance à autrui. Ensuite, une fois les premiers fichiers cumulés disponibles, nous pourrons élargir la focale et comparer l’état et l’évolution des systèmes de valeurs à l’échelle internationale.

Il faut signaler qu’un accord avec la World Values Survey (WVS) a permis de rapprocher les questionnaires de ces deux enquêtes jumelles, mais au périmètre géographique différent. Identiques pour les vagues de 1981 et 1990, leurs questionnaires s’étaient ensuite distanciés pour n’avoir plus qu’une question sur deux en commun. A la faveur du rapprochement récent, lié au fait que les deux enquêtes ont lieu en même temps, environ 90 % du questionnaire est désormais commun.

C’est un autre grand pas en direction de l’harmonisation. Il devrait porter à quatre-vingt le nombre de pays enquêtés et représenter une couverture de près de 90 % de la population mondiale. Pouvoir mettre en perspective le mouvement d’individualisation et de sécularisation qu’ont connu les démocraties occidentales avec les transformations de valeurs qui ont aujourd’hui lieu dans les pays d’Asie, d’Afrique ou du Moyen-Orient est une perspective de recherche extrêmement prometteuse. Plusieurs publications et manifestations internationales sont prévues. La France pourrait d’ailleurs accueillir une conférence EVS pour améliorer sa visibilité internationale.

Comment voyez-vous l’avenir de l’EVS et des enquêtes internationales ?

La tendance est indiscutablement à la globalisation. On le voit en particulier dans l’ISSP, un programme annuel d’enquête international aussi piloté depuis Grenoble, qui a intégré récemment des pays comme la Chine, l’Inde, la Tunisie ou le Suriname. Paradoxalement, le futur est plus incertain en Europe, du fait du coût élevé des enquêtes et des fortes contraintes financières sur la recherche universitaire. La montée en qualité sur les standards méthodologiques entraîne aussi un effet ciseau.

L’avenir de l’EVS a été évoqué lors du dernier meeting de la coordination internationale, qui s’est tenu à Cologne en mars 2018. Trois scenarii sont sur la table, avec chacun leurs avantages et leurs inconvénients. Le premier est de poursuivre le rapprochement avec WVS. Ce qui impliquerait de réaliser une enquête tous les cinq ans, et sans doute de faire des concessions avec la qualité des données dans les pays encore peu outillés en infrastructure d’enquête. La seconde option est celle d’une migration vers un dispositif online, dans le cadre par exemple du panel européen CRONOS. Cela pose un certain nombre de difficultés quand le questionnaire est long et que la familiarité avec les enquêtes web varie d’un pays à un autre. Le troisième scénario est une intégration de l’EVS dans l’ESS, sous la forme d’un module rotatif administré tous les neuf ans. Cette alternative est séduisante car elle permettrait de continuer à tirer vers le haut les standards méthodologiques. En même temps, il y a un risque non négligeable de décrochage pour les pays où le financement des enquêtes internationales est devenu très fragile, typiquement au Sud de l’Europe. Et réduire le périmètre géographique de l’EVS à l’Europe « institutionnelle » ne semble pas souhaitable.

Quoiqu’il en soit, le paysage des grandes enquêtes sociales va sans doute beaucoup évoluer au cours des dix prochaines années. Les acteurs en présence ont bien conscience qu’il faut rationaliser ce paysage pour rendre soutenable le modèle ambitieux d’une recherche quantitative par comparaison internationale.

Si besoin, d’illustrations :

Événements

Du 1 juillet 2018 au 6 juillet 2018

Summer Workshop au LIS, Luxembourg Income Study Database

L'école d'été introductoire du LIS (LIS Introductory Summer Workshop) est un cours intensif en anglais d'une semaine conçu pour introduire les chercheurs en SHS à la recherche comparative en distribution de revenus, politiques sociales et d'emploi, en utilisant les bases de données du Luxembourg Income Study Database (LIS) et du Luxembourg Wealth Study (LWS).

Opportunités

Du 1 mars 2018 au 31 mars 2018

CartONG recrute 8 profils différents

CartONG recrute 8 profils différents Chambéry CartONG est une ONG française créée en 2006 par des cartographes souhaitant...