Les classements internationaux : un défi pour notre université ?

Merci beaucoup.
Mon propos ne se limitera pas à décrire le classement Shanghai ou celui sur lequel nous travaillons en ce moment à l’OST mais, plus généralement, à replacer ces classements dans le mouvement qu’à la fois ils révèlent et provoquent.

Tout d’abord, je vous souhaite la bienvenue dans le monde enchanté des indicateurs, celui dans lequel évolue l’Observatoire des sciences et techniques (OST), structure dédiée à la conception et à la production d’indicateurs relatifs à la recherche et au développement, créée par Hubert Curien, sur impulsion de Pierre Papon, dans les années 90, à une époque où les indicateurs n’étaient pas encore une préoccupation majeure.

Les indicateurs, en décrivant le réel de façon simplifiée, aident à prendre des décisions. Or, prétendre mesurer ou décrire le réel n’est pas une opération simple ni transparente. Les indicateurs sont des outils imparfaits et complexes, qui pèsent sur le réel et le déforment.

C’est ce qui arrive avec les classements : ils s’appuient sur des indicateurs et ils sont faits pour éclairer, pour orienter les décisions de toute une série de publics intéressés. Mais tous leurs biais, tous leurs efforts, tout ce qu’ils ne mesurent pas bien et tout ce qu’ils mettent en évidence, influent en retour sur les systèmes et les acteurs et, quand il s’agit d’établissements d’enseignement supérieur, influencent les établissements eux-mêmes.

Les journaux nous ont familiarisés, au moins superficiellement, avec le classement de Shanghai. J’en dirai un mot. Mais je vais d’abord essayer de passer rapidement en revue l’univers foisonnant des classements et de leurs effets. Car nous devons nous intéresser à tous les classements internationaux, parce qu’ils ont des effets très importants sur les établissements français, effets qu’il ne faut surtout pas minimiser car ces classements sont regardés par la planète entière, dès leur sortie. Nous avons encore du mal à réaliser que ces exercices nous mettent en prise directe avec l’opinion, et qu’ils conditionnent la vision que toutes sortes de publics, à l’échelle mondiale, se font de notre enseignement supérieur.

Deux points me semblent importants, concernant les classements actuels :

Ils sont très récents (Shanghai date de 2004) et évoluent très rapidement. Une concurrence intense est à l’œuvre entre les milliers de classements – dont une fraction croissante sont internationaux – qui se créent tous les jours dans le monde. Il y a donc un foisonnement et, en même temps, une diversification parce qu’en fait ces classements répondent à des besoins divers.

La bonne nouvelle, d’une certaine manière, est la jeunesse, l’immaturité de ces classements que nous pouvons donc influencer. C’est pourquoi il faut nous y intéresser et tenter de discerner ceux qu’il convient de promouvoir.

La deuxième nouvelle, c’est qu’ils sont faits pour durer. Toutes sortes de classements, de plusieurs types, vont s’installer dans le paysage. Il est irréaliste de penser qu’il s’agit d’un simple mouvement de mode. Les classements vont perdurer parce qu’ils répondent à de réels besoins.

Un résumé des trois vagues successives de classements qui se sont succédé en cinq ou six ans révèle leur diversification :

La première vague fut celle des classements monodimensionnels, tel celui de Shanghai première manière : tous les établissements du monde sont classés les uns par rapport aux autres, par le truchement d’un seul nombre obtenu en moulinant différentes mesures censées refléter différentes dimensions de l’activité de l’établissement. Ce nombre génère le rang mondial de l’établissement. Ces classements monodimensionnels sont très normatifs. Par une opération un peu mystérieuse, une série de mesures – coefficientées ou non – sont combinées pour « mesurer » la qualité ou l’intérêt global d’un établissement et cette mesure détermine, chaque année, le rang mondial de cet établissement.

Ces classements monodimensionnels sont dépassés. Le « Shanghai première manière », basé sur les performances, les résultats de recherches des établissements, est devenu un classement de seconde génération, celle des classements multidimensionnels. En effet, vous avez pu remarquer qu’aujourd’hui, au-delà du premier classement global, Shanghai propose toute une série de classements thématiques par disciplines qui, de plus, distinguent les départements à l’intérieur des établissements. On peut donc caractériser un établissement par plusieurs résultats ou rangs. Ce caractère multidimensionnel peut donner à un établissement français jusqu’à présent ignoré par Shanghai une visibilité mondiale au niveau d’une discipline particulière d’un de ses départements. Un établissement écarté par son score global peut, sur telle ou telle partie qui correspond à une spécialisation, avoir une bonne visibilité. De plus on peut établir le profil de chaque établissement puisqu’il a différents rangs suivant les disciplines ou d’autres activités observées. Plusieurs thématiques, comme dans Shanghai, mais aussi plusieurs dimensions de l’activité d’un établissement déterminent plusieurs rangs qui dessinent son profil, ses points forts, ses insuffisances. On entre donc déjà dans une deuxième façon d’appréhender les établissements grâce au multidimensionnel (ou multicritère).

Cette méthode était une étape vers ce qu’on appelle le « multicritère personnalisable ». Comme précédemment, toute une série de mesure permettent d’évaluer toute une série d’activités d’un établissement mais cette fois l’utilisateur peut sélectionner les dimensions qui l’intéressent : les études doctorales dans telle discipline, les infrastructures dans telle autre… Dans certains de ces classements multicritères, qui visent un public d’étudiants, peuvent apparaître par exemple des indicateurs sur la qualité de l’hébergement étudiant. Dans d’autres classements, orientés vers un public de recruteurs, figure le salaire à la sortie des études. À l’intérieur de ce sous-panel des établissements, l’utilisateur fait son propre classement. C’est ce qu’on appelle le classement personnalisable. Et là, on rentre encore dans une autre dimension parce qu’on change complètement de point de vue. Au lieu d’avoir le point de vue normatif du rang mondial de tel établissement, l’utilisateur peut établir un classement des établissements en fonction de ses propres critères. Beaucoup moins normatif, ce classement vise à mettre en valeur une diversité d’établissements et à orienter les utilisateurs dans un monde foisonnant. Et si l’on songe que, d’après l’OCDE, il existe 17 000 établissements d’enseignement supérieur dans le monde, on comprend que ce vaste horizon international requiert des outils qui permettent de mettre en lumière tels ou tels critères. Nous disposons là d’un outil assez élaboré. De plus, ce type d’outil aide l’étudiant à identifier les dimensions importantes sur lesquelles il importe d’évaluer un établissement. Ces classements personnalisables peuvent être assortis de fiches descriptives sur les établissements. On est vraiment dans la notion d’information et d’orientation.

Ainsi, on rassemble sous le terme de « classement » des outils divers qui jouent des rôles différents. Certains normalisent et donnent des hiérarchies. D’autres permettent aux établissements eux-mêmes de savoir à quels autres établissements dans le monde ils sont comparables, en s’appuyant sur des profils. D’autres encore orientent les étudiants et autres utilisateurs selon divers critères (un peu comme on choisit un hôtel quand on prépare un voyage).

Le dernier étage de ces classements en pleine évolution est U-Multirank (1), classement européen qui combine l’approche par profil, par typologie avec l’approche par classement multidimensionnel. L’utilisateur est d’abord orienté vers les établissements qui ont les mêmes profils, sur la base de dimensions. À l’intérieur de cet espace, on établit une typologie : les grands établissements de recherche, les petits établissements à insertion locale… cette méthode les rend accessibles et comparables de manière à permettre de vrais classements entre eux.

Les classements multidimensionnels sont actuellement l’objet d’une âpre concurrence, notamment de la part d’acteurs du secteur privé. Car il y a de lourds enjeux économiques et industriels derrière ces outils qui prétendent informer la terre entière de ce que valent vraiment tous les établissements et de ce qu’on peut y trouver. C’est un monde qui est en train de foisonner, de bourgeonner, d’évoluer très vite et dans lequel il y a de plus en plus d’argent mis sur la table.

Ce premier point, sur l’évolution et la diversification des classements, visait à montrer la nécessité de surveiller ces outils normatifs, véritables outils de pouvoir, de puissance. Les classements commerciaux qui se montent seront accessibles en partie au moins sur abonnement. Il s’agit d’une véritable industrie de l’information scientifique dont les enjeux deviennent assez structurants.

Pourquoi les classements vont-ils s’installer dans le paysage ?
Parce qu’ils répondent à des besoins multiples, convergents et durables dont le premier est besoin d’information et à l’exigence de transparence de toute une série de publics, de « stakeholders » que j’énumérerai.

Ensuite, comme on le voit avec les enjeux industriels, parce que ces outils construisent des hiérarchies internationales qui sont un marché. Dans une société de la connaissance qui repose sur des flux d’informations, d’hommes et de connaissances, il faut organiser des hiérarchies parce qu’il y a des enjeux économiques : des systèmes de valeurs reconnus de tous les protagonistes sont nécessaires quand on veut fluidifier des échanges et favoriser des flux. C’est un peu la logique de l’agence de notation. Sans un minimum de hiérarchie qui permette d’établir des équivalences, il est très difficile de fluidifier les échanges. Ainsi, les établissements ont besoin de se situer dans la sphère internationale et de situer ceux avec lesquels ils vont collaborer. Les étudiants et les enseignants doivent avoir une idée du parcours qu’ils peuvent faire et de la « cote » des établissements où ils pourraient aller. Il faut une représentation globale du monde de la connaissance pour qu’on y on circule de manière ouverte. C’est pour cette raison que beaucoup d’acteurs commencent à s’intéresser à ces outils.

Les publics intéressés sont évidents mais il ne faut en omettre aucun.

Le premier public est celui des étudiants potentiels et de leurs familles. Dans les faits, les étudiants qui construisent leur projet de formation ne se servent pas encore très souvent de ces classements internationaux pour bouger, mais ils ont acquis, avec leurs familles, l’habitude d’avoir de l’information sur ce que « valent vraiment » les choses. Ils se sont habitués à des institutions transparentes (même si, parfois, il s’agit de fausse transparence) et à être informés. Il en va ainsi du classement des hôpitaux dont on ne se sert peut-être pas quand on est malade mais qu’on connaît. Avoir ce type d’information est devenu en quelque sorte un standard. Un bon établissement, dans un bon système, qui veut attirer les étudiants, donne toute information qui permet de montrer son souci de transparence. La transparence est perçue comme une valeur morale qui, selon toutes les enquêtes faites auprès des étudiants au niveau international, fait partie du système de valeurs et des attentes jugées légitimes des familles et des étudiants.

Un deuxième type de public est constitué des enseignants, des étudiants et de toutes les personnes qui travaillent dans un établissement d’enseignement supérieur. Ils ont besoin de savoir comment est situé leur établissement. Cette information leur semble importante. Pour certains, l’enjeu est une stratégie de carrière, pour d’autres, c’est un outil utile dans le cadre de la mobilité, notamment aux États-Unis où les enseignants sont vraiment mobiles.

Une troisième catégorie de public intéressé, est celle des bailleurs de fonds qui veulent vérifier la pertinence de leurs investissements, avec des critères et des informations fiables. On retrouve là la volonté de transparence et de sécurité.

La dernière catégorie de public est constituée des autorités de tutelle. Avec ces classements internationaux, les autorités de tutelle se retrouvent dans une position tout à fait nouvelle et inhabituelle. Il faut savoir que dans beaucoup de pays les autorités de tutelle utilisent des classements nationaux pour faire pression sur les établissements et les orienter vers ce qu’on juge les valeurs importantes. Mais là, elles sont dans la position d’être elles-mêmes évaluées sur le classement des établissements du système de recherche dont elles ont la responsabilité. C’est une position inédite qu’elles ressentent comme très injuste – et qui l’est d’ailleurs dans une certaine mesure – notamment parce qu’on regarde une partie infime des établissements (100 ou 500, sur 17 000 …) sans tenir compte de ce qu’ils représentent dans chaque système. On réduit le système à une frange très particulière d’établissements et on crée une pression sur les politiques d’enseignement supérieur par rapport à cette élite, indépendamment des objectifs du système dans sa globalité. Or, chaque classement exprime un système de valeurs qui peut être différent de celui qui est porté par le système de recherche de tel ou tel pays. Ainsi, on peut remarquer que la France, mal classée dans Shanghai si on observe les 100 premiers établissements du classement, se trouve au 57ème ou 6ème rang mondial si on s’intéresse aux 500 premiers établissements – c’est-à-dire au rang de ses dépenses de R&D ou de sa part de publications, ce qui traduit le choix qu’avait fait la France de ne pas chercher à différencier des universités fortes et prestigieuses, mais de s’appuyer sur d’autres types d’établissements pour lesquels la recherche ne jouait pas le rôle discriminant qu’elle peut jouer dans les universités d’élite britanniques par exemple. Bref, sans développer plus avant ce thème, je voudrais souligner que les classements sont des instruments qui évaluent à partir d’un système de valeurs qui exerce de facto une pression sur une partie des établissements et sur les gouvernements. La multiplicité des exercices de classement amoindrit un peu cette pression en la diluant dans des résultats contradictoires, mais elle existe, ne fût-ce que parce que tout système d’enseignement supérieur a besoin d’attirer des étudiants et des chercheurs.

Marie-Françoise Bechtel
Ce que vous avez dit est assez terrifiant.

Ghislaine Filliatreau
Mon intention n’était pas de vous terrifier mais de faire prendre conscience de l’importance, des enjeux de ces classements. Qu’il s’agisse de classements globaux ou de classements multidimensionnels, la pression inéluctable qu’ils exercent pousse à la différenciation, soit d’une élite, soit des différentes catégories d’établissements (« les excellences »). Il y a là un point très particulier qui, en France, mérite réflexion pour pouvoir l’affronter. Les conséquences sont importantes puisque certains établissements vont développer des stratégies de différenciation.

Je vais donc parler de ces effets, très rapidement, pour essayer de redonner le moral à tout le monde.
On l’a dit, une pression normative s’exerce au niveau du système. Certes, on ne choisit pas les classements, imposés de l’extérieur. Mais il y a de réels systèmes de valeurs dans chacun d’eux, qui se traduisent dans ce qu’ils choisissent de mesurer. Or, les classements sont en train d’évoluer, ils sont très compliqués, ce n’est vraiment pas une science exacte, ça bourgeonne de partout … tant mieux ! Il faut participer, il faut apprendre en participant, peser en participant. Le pire serait d’attendre en se contentant d’adopter une attitude critique sans se donner les moyens d’être proactifs vis-à-vis des classements.

L’OST, par exemple, fait partie de l’IREG (2), une organisation internationale qui voudrait s’essayer à réguler les classements, à définir de bonnes pratiques. Pour y participer, il faut réellement se mettre dans le bain, décortiquer les divers classements, faire des propositions, prendre des initiatives. Une initiative française à l’origine et maintenant au niveau européen, c’est le classement U-multirank. Mais on ne peut s’en tenir là parce qu’il est impossible de se tenir à l’écart pour les raisons que j’ai dites. Nos établissements ne peuvent pas, s’opposant à la transparence, refuser de fournir les informations au prétexte que nous trouvons l’exercice stupide. Cette posture n’est pas adaptée si nous prétendons attirer les étudiants étrangers et si nous souhaitons que nos propres étudiants se sentent mobiles et ouverts au monde. Ce n’est pas tenable, ne fût-ce qu’au niveau de l’image, car cela ne permet pas d’avoir un discours offensif. Il faut, au contraire, en quelque sorte, « se jeter dans le bain » pour contribuer à la diversification des exercices en faisant des propositions alternatives et en montrant ce qu’elles peuvent avoir d’intéressant.

L’autorité de tutelle se doit d’aider les établissements dans cette démarche, en travaillant à un certain nombre d’initiatives, en faisant des études, des propositions, en s’insérant dans les mouvements internationaux où il faut aussi essayer de relayer les besoins de nos établissements. Nous pourrons ainsi acquérir une meilleure connaissance de ces outils qui sont, de mon point de vue, absolument inéluctables : comme au judo, il faut se mettre dans le mouvement et pousser vers là où on veut aller.

Marie-Françoise Bechtel
Merci, Madame, je vous ai obligée, en raison des contraintes de temps, à condenser, voire accélérer votre propos. J‘espère que vous nous le pardonnez. Heureusement, vous avez tenu le pari et ce propos m’a paru parfaitement informatif et pertinent.

L’heure étant ce qu’elle est, je vais céder la parole à Jean-Pierre Chevènement pour une conclusion en forme de rebondissement.

———
1) U-Multirank : Classement mondial des établissements d’enseignement supérieur (www.u-multirank.eu). Pour le mettre en place, la Commission européenne a retenu le consortium européen CHERPA Network.
2) Groupe d’experts internationaux (International Ranking Expert Group), IREG (Observatory on Academic Rankings and Excellence) www.ireg-observatory.org

———
Le cahier imprimé du colloque « Quelle Université française pour demain? » est disponible à la vente dans la boutique en ligne de la Fondation.