Évaluation des bibliothèques des Hautes écoles spécialisées suisses, vers un benchmarking au niveau national ?

Évaluation des bibliothèques des Hautes écoles spécialisées suisses, vers un benchmarking au niveau national ?

1.    Introduction

Contexte du mandat

Le souci de la Commission spécialisée des bibliothèques HES (CBH), organe de la Conférence des recteurs des hautes écoles spécialisées suisses (KFH), de mettre au point un document de référence pour la gestion des bibliothèques des Hautes écoles spécialisées suisses (ci-après HES) s’inscrit dans le contexte des changements académiques survenus dans les années 2000 avec la réforme dite de Bologne.

En effet, ces bibliothèques ont vu leurs tâches de soutien devenir de plus en plus importantes au sein du cursus Bachelor qui demande une grande part de travail personnel aux étudiants. De plus, la création du cursus Master, le soutien à l’enseignement et les exigences de recherche appliquée exigent également de ces SID un service de haute qualité, indispensable au bon fonctionnement de ces écoles.

Pour garantir ce service de manière équitable, une homogénéité dans les pratiques et les moyens doit être visée. C’est dans cette idée que la CBH a rédigé en octobre 2008 un projet de Document de référence nommé Directive pour la bibliothèque HES (CBH, 2008) qui sera soumis pour validation à la KFH et validé dans une version remaniée en 2009 sous l’intitulé Bibliothèques des Hautes écoles spécialisées : document de référence (KFH, 2009). Grâce à ce document, les HES ont un référentiel auquel comparer concrètement et objectivement leurs bibliothèques et tendre vers une homogénéité au niveau national.

Pour effectuer une évaluation et atteindre ces buts, un panel d’indicateurs devait accompagner ce document et donner aux bibliothèques un outil de mesure précis de leur performance bibliothéconomique et de la qualité de service. Ces indicateurs doivent être les mêmes pour permettre des mesures objectives et offrir une vue d’ensemble des bibliothèques HES suisses.

Le mandat

C’est dans l’optique de créer ce panel d’indicateurs que la CBH m’a mandaté dans le cadre de mon Travail de Bachelor à la HEG de Genève. Ce travail s’est donc basé sur la version de 2008 du Document de référence, alors encore appelé Directive.

L’objet du travail était donc, d’une part, la sélection, la définition d’indicateurs de performance et de qualité ainsi que l’explicitation de ces indicateurs afin que les bibliothécaires sachent comment les utiliser et les interpréter en évitant toute ambiguïté ; d’autre part de proposer, si possible, des valeurs de référence pour chaque indicateur afin de mesurer concrètement la différence entre le niveau atteint et le niveau souhaité. Ces indicateurs devaient impérativement rester dans le cadre du Document de référence de la CBH.

Voici les objectifs généraux du mandat:

• Proposer des indicateurs de performance, de qualité et stratégiques(1) qui permettront aux bibliothèques de mesurer leur écart par rapport au Document de référence de la CBH.
• Définir et documenter précisément la manière dont ils doivent être utilisés.
• Établir des valeurs de référence auxquelles seront comparés les indicateurs sélectionnés.

2.    La méthodologie

Dans un premier temps, la synthèse de la littérature existante sur l’évaluation dans les bibliothèques académiques avait deux utilités principales. La première était de mieux connaître les pratiques en terme d’évaluation et de repérer le contexte des bibliothèques ayant déjà réalisé ce genre d’opération. Elle m’a en outre permis de mettre en avant l’utilité d’une telle démarche, d’identifier les risques qui lui sont liés et finalement d’avoir un retour d’expérience sur l’utilisation des résultats une fois l’enquête faite. La seconde était de faire un travail de repérage pour découvrir les sources où se trouvaient les indicateurs qui seraient utiles à ma problématique. Donc en même temps que la récolte d’informations nécessaires à la synthèse, il fallait identifier les normes, standards et pratiques existants pour en tirer des outils utilisables pour la sélection d’indicateurs effectuée plus tard.

La suite logique du travail était de cerner clairement l’environnement dans lequel devraient s’intégrer les indicateurs, c’est-à-dire les bibliothèques HES. Il faut dire que la littérature n’est pas vaste sur le sujet des HES, un chapitre de présentation de ce milieu était donc indispensable pour bien cadrer la démarche. De plus, la revue de la littérature effectuée en premier lieu portait sur les bibliothèques académiques, le lien entre une bibliothèque universitaire et une bibliothèque HES semblait assez clair et leurs missions de prime abord plutôt semblables. Mais pour valider méthodologiquement cette impression, j’ai procédé à une petite enquête par courriel auprès des bibliothécaires HES et de quelques bibliothécaires universitaires en leur demandant les différences majeures qu’il y avait selon eux entre les missions d’une HES et d’une bibliothèque universitaire. Les réponses qui me sont parvenues allaient clairement dans le sens pressenti en apportant toutefois une petite nuance mais qui ne compromettait pas le fait que je pouvais considérer que les mentions faites aux bibliothèques académiques dans la littérature étaient applicables aux bibliothèques HES. Ce chapitre a donc permis non seulement de clarifier l’environnement du mandat mais également de valider la revue de la littérature effectuée précédemment.

Puis le mandat en tant que tel a pu être commencé. La première chose à faire a été de « retravailler » le Document de référence en la réduisant en une série d’objectifs que les bibliothèques devraient atteindre. Pour cela il a fallu lire entre les lignes en mettant de côté tout le côté plus politique du document pour ne laisser ressortir que les éléments concrets qu’attendait la CBH pour ses bibliothèques. La liste d’objectifs qui furent ainsi isolés garde la structure initiale du Document de référence (dans sa première version, 2008) et donne un cadre strict à la sélection des indicateurs. C’est probablement l’étape clef du travail.

Le temps suivant a donc été consacré à la sélection et au tri des indicateurs dans les sources identifiées préalablement. Tous les indicateurs ainsi identifiés ont été répartis selon l’objectif (ou les objectifs) qu’ils permettaient de mesurer. Comme il sera mentionné plus tard dans le travail, deux genres d’indicateurs ont été différenciés : des indicateurs qualitatifs se basant sur une évaluation par les usagers et le personnel de la bibliothèque, et des indicateurs quantitatifs, dont la mesure est effectuée à partir de données statistiques. Il est arrivé que certains objectifs ne se soient pas vu attribuer d’indicateurs, car ils étaient souvent très spécifiques aux HES, dans ce cas j’ai créé des indicateurs en me basant sur le Document de référence et en m’inspirant de la structure de ceux trouvés dans la littérature.

Une fois cette sélection d’indicateurs faite et arrêtée, il a fallu les définir, c’est-à-dire donner une définition de tous les termes pouvant poser des problèmes d’ambiguïté, expliciter les méthodes de mesure, donner des clefs pour l’interprétation des résultats et finalement, si possible, fournir des valeurs de référence pour les indicateurs quantitatifs. Cette valeur permettra une comparaison lors des premières mesures de ces indicateurs et devra être affinée par la suite, selon les exigences de la CBH.

Ce qui aurait encore pu être ajouté à ce travail pour fournir un outil directement utilisable, eut été une phase de tests de ces indicateurs en situation réelle. Malheureusement, il m’est très vite apparu que le temps à disposition pour ce travail ne permettait pas une telle démarche. C’est pourquoi il a également été décidé qu’il fallait autant que possible utiliser des indicateurs recensés dans la littérature où l’on a l’assurance d’une pratique éprouvée, et d’utiliser au maximum les données que l’OFS demande déjà chaque année aux bibliothèques pour limiter le risque d’avoir des mesures difficiles voire impossibles à faire.

3.    Les bibliothèques HES

La bibliothèque HES s’inscrit évidemment complètement dans le cadre et les missions de son institution de rattachement (KFH, 2006 : 2).

Les HES se trouvent dans un contexte très ouvert et résolument tourné vers l’enseignement pratique et la recherche appliquée dans un mode interdisciplinaire. Ce contexte établit déjà les grandes lignes de ce que seront les publics de ces bibliothèques et quelles en seront les attentes.

En plus de cela, l’environnement académique subit des modifications importantes dans son fonctionnement avec la réforme découlant de la déclaration de Bologne. Si elle implique déjà un encouragement à la mobilité des étudiants, c’est aussi un changement dans la part de travail personnel que doit fournir l’étudiant. Les besoins documentaires sont donc logiquement accrus, ce d’autant plus qu’avec les programmes Masters, non seulement l’offre s’étend, mais doit devenir encore plus pointue.

Enfin, le dernier point qu’il parait important de soulever, c’est l’avènement de la documentation numérique, laquelle amène un changement capital pour toute la société et a un impact énorme dans le monde bibliothéconomique. Car ce bouleversement induit un changement de la quantité et du type de documents à gérer, ainsi que du comportement des usagers, qui optent de plus en plus souvent pour un accès à distance. La différentiation entre les documents internes et externes à la bibliothèque devient donc toujours plus difficile à faire. « On passe d’une fonction d’acquisition et de gestion des collections à une fonction de gestion d’accès à des ressources documentaires » (Muet, 2009 : 5). Bref, c’est un changement des modes de fonctionnement.

Missions

La bibliothèque scientifique HES tend donc à l’accomplissement des objectifs précédemment cités. Les problématiques avancées précédemment se retrouvent ainsi spécifiées pour le cadre particulier du Document de référence.

On peut donc y voir qu’outre les opérations de base en bibliothéconomie (sélection, acquisition, etc.), le service au public, notamment sa formation aux différents outils mis à sa disposition, semble être un point essentiel de ces missions tant il est sous-jacent à toute cette réflexion. La formation permet l’accès aux ressources et la différenciation de la qualité des sources.

Comme on le verra plus tard, les « prestations » dont il est question pour enrichir l’acquisition de connaissances regroupent tous les services et toutes les infrastructures qui doivent être à la disposition de l’usager. Cela comprend autant l’aide à la recherche que la disponibilité d’espaces favorisant le travail intellectuel.

La bibliothèque doit également garantir la diffusion d’une information scientifique de premier ordre(1) pour stimuler la recherche appliquée et « l’innovation scientifique ». Ce n’est là pas le moindre des défis, car cela implique de regrouper des informations théoriques et pratiques de haut niveau dans plusieurs domaines. C’est ce qu’entend Florence Muet lorsqu’elle parle de « transversalité et spécialisation » (4/2009 : 10). D’un côté, une information de base qui couvre l’ensemble des disciplines présentes dans l’établissement et de l’autre des pôles de spécialisation propres à sa stratégie. Mais elle précise également que ce double axe oblige à ne plus tendre à l’exhaustivité dans l’offre documentaire, car à ce niveau, les bibliothèques peuvent aujourd’hui se compléter entre elles via leur réseau.

Pour finir, en essayant d’avoir un regard global sur ces missions, on peut constater qu’il s’agit réellement de créer un cadre de travail stimulant. Il ne faut pas s’arrêter à la simple mise à disposition de ressources mais être sûr que l’usager, aussi divers soit-il, puisse y avoir accès dans de bonnes conditions. La bibliothèque se veut d’être un espace central dans l’établissement, dans son fonctionnement et son développement intellectuel, en mettant en avant les progrès dans les domaines couverts et les publications de ses usagers.

Usagers

On distingue trois principaux groupes d’usagers : le corps professoral, les chercheurs et les étudiants. Ces trois groupes, même s’ils se regroupent parfois, se distinguent par leurs besoins et leurs usages de la bibliothèque. Cette dernière s’adresse principalement aux membres de l’institution de rattachement même si elle est ouverte à des publics extérieurs(2).

Le corps professoral

Le soutien à l’enseignement est le principal besoin de ce groupe. Il doit pouvoir se baser sur une documentation variée pour ses cours et pour orienter les étudiants sur des lectures ou des études de cas. La bibliothèque lui permettra également d’avoir un accès complet et à jour à l’actualité de son domaine d’enseignement.

L’ouvrage dirigé par Daniel Renoult (1994 : 109-110) fait remarquer que le public est proportionnellement essentiellement composé d’étudiants. Les professeurs sont en comparaison peu nombreux à se rendre en bibliothèque. Mais il ne faut pas oublier que leurs influences (directions, lectures obligatoires, travaux de recherches, etc.) sur les pratiques documentaires sont essentielles. Ce sont eux qui font venir, pour une part, les usagers(3), et qui déterminent par leurs enseignements et leurs recherches les lignes documentaires qui seront demandées dans l’établissement.

Les chercheurs

La recherche appliquée nécessite de la documentation régulièrement actualisée pour « planifier, développer et faire avancer la recherche » (CBH, 2009 : 4) des travaux dans de bonnes conditions.

Avec l’introduction des Masters, cet axe devient important pour le développement des collections et des services. Ainsi, Florence Muet (4/2009 : 8) distingue deux logiques stratégiques par rapport à ce segment :

• « Une logique de services ciblés à forte valeur ajoutée » comprenant la veille et la recherche, l’animation de plateformes collaboratives et l’assistance à la publication numérique.
• « Une posture de proximité […] et de réactivité vis-à-vis des besoins » notamment en désignant des bibliothécaires référents pour les centres de recherche.

Florence Muet met aussi en avant le démarrage d’un grand nombre de projets de recherche internationaux et interinstitutionnels qui nécessitent des plateformes électroniques pour des « communautés de recherches électroniques » (2009 : 12). La mise en place de ces technologies peut être considérée comme une possibilité de développement et de service à valeur ajoutée pour les bibliothèques.

Les étudiants

« On conçoit que la notion d’étudiants comme catégorie homogène fasse plus que jamais problème » (Renoult (dir.), 1994 : 118)

Si cette observation a déjà été faite en 1994, elle est d’autant plus vraie aujourd’hui. En effet, au vu des différents domaines enseignés et des différents types de formation (bachelor, master, temps plein, temps partiel, en emploi) dispensés par les HES, et l’explosion des ressources électroniques qu’il y a eu depuis, on peut concevoir la pluralité des besoins en matière de documentation. De plus, certains travaux devant être effectués sont parfois assez proches de ceux d’un groupe de recherche. C’est un public qui est donc difficile à délimiter. Cependant, on peut quand même déterminer quelques-uns des besoins spécifiques aux étudiants.

D’abord, les documents de références de cours, qui doivent être disponibles à la bibliothèque. Ce qui nécessite évidemment une interaction entre cette dernière et le corps professoral. Ce sera, hormis pour le Travail de Bachelor en fin de cursus, pratiquement la seule utilisation des ressources documentaires faite par les étudiants Bachelor durant leur formation. L’utilisation des ressources numériques est souvent trop pointue pour ce public, celles-ci seront plus utilisées par des étudiants de Master.

Puis les ressources complémentaires à la formation qui permettront de mener à bien des travaux personnels d’envergure. L’étudiant doit trouver dans ce lieu un centre de compétence pour l’aider dans sa recherche et rendre accessible toute la documentation spécialisée nécessaire.

Et pour finir, les étudiants doivent pouvoir trouver un espace leur permettant de travailler, comme mentionné précédemment, dans un environnement propice à l’activité intellectuelle. Cette fonction n’est pas à mettre de côté car elle est largement plébiscitée par ce public. Comme le montre l’étude effectuée en mars 2007 à l’Université de Paris 8 (MV2 Conseil, 2007), 50% des usagers la considèrent comme la raison principale de leur visite, ce sont les « usagers axés travail », 87,6% des étudiants la mentionnent comme une des raisons de leur visite.

Services

Selon le document de la CBH (CBH, 2009 : 5-6), les services devant être offerts par une bibliothèque HES sont :

• Un catalogue accessible en ligne répondant aux différents critères internationaux et à la disposition de tous les usagers (via l’un des deux catalogues collectifs suisses(4)) permettant la mise en accès en texte intégral des ressources électroniques.
• Un service de prêt interbibliothèque
• Une structuration des ressources informationnelles disponibles sur le web, ceci dans le but de fournir des liens vers des informations scientifiquement fiables.
• Un service de référence permettant d’accompagner de manière efficace les recherches informationnelles. Il élabore également des « produits documentaires » (CBH, 2009 : 5) pour orienter les usagers dans les ressources.
• La formation des usagers, en particulier à la méthodologie documentaire. Pour ce faire, il faudra développer des compétences pédagogiques afin de pouvoir leur enseigner les différentes manières d’utiliser une bibliothèque, d’élaborer une bibliographie et d’utiliser les outils documentaires. Les programmes de formation devront être adaptés aux différents types d’usagers.
• L’accès à l’information produite par les membres de son établissement, notamment celle des professeurs et des chercheurs.

Moyens et infrastructures

Ce chapitre du Document de référence (CBH, 2008, 7-9) n’a pas été retenu dans la version validée (2009). Mais son intérêt n’en est pas amoindri.

Les ressources financières de la bibliothèque dépendent évidemment de l’institution de rattachement. Cela va bien entendu influencer la capacité de la bibliothèque à remplir les missions détaillées plus haut. Ces moyens financiers doivent être mis à disposition étant établi que la bibliothèque a un rôle important dans le processus d’acquisition des connaissances.

Toujours dans cette optique, l’engagement d’un personnel ayant suivi une formation en information documentaire (ID) est nécessaire à la qualité des services fournis. Les besoins en personnel (niveau de qualification) se déterminent « en fonction des spécificités de son établissement, de la nature et de la quantité des ressources informationnelles mises à disposition ainsi que du degré de spécialisation des services qu’elle offre » (CBH, 2008 : 7), pour ce qui est de l’aspect quantitatif, celui-ci sera basé sur les facteurs tels que le nombre d’usagers, le nombre de documents (donc indirectement sur le budget d’acquisition), les services offerts et sur les éventuels projets de développement de la bibliothèque.

La polyvalence nécessaire à l’accomplissement de toutes les missions de la bibliothèque (maîtrise des outils, des contenus et de la communication) exige non seulement une formation ID mais aussi la possibilité de se former de manière continue. Cette dernière permettra également de garantir une offre actualisée avec des moyens adaptés à l’environnement évolutif que sont les formations HES.

L’espace des locaux laissé à la disposition des usagers est aussi extrêmement important. Comme on l’a vu précédemment, c’est souvent une des raisons pour lesquelles les étudiants fréquentent la bibliothèque, particulièrement s’ils sont au début de leurs études. Il s’agit donc d’offrir un espace encourageant le travail et permettant la consultation des ressources électroniques(5). De manière générale, elle doit présenter ses collections en libre-accès garantissant ainsi une mise en valeur de l’information et facilitant son accès.

Les horaires d’ouverture font aussi partie des moyens mis à disposition des usagers, l’accès aux ressources physiques doit être aussi large que possible. Comme le dit Pierre Carbone dans sa contribution à l’ouvrage dirigé par Daniel Renoult (Renoult (dir.), 1994 : 80-81), les heures d’ouverture fournissent aux utilisateurs un exemple concret du service offert. Cette disponibilité du personnel implique aussi des enquêtes permettant de déterminer les heures d’affluence particulière pour lier au mieux les intérêts des usagers à ceux du personnel.

Ressources informationnelles

La pluralité des supports et des accès sont des éléments centraux de cette problématique. Ils sont fondés « [sur les] nécessités de l’enseignement et de la recherche, [sur les] objectifs spécifiques de l’établissement ainsi que, plus largement, [sur les] besoins des usagers » (CBH, 2009 : 4). Ainsi, il faut garantir un accès à des ressources pertinentes internes et externes. Il s’agit donc d’offrir des ressources en lien avec les formations dispensées dans l’établissement. L’acquisition de ces ressources, énoncée dans « une politique d’acquisition et de développement » écrite et validée par la direction de l’établissement, est faite, comme le suggère de manière insistante Florence Muet (2009 : 15), avec la collaboration des enseignants(6).

Les ressources internes doivent être gérées à l’aide de classifications universelles (pour le libre-accès du moins) dans le but d’un accès le plus rapide possible à l’information. Il faut donc adapter cette gestion aux besoins de l’institution. Mais c’est aussi dans cette optique de rapidité et d’efficacité d’accès que doit être organisé l’accès aux ressources électroniques avec des outils (comme des portails de liens) qui répondent aux mêmes logiques que pour les supports plus traditionnels.

Promotion, coopération et contrôle qualité

Si ces trois chapitres du Document de référence ont été regroupés ici, c’est qu’ils interviennent tous dans une logique de communication.

La promotion met en avant les services(7) auprès des usagers et de la tutelle ; c’est dans la même idée que doit être mis en place un système de contrôle qualité et de performance. En effet, comme on le verra plus tard, ils sont au centre d’une démarche visant à montrer de manière tangible le travail réalisé par la bibliothèque. Bien sûr, ils s’inscrivent également dans une démarche de gestion stratégique.

La coopération intervient, elle, à plusieurs niveaux. D’abord auprès des usagers et de la tutelle, le dialogue doit également être permanent avec les étudiants, les professeurs, les chercheurs et la direction (c’est ce qui a été mis en avant dans le paragraphe sur la politique d’acquisition).

Différences notables avec les bibliothèques universitaires

Ce chapitre ne fait pas partie du Document de référence, mais il a paru important de l’intégrer ici pour bien positionner la bibliothèque HES face à la bibliothèque universitaire (BU), ceci avec l’objectif d’identifier les éventuelles différences ou spécificités importantes qui nécessiteraient une interprétation différente ou adaptée des normes et de la littérature utilisées pour ce travail et qui traitent majoritairement des bibliothèques académiques dans leur ensemble.

Le postulat de départ est, qu’au vu de l’uniformisation des pratiques entre HES et universités, et de la littérature consultée, peu ou aucune différence majeure ne devrait apparaître. Pour s’en assurer(8), une consultation par e-mails des principaux intéressés, soit les bibliothécaires des HES de Suisse et de quelques BU, a été effectuée au mois de mars 2009. Il leur a été demandé quelles étaient selon eux les différences en fonction des missions définies par le Document de référence.

Même si elles sont nombreuses, les réponses(9) reçues ne sont pas surprenantes. La grande majorité des bibliothécaires ne voient pas de différence majeure entre les missions et les services d’une bibliothèque HES ou universitaire(10). Toutes deux ont des objectifs de soutien à l’enseignement et à la recherche. La seule nuance qui doit être apportée est que les HES sont plus axées dans la recherche appliquée, ce qui veut dire également qu’elles possèdent plus de documentation pratique que les BU. Ainsi, on trouvera des bibliothèques HES qui n’ont pas réellement d’équivalent universitaire. Par exemple, celle de la Haute École de Musique de Genève qui conserve essentiellement des partitions et des ouvrages consacrés à la musique, et dont on ne trouvera pas de collections universitaires équivalentes même dans un éventuel institut de musicologie.

Cependant, les quelques distinctions mises en avant sont essentiellement dans la gestion au quotidien, et cela pour deux raisons :

• La disparité des moyens : surface plus grande, budget plus grand et plus de personnel(11) dans les BU. Ainsi, pour des missions égales, les moyens seraient différents. Certains services ne peuvent donc être rendus de la même manière, avec la même qualité, selon que l’on se trouve en HES ou en université. On pourrait se demander si cela n’est pas en lien également avec le fait que la réputation des BU est déjà très bonne auprès de la population et des décideurs en général, alors que tout est à faire du côté des HES, mais cela n’est qu’une supposition.
• L’historique : Toujours un peu dans cette idée, les services universitaires ont souvent une histoire et une intégration à leur établissement beaucoup plus grandes, l’institution étant déjà bien en place. Ce constat s’applique aussi pour la documentation, les Masters étant à leur début dans les Hautes écoles, le niveau d’information est moins orienté pour des études de 2^ème cycle (et plus) que dans les BU. Historiquement, ces dernières mettent plus en avant la recherche fondamentale qu’appliquée. Mais justement, dans le nouveau contexte académique, cela tend à disparaître.

Pour résumer, théoriquement, aucune différence majeure n’est à observer entre les divers types de bibliothèques. Ce sont essentiellement les moyens qui ne permettent pas de remplir ces missions de manière égale. Dans le futur, toutes les distinctions portant sur l’offre documentaire devraient s’estomper tant la volonté politique va dans ce sens. Il est cependant évident que certaines bibliothèques universitaires historiques jouiront certainement encore longtemps d’une considération différente des décideurs. Toutefois, la tendance est à l’uniformisation, ce qui confirme le postulat de départ.

4.      L’évaluation dans les bibliothèques académiques : synthèse de la littérature

Utilité et buts de l’évaluation

L’évaluation de la bibliothèque académique répond à un besoin marqué de s’ouvrir vers l’extérieur, selon deux axes principaux fortement liés l’un à l’autre:

• La communication 

Il faut pouvoir (et savoir aussi) prouver son utilité à la tutelle et justifier les moyens qu’elle met à disposition. Cela ne se mesure plus seulement à travers des données statistiques, mais surtout avec la preuve de son efficacité (les résultats atteints par rapport aux objectifs fixés), de son impact sur son environnement et de la qualité de ses services. L’idée étant de pouvoir montrer « les résultats et l'impact de [son] activité dans des secteurs considérés comme importants pour [son] institution de rattachement » (Blixrud, 2001 : 3) grâce à des données objectives et ainsi d’intégrer la bibliothèque à l’appréciation des établissements, voire aux processus de décision. C’est la fonction « communication – légitimation » (Dalhoumi, 1993 : 38) de l’évaluation.

• La comparaison

C’est le premier usage qui est fait des données tirées des indicateurs d’évaluation. Cela fait même partie de l’évaluation en soi, car elle permet d’émettre un jugement sur ces données. Ainsi, la comparaison entre les bibliothèques, que ce soit au niveau régional, national ou international (d’où la nécessité d’indicateurs communs entre les institutions), permet de se placer dans son environnement direct. Autrement dit, des données brutes qui ne sont confrontées ni à une norme, ni à leur évolution dans le temps, ni aux données d’autres bibliothèques, n’ont aucune valeur ; ce ne sont que l’exposition d’une situation donnée à un moment donné sans analyse possible. Ces comparaisons influenceront, en outre, la manière de communiquer les résultats de l’évaluation.

D’un point de vue interne, l’évaluation a un but de gestion stratégique et d’aide à la décision(12) important. C’est un outil managérial qui permet non seulement une analyse fine des services et des usages, mais également une appréhension globale de l’organisation de la bibliothèque. Ainsi, il est possible de mesurer le taux d’atteinte des objectifs fixés, comparer ce qui existe avec ce qui devrait exister. Une fois faites, ces mesures permettront un pilotage stratégique, donc plus précisément de :

1. « Passer d'une logique de moyen à une logique de performance » (Blixrud, 2001 : 7). C’est ce qui sous-tend ce chapitre. La bibliothèque doit faire sa place dans son environnement, et pour cela montrer son efficacité et son efficience. La logique de moyen montre ce qui est mis en œuvre, la logique de performance montre, elle, comment ces moyens sont utilisés. Cela demande donc une nouvelle façon de penser la gestion de la bibliothèque.
2. Fixer des priorités dans l’allocation des ressources. Il y a de moins en moins de ressources, elles doivent aller là où elles sont attendues par le public.
3. Mesurer le succès d’innovations.
4. Mesurer l’impact de la bibliothèque dans son environnement académique. La notion d’impact est très souvent utilisée dans la littérature. Cet aspect permet de savoir si les missions de soutien à l’enseignement et à la recherche sont bel et bien remplies. Il s’agit donc, dans le cadre académique, de pouvoir vérifier l’apport réel de la bibliothèque au processus d’acquisition de connaissances. Évidemment cela pose des problèmes, car ces mesures sont très complexes à effectuer. En effet, comment faire pour connaître le manque que l’absence de ce service provoquerait ? Plusieurs indicateurs peuvent donner une idée, et souvent, une mesure sur plusieurs années permet d’affirmer quelques tendances. Cette problématique est bien cernée et explicitée par Joseph R. Matthews (Matthews, 2007) qui identifie un large panel de facteurs qui influencent également l’apprentissage. C’est une notion importante mais difficile à isoler.
5. Ajuster l’offre aux besoins identifiés.

L’évaluation est donc, comme le résume bien Jean-Pierre Côté, une « activité fondamentale de la gestion [et] complémentaire de la planification » (1995 : 49). Elle permet à terme d’améliorer l’efficacité, l’efficience et la qualité du service offert.

En conclusion, et pour résumer, l’évaluation est un outil d’aide à l’affirmation de la place et du rôle de la bibliothèque dans l’institution à laquelle elle est rattachée, mais également d’aide au pilotage stratégique interne en « [établissant] un équilibre entre les intérêts et les besoins des clients, des bailleurs de fonds, des employés » (Blixrud, 2001 : 4).

Réalisation de l’évaluation

Cette démarche s’inscrit dans un cadre stratégique vis-à-vis de son institution tutélaire. Dans cette optique, il s’agit, avant de pouvoir déterminer précisément ce qu’il faudra mesurer, de mettre en place un système d’information et de veille pour capter les besoins de l’institution de rattachement, afin de pouvoir orienter tout le fonctionnement de la bibliothèque dans cette même direction et de s’intégrer en tant qu’acteur à part entière de la vie académique de l’établissement. Ce sont les qualités du service que Florence Muet appelle « l’intervention et la réactivité » (2009 : 10). Il est essentiel aujourd’hui de « dépasser la simple évaluation des résultats pour évaluer les impacts et les effets qui en résultent » (Giappiconi, 2008 : 11).

Une fois cernée la stratégie globale de la tutelle, tous les aspects de la vie de la bibliothèque universitaire doivent être mesurés pour, par la suite, être la base d’un plan stratégique. Pour ce faire, plusieurs techniques peuvent être utilisées : on citera deux méthodes complémentaires que sont le tableau de bord et l’enquête de satisfaction.

Dans le tableau de bord, on trouvera un outil qui donnera la possibilité, comme le mentionne la norme ISO 11620 (ISO, 2008 : 10), de structurer les indicateurs de performance de manière claire et concise en quatre secteurs principaux :

• Ressources, accès et infrastructure
• Utilisation des ressources
• Efficience (rapport entre moyens et résultats, par exemple : le temps nécessaire au traitement des documents)
• Potentialités et développement (par exemple : la participation du personnel à des séances de formation)

L’enquête de satisfaction permettra de connaître la qualité du service, c’est-à-dire le taux de réponse des services aux attentes des usagers. L’enquête LibQUAL+, dont le principe et le contenu seront détaillés plus tard, est un excellent exemple de ce type d’évaluation qui séduit de plus en plus de bibliothèques académiques à travers le monde en proposant un outil stable, éprouvé et permettant une comparaison fiable entre diverses institutions.

Bien sûr, pour compléter encore ces deux méthodes et avoir une analyse plus fine, des enquêtes auprès des employés(13) ou des audits externes peuvent être également effectués. Tout dépend des informations recherchées. Dans tous les cas, le plus important si l’on veut avoir des informations donnant une base de travail solide, c’est d’inscrire cette démarche dans le temps, dans une perspective dynamique et cyclique et de pouvoir la réitérer régulièrement, quelle que soit la méthode utilisée. Ainsi il sera possible de mesurer une évolution et de lier les résultats aux actions entreprises. C’est pourquoi le recours au tableau de bord, qui permet une récolte plus automatique des données, est souvent préféré aux enquêtes, plus contraignantes d’un point de vue organisationnel.

Pour piloter un projet d’évaluation conséquent, la littérature cite à plusieurs reprises la mise sur pied d’un comité d’évaluation, composé de membres de l’équipe de la bibliothèque(14), chargé d’organiser, de mandater, de planifier et de superviser le déroulement des évaluations. Plusieurs raisons à cela, d’abord celle d’impliquer tous les acteurs du service dans ce processus et ainsi d’éviter la peur des employés d’une utilisation mal intentionnée des résultats, mais aussi celle d’éviter au maximum la part de subjectivité qui a sa place dans ce type de projet. Cette subjectivité, si elle n’est pas déjà amenée dans le choix des activités à évaluer, sera présente dans l’interprétation des résultats suite aux mesures. En effet, des données quantitatives doivent être accompagnées de données qualitatives et de commentaires de la part de l’évaluateur pour les mettre en relief et leur donner un sens.

Concernant le contenu de cette évaluation, plusieurs tendances apparaissent dans la manière d’aborder le problème. D’abord, il est important de pouvoir prendre un peu de distance par rapport à son lieu de travail ; par exemple, de ne pas mesurer seulement la capacité du bibliothécaire à répondre à un usager mais également prendre en compte le succès de l’utilisateur lors de sa visite dans la bibliothèque.

On note ensuite la volonté d’inclure l’usager dans cette démarche d’évaluation et même de l’y mettre au centre avec des outils performants comme LibQUAL+ qui sont élaborés dans ce but. En cela, on se rapproche de démarches marketing utilisées en économie. On ne se contentera donc plus de savoir si les ressources sont utilisées mais comment(15) elles le sont. L’avis de l’usager devient central ; une bibliothèque existe car elle est utilisée, de même, si elle a un service de qualité, c’est parce que l’utilisateur est satisfait, et non parce qu’elle-même estime être de qualité. La qualité est donc bien liée à la perception du service par son bénéficiaire, capturée d’une manière ou d’une autre, et non pas à une supposition.

Enfin, on rencontre de plus en plus le souci de pouvoir se rendre compte de l’utilisation qui est faite par les étudiants des services « virtuels » comme l’utilisation d’Internet, des bases de données électroniques et des autres ressources numériques à disposition.

Pour terminer, on peut se pencher sur un risque soulevé par Abdelaziz Abid (1983 : 5) et lié au choix des objectifs à évaluer. Si ceux-ci sont trop généraux ou à trop long terme, l’analyse sera tout aussi générale et ne permettra pas de prendre des décisions opérationnelles qui auront une influence sur le terrain. Suzanne Jouguelet souligne aussi le danger de mal définir les indicateurs : « L’affichage clair des différents types d’indicateurs, en nombre limité, de leur rythme de collecte et de leurs finalités est un préalable à une mise en œuvre réussie » (2008 : 25). Il s’agit donc de faire une description approfondie des indicateurs.

Utilisation des résultats

L’utilisation des résultats suite à l’évaluation est aussi une des préoccupations relayées par la littérature. Là encore, la constitution de groupes est privilégiée par les utilisateurs de LibQUAL+ (Knapp, 2004 : 165-166) pour déterminer les directions futures du service au public, et de groupes d’usagers pour discuter des moyens d’amélioration. Cette interaction constante avec le public démontre bien la nouvelle place que celui-ci peut prendre dans le processus décisionnel.

Amy E. Hoseth (2007), qui se concentre aussi sur l’utilisation de LibQUAL+, résume assez simplement et en quelques points le problème soulevé par ce chapitre. Tout d’abord, ne pas oublier de s’attarder sur les commentaires libres laissés à la fin du questionnaire, puis de partager les résultats non seulement avec les usagers, mais également avec ses pairs. Il faut comparer ensuite les résultats avec les autres bibliothèques et les normes en vigueur et enfin refaire l’enquête de manière régulière.

Les enquêtes menées dans des bibliothèques académiques de taille moyenne aux États-Unis, auxquelles se sont intéressés Dole, Liebst et Hurych, montrent qu’à la suite des évaluations de performance, les décisions se basent généralement sur les résultats pertinents issus de ces dernières. Certains avouent même : « [we] sometimes use data to justify something that has already been decided upon. » (Dole, Liebst et Hurych, 2006 : 177), ce qui nous ramène à la réflexion au sujet des risques dus aux évaluations. Au lieu d’utiliser les résultats pour prendre des décisions, on arrange les données pour appuyer une décision antérieure, la logique est ainsi quelque peu inversée. Plus loin dans ce même article, il est mentionné que le degré d’attachement aux données pour la prise de décision sera fortement dépendant de la culture de l’institution et des pressions exercées par l’organisme de tutelle. Cela dit, même si cette pratique peut paraître à la limite de la « malveillance »(16), le monde anglo-saxon semble beaucoup plus enclin à utiliser les données pour valider une politique. Cet usage est donc à double tranchant, car d’un côté il appuie les décisions, donc joue le rôle de communication loué plus haut dans ce texte ; et d’un autre, il permet des dérives, des manipulations pour justifier des positions qui seraient basées sur d’autres intérêts. Dans ce cas, on peut parler de tromperie envers la tutelle, ce qui n’est évidemment pas le but recherché.

D’autres risques liés à l’évaluation sont à soulever. D’abord, on l’a dit, la subjectivité inhérente à ce travail et qui est bien expliquée par Salah Dalhoumi dans l’introduction à son intervention au Congrès de l’ABCDEF de 1993 (Dalhoumi, 1995). Du fait qu’il s’agisse aussi à terme d’un outil de communication, la manipulation de cet outil, même si elle est faite de manière prudente, est subjective. C’est pourquoi, il faut faire son possible pour limiter cet aspect qui peut nuire à la crédibilité de l’étude notamment avec la constitution d’un groupe d’évaluation.

Une autre difficulté, soulevée par Jean-Pierre Côté (1995) au même congrès, est parfois d’accepter les résultats. Si les enquêtes auprès des publics ne sont pas positives, cela fait partie de la mission de la bibliothèque de répondre aux attentes formulées pour fournir le soutien espéré. Encore une fois, ces résultats ne seront pas pris comme une menace si l’enquête n’est pas présentée comme telle aux employés, d’où l’importance d’impliquer tous les acteurs du service dans ce processus d’évaluation.

La littérature francophone est encore assez pauvre sur le sujet de l’utilisation des résultats d’évaluation. Beaucoup d’articles le mentionnent ou le suggèrent mais peu (aucun ?) n’en font leur sujet principal. Peut-être cela est-il dû à la relative fraîcheur des pratiques dans nos bibliothèques. En réalité, le recours aux évaluations est souvent bien justifié, mais un réel retour d’expérience sur l’utilisation pratique des résultats est quasi absent.

Cela dit, on peut tout de même en tirer deux principales utilisations communes :

• Il faut communiquer. Les résultats sont faits pour être partagés avec les acteurs de la vie de la bibliothèque (usagers, tutelles, fournisseurs, mécènes, etc.). Mais il est vrai encore une fois que les bibliothèques universitaires américaines semblent moins frileuses à ce sujet en publiant parfois même les résultats dans la presse. Cette pratique de communication transparait toutefois dans le monde francophone. Cela ne se fait peut-être pas dans une si large mesure, mais l’idée d’utiliser l’évaluation comme mode de communication est bien établie, du moins en théorie.
• C’est un outil d’aide à la planification stratégique. Cela a déjà été avancé à plusieurs reprises dans cet article.

Renouveau des évaluations

La reconnaissance d’un réel besoin de l’évaluation en bibliothèque universitaire comme aide à la gestion est apparue à la fin des années 70 dans le monde francophone, principalement avec l’introduction, en France, de l’Enquête statistique générale des bibliothèques universitaires (ESGBU). Elle s’est généralisée par la suite après le congrès de l’Association des universités partiellement ou entièrement de langue française (AUPELF) à Nice en 1982. Elle s’est ensuite développée et installée dans le courant des années 80. Depuis 2000, selon Daniel Renoult, suite à une décennie plus « calme », on assiste à une augmentation du nombre d’enquêtes sur les pratiques documentaires des étudiants en France. Selon lui cela est dû au « nouveau schéma d’aménagement des universités » (Renoult, 2006 : 6), l’intérêt n’est pas uniquement français tant les bouleversements dans le monde académique (dus à la réorganisation des études et aux pressions économiques) ont aussi été présents en Suisse ces dernières années. L’autre révolution soulevée par Renoult est l’apparition d’un besoin d’évaluer l’utilisation des ressources informatisées et d’Internet de manière plus générale. La place des nouvelles technologies est grande dans la vie de l’étudiant autant à domicile que sur les postes publics à sa disposition, mais cette problématique est assez difficile à traiter car dans beaucoup de cas, les statistiques d’utilisation de bases de données, par exemple, ne sont disponibles que par l’intermédiaire des fournisseurs d’accès et donc dépendantes de leur récolte de données.

Raymond Bérard met, quant à lui, l’accent sur le fait qu’aujourd’hui « [le travail] est défini par les résultats qu’il produit » (2008 : 72) et non plus par le simple fait de remplir une fonction. Ce « changement de culture » qui a lieu dans les bibliothèques a le mérite, toujours selon lui, de « redonner du sens au travail [et d’] améliorer le service rendu aux usagers» (2008 : 72). Ce besoin de résultat induit un besoin en évaluation et surtout une nouvelle utilisation de cette dernière.

Les mises à jour entre 2006 et 2008 des normes ISO 11620 (ISO, 2008) et IFLA (Poll, Boekhorst, 2007) sont, pour Suzanne Jouguelet, les témoins de l’évolution des besoins pour les bibliothèques en matière d’évaluation. Ces mises à jour sont donc plus « orientées usagers » et font une place à des nouveaux aspects comme « la formation des usagers, la disponibilité et l’emploi des ressources humaines, les indicateurs liés aux ressources électroniques » (Jouguelet, 2008 : 23), alors que d’un autre côté on trouvera moins d’importance donnée à des notions liées à la fourniture physique de documents. Ainsi, dans la préface au manuel de l’IFLA (Poll, Boekhorst, 2007), cinq points sont spécifiés (en plus de ceux concernant les ressources électroniques) qui ont gagné en importance depuis la première édition (1996(17)) et qui ont été particulièrement intégrés grâce à de nouveaux indicateurs :

• la demande de transparence des coûts et de l’utilisation des budgets, principalement dans le secteur public,
• l’utilisation de la bibliothèque comme lieu de travail « hybride » (avec des documents électroniques et papier) et comme lieu de rencontre,
• le rôle de la bibliothèque dans l’enseignement du tri dans l’information,
• les services aux usagers externes,
• l’importance des employés de la bibliothèque.

Normes, statistiques et projets en cours

Dans cet article, nous ne nous arrêterons que brièvement sur les normes en elles-mêmes, le but étant plutôt de montrer quelles sont les pratiques et quels principaux outils sont utilisés dans les bibliothèques académiques et répertoriés par la littérature.

Pour faire simple, dans la grande majorité des cas, les bibliothèques académiques ne réinventent pas la roue(18) et utilisent principalement deux outils pour ce qui concerne les indicateurs de performance :

1. La norme ISO 11620 : 1998 ou 2008 et le manuel IFLA de 1996 ou de 2007.

Ces normes constituent un répertoire important d’indicateurs bien documentés et éprouvés car issus d’un comparatif des pratiques des différentes associations nationales. Comme on l’a déjà dit plus tôt, dans leurs nouvelles versions, ces normes ont inclus des nouveaux indicateurs portant entre autre sur l’utilisation des ressources électroniques. Du coup, les associations nationales, les consortiums et les autres groupements de bibliothèques s’inspirent souvent de ces normes de manière partielle ou complète pour construire leur propre outil d’évaluation. C’est le cas notamment du consortium de bibliothèques universitaires UKB aux Pays-Bas qui a utilisé 24 indicateurs organisés en tableaux de bord sur le modèle d’ISO 11620.

Il faut noter que les données tirées d’évaluation de ce type nous donnent beaucoup d’informations de nature quantitative qui peuvent être interprétées pour devenir des informations qualitatives. Ce n’est donc qu’indirectement, en extrapolant, que l’on pourra connaître les attentes des utilisateurs, mais pas de manière précise. Pour cela des enquêtes auprès des usagers restent nécessaires.

2. Les statistiques nationales sur les bibliothèques.

C’est une autre base très importante au travail d’évaluation. Présent dans la majorité des pays européens(19), ce « socle statistique » (Jouguelet, 2008 : 24) est cependant limité principalement aux indicateurs d’activités et ne couvrent pas l’ensemble des champs nécessaires à une évaluation de performance complète. Par contre, il est alimenté depuis de nombreuses années, dès les années 1960 pour la France et dès le début du 20^e siècle pour la Suisse (évidemment pour cette période, cela ne concerne que quelques données qui sont encore utilisables). Avec cet outil, les informations sont comparables au niveau national seulement, car les pratiques d’un pays à l’autre sont encore trop disparates. La pratique du benchmarking(20)[xx] est souvent utilisée justement dans le but d’optimiser les comparaisons entre les différents établissements suite à la récolte de données de type statistique. Cette technique, issue du management de la qualité en économie, a pour but de prendre les pratiques dans les établissements ayant le meilleur résultat sur un indicateur afin de l’appliquer à sa propre bibliothèque. Cette pratique est déjà bien répandue par la Society of College, National and University Libraries (SCONUL), en Grande-Bretagne, par le Bibliothekindex BIX du Deutsche Bibliotheksverband en Allemagne et par les bibliothèques universitaires en Suisse (IVM, 2008).

En Suisse, l’Office Fédéral de la Statistique (OFS) fait le travail de récolte statistique pour les bibliothèques universitaires et para-universitaires(21) avec l’aide, depuis les données portant sur 2003, du Groupe de travail Statistiques de Bibliothèque Information Suisse (BIS)(22). C’est cette récolte statistique qui sert de base au "Benchmarking des Bibliothèques" (IVM, 2008).

En France, la mesure d’activité est assurée depuis 1974 par l’ESGBU. Déjà à cette époque, l’État français voulait se doter d’un outil de pilotage des bibliothèques supérieures. La collecte de données se fait de manière électronique une fois par année. Les résultats sont ensuite publiés et sont consultables via l’application Asibu qui permet la consultation et la comparaison des résultats entre établissements. Ce qui est intéressant, c’est que, dès 1998, l’ESGBU est prolongée par l’Enquête sur les ressources électroniques (ERE) qui a pour but « d’établir un recensement, aussi exhaustif que possible, des acquisitions de ressources électroniques payantes, établissement par établissement, et par grands secteurs disciplinaires » (Colas, 2006 : 63-64).

En ce qui concerne les indicateurs de qualité, LibQUAL+ semble emporter tous les suffrages. C’est en tout cas celui qui est le plus documenté par la littérature. En quelques mots, LibQUAL+ est un questionnaire élaboré à la base par l’ARL(23) et qui est arrivé dernièrement dans le monde francophone européen via une version québécoise. Ce questionnaire est composé de 22 indicateurs imposés et 5 choisis dans une liste préétablie. Le questionnaire est rempli par les usagers et le personnel de la bibliothèque qui, pour chaque indicateur, doivent donner trois valeurs :

• le niveau minimal acceptable,
• le niveau souhaitable,
• le niveau observé.

Le questionnaire est ensuite envoyé pour analyse à l’ARL, puis il est retourné et les résultats apparaissent sous forme de « radars ». Là aussi, « [LibQUAL+] permet aux bibliothèques universitaires de disposer de données homogènes et comparables entre elles et de mesurer les écarts des réponses aux différents items d’une année sur l’autre » (Wolf, 2008 : 39). De fait, il semblerait qu’il soit en train d’être intégré de plus en plus largement dans des démarches de management stratégique. Il paraît être devenu un modèle dans les enquêtes qualités. Le bémol principal que l’on peut formuler, c’est que, le dépouillement se faisant par l’ARL, il est payant, ce qui peut rendre certaines bibliothèques réticentes à son utilisation.

L’évaluation de l’utilisation des ressources électroniques est au centre des nouvelles préoccupations des bibliothécaires. Diverses solutions et réflexions ont donc été mises en place. En 2000, un projet européen EQUINOX(24) publiait des indicateurs de performance pour les ressources électroniques. Ce projet a été mené dans le but de compléter la première version d’ISO 11620. Sa deuxième édition s’inspirera de ce projet pour ses nouveaux indicateurs. Il est donc aujourd’hui indirectement ou directement utilisé dans les bibliothèques académiques (Brophy, 2000). Aux États-Unis, en 2001, l’ARL a testé sur le terrain une série d’indicateurs issus de leur programme E-Metrics. 24 bibliothèques membres participent à ce projet à hauteur de 10’000$ (Blixrud, 2001 : 5).

Dans ce domaine, citons encore eVALUEd, projet développé en Angleterre et qui a mis au point une « boîte à outils » destinée à évaluer les services d’information électroniques dans des établissements d’éducation supérieure. De même que Counter (pour de plus amples informations, voir la bibliographie), lui aussi anglais, donne une marche à suivre (Code of practice) à ses membres pour mesurer ce type d’indicateurs.

Pour terminer, il me semble opportun de signaler STRATBIB, un projet suisse (en suspens, prévu initialement sur 2008-2009) pour la construction d’indicateurs stratégiques pour les bibliothèques académiques. « [Il] a pour objectif d’identifier un ensemble d’indicateurs permettant d’évaluer et de piloter le positionnement stratégique des bibliothèques académiques » (Muet, 2009 : 2). Il était mené par le département Information documentaire de la Haute École de Gestion de Genève et avait pour but final la publication d’un « outil d’évaluation de la performance stratégique » (Muet, 2009 : 2).

5.    Explication de la démarche

Réduction du Document de référence en objectifs

La première étape, avant la sélection des indicateurs intéressants, était de déterminer ce que devront mesurer ces indicateurs. L’exigence de mon mandat étant de rester strictement dans le cadre du Document de référence de la CBH, il fallait donc tirer l’essence même de ce document ; c’est-à-dire lire entre les lignes et écarter les informations de nature plus politique pour ne garder que des notions déterminant ce qui est réellement attendu dans un service de bibliothèque HES.

Dans cette optique, les deux premiers chapitres « Contexte général, objectif de la Directive » et « Missions » n’avaient que peu d’intérêt. En effet leur but est de décrire l’environnement de travail des bibliothèques HES. Ils sont évidemment destinés à des lecteurs étrangers à ce milieu et permettent surtout de poser les bases des exigences qui suivent. Le choix d’écarter le chapitre « Missions » peut surprendre, mais on s’aperçoit finalement que si une bibliothèque remplit les exigences établies dans la suite du document, les missions seront remplies ; ce d’autant plus que ces missions sont des considérations très générales et donc peu exploitables pour créer des indicateurs.

Dans les chapitres suivants, le travail a été de se demander ce que la CBH avait concrètement comme attentes lors de l’écriture de chaque sous-chapitre. Une fois cela fait, ces attentes ont été formalisées en objectifs que la bibliothèque HES devait atteindre. Par exemple, pour le sous-chapitre « Personnel » du chapitre « Moyens et infrastructures »(25), les objectifs identifiés sont :

• Le personnel dispose de qualifications reconnues en information documentaire.
• La bibliothèque dispose de la quantité de personnel nécessaire.
• Le personnel suit une formation continue adaptée aux besoins de la bibliothèque.

Ainsi, on obtient une liste d’objectifs répartis selon la même structure que le Document de référence. Cette liste est donc un outil de travail représentant, en quelque sorte, le squelette du document de la CBH. Elle permet ensuite la collecte des indicateurs, chaque indicateur étant rattaché à un ou plusieurs objectifs.

Critères et méthode de sélection des indicateurs

La sélection s’est faite en tout premier lieu parmi les indicateurs existant dans la littérature, pour la raison simple que, n’ayant pas le temps de les faire tester de manière correcte, il était préférable d’utiliser ce qui avait déjà été éprouvé par d’autres bibliothèques, voire ce qui avait été normalisé par des institutions compétentes en la matière. Mes principales sources ont donc été le manuel de l’IFLA Measuring Quality : Performance Measurement in Libraries (Poll, Boekhorst, 2007), la norme ISO 11620 (ISO, 2008) et le site Internet de LibQUAL+ (ARL, 2009). D’autres sources ont été également utilisées mais ces trois-là avaient le mérite d’avoir été détaillées et largement utilisées à travers le monde.

Très vite, il est devenu évident que deux types d’indicateurs allaient se distinguer : des indicateurs qualitatifs et des indicateurs quantitatifs. Ces deux groupes se distinguent principalement par leur méthode de mesure, l’un faisant appel à des données statistiques et contenant généralement des indicateurs de performance, l’autre à une évaluation nécessitant une enquête auprès du public et/ou du personnel de la bibliothèque avec des indicateurs de qualité. J’ai donc décidé, pour la suite, de les traiter de manière séparée et de les différencier déjà dans la liste des objectifs.

Le dépouillement de la littérature m’a donné l’occasion de passer en revue une grande quantité d’indicateurs. Certains étaient très intéressants mais peu pertinents par rapport au Document de référence. Il m’a donc fallu, pour chaque indicateur, analyser ce qu’il permettait de mesurer et de quelle manière, le condition sine qua non pour cette sélection étant de rester strictement dans le cadre défini par le Document de référence et par ses objectifs. J’ai ainsi pu en récolter une collection conséquente qui donnait la possibilité de mesurer la grande majorité de ces objectifs.

Les objectifs qui ne s’étaient pas vu attribuer d’indicateurs étaient en général soit des indicateurs demandant la réalisation d’exigences très précises, soit des indicateurs quantitatifs très particuliers au contexte des HES. Dans ce cas, des indicateurs adaptés ont été créés selon la méthode exposée ci-après mais toujours en gardant ce principe de rester dans le cadre des exigences de la CBH.

Pour finir, une fois tous ces indicateurs récoltés et reliés aux objectifs, un tri assez important a dû être effectué. En effet, la littérature recommande souvent les mêmes indicateurs d’un auteur à l’autre et parfois sous des noms différents ou avec de légères modifications. Il fallait donc éviter des redondances ; deux indicateurs ne devant pas évaluer deux fois la même chose. Dans la liste finale, il reste toujours certaines mesures qui peuvent paraître proches l’une de l’autre, mais en réalité il s’agit d’éclairages différents d’une même variable qui permettent un affinage de l’analyse qui lui est relative.

Les indicateurs obligatoires et facultatifs

Une fois que chaque objectif s’est vu attribuer un ou plusieurs indicateurs, il m’a paru intéressant d’en faire ressortir quelques-uns. En effet, il était flagrant que certains objectifs revêtaient plus d’importance dans le Document de référence que d’autres, mais surtout que certains indicateurs permettaient d’avoir un coup d’œil rapide sur une situation alors que d’autres fournissaient une analyse beaucoup plus fine qui n’était peut-être pas utile dans tous les cas. J’ai donc pris l’initiative de rendre obligatoires certains indicateurs. La notion d’obligation n’est bien sûr ici entendue que dans le but de créer une hiérarchie dans tous ces indicateurs et permet principalement d’attribuer des degrés d’importance.

La hiérarchisation de ces indicateurs a été faite premièrement en fonction de l’importance de l’objectif qui leur est associé. Un objectif semblant important lors de la lecture des objectifs aura vraisemblablement plus d’indicateurs obligatoires.

Puis c’est en fonction du degré de détail impliqué dans l’indicateur en question. Si on prend par exemple le « nombre d’usages de la bibliothèque par membre », l’indication reste assez vague dans le sens où il ne permet pas de savoir si c’est le prêt ou la consultation sur place qui rencontre du succès. Il donne un aperçu global et important du service, j’ai donc décidé de le considérer comme obligatoire. Et selon le résultat obtenu, la bibliothèque pourra choisir d’affiner l’analyse en utilisant, par exemple, le « nombre de prêts par membre », c’est pourquoi ce dernier indicateur a été intégré comme étant facultatif.

Cette hiérarchisation semblait importante pour distinguer des priorités dans cette centaine d’indicateurs, mais elle a un fondement très théorique. Il s’agit plus d’une proposition qui devra être réexaminée et éventuellement réajustée ultérieurement.

La création d’un indicateur

Il est quand même arrivé que, malgré l’abondance d’exemples trouvés dans la littérature, il n’y ait pas d’indicateurs correspondant à tous les objectifs identifiés. Cela est très facilement explicable par la spécificité des bibliothèques HES et par la précision de certains points du Document de référence. Dans ces cas, j’ai donc dû créer moi-même un certain nombre d’indicateurs. L’immense majorité de ceux-ci sont de nature qualitative, mais il y en a aussi quelques-uns dans les indicateurs quantitatifs.

La création d’un indicateur répond à toutes sortes d’impératifs. Tout d’abord, il doit être conforme aux qualités décrites dans la norme ISO 11620 (ISO, 2008 : 9), c’est-à-dire qu’il doit répondre à des exigences notamment en termes d’interopérabilité, et bien sûr mesurer ce qu’il est censé mesurer, dans ce cas, les objectifs fixés par le Document de référence.

Pour effectuer cette opération, le choix des termes est important. En effet, il faut autant que possible que l’indicateur ne laisse de place à aucune ambiguïté. Cela facilitera par la suite le travail de définition.

Et finalement, il est judicieux de se baser sur d’autres indicateurs déjà existants dans la littérature en les adaptant à la situation particulière à laquelle on est confronté. Encore une fois, cela permet d’éviter de créer des choses difficiles à mettre en pratique.

Structuration des indicateurs

Ce chapitre va exposer de quelle manière ont été structurés les indicateurs fournis dans mon mandat. Pour ce faire, j’ai utilisé et adapté le modèle de la norme ISO 11620 (ISO, 2008). Les adaptations effectuées le sont essentiellement dans les titres des paragraphes de ce modèle, ceci afin de garantir une bonne compréhension globale. J’ai supprimé le paragraphe concernant le domaine d’application de l’indicateur. Mon travail restant limité au cadre des bibliothèques HES, il était inutile de le repréciser à chaque fois. De plus, le paragraphe indiquant les indicateurs associés n’a pas été gardé sous cette forme mais les informations qu’il contenait ont été intégrées dans le reste de la définition.

S’il est vrai que les définitions des indicateurs quantitatifs et qualitatifs ne sont pas tout à fait identiques, les différences n’affectent pas ce qui suit. En effet, pour les qualitatifs, les indicateurs sont définis de manière groupée, mais la structure de ces définitions reste la même que pour les quantitatifs, il n’y a donc pas lieu de les différencier ici.

Titre

Le titre de l’indicateur est important, il doit être suffisamment descriptif et explicite et doit évidemment rester unique.

Objectif associé 

L’objectif associé indique à quel(s) objectif(s) l’indicateur est relié.

Finalité de l’indicateur

Ce paragraphe explique à quoi sert l’indicateur, il permet de préciser le titre et souvent d’expliquer son lien avec son ou ses objectifs associés.

Définition de l’indicateur

La définition de l’indicateur présente dans un premier temps le type de calcul qu’il s’agira de faire (Pourcentage, proportion, nombre simple, etc.)

Puis il donne la définition de tous les termes utilisés et qui pourraient porter à confusion.

Méthode

Il s’agit ici de décrire les méthodes pour récolter les données nécessaires au calcul de l’indicateur. Ces méthodes sont très liées à la définition des termes. Ce paragraphe donne parfois également des alternatives dans le cas où des mesures seraient trop complexes à faire, la méthode à préférer étant alors clairement identifiée.

La méthode décrit également lorsque cela est nécessaire la période de l’année et la fréquence à laquelle ces mesures doivent être effectuées.

Lorsque cela est possible, les mesures demandées correspondent à celles récoltées par l’OFS annuellement. Ceci dans le but d’éviter de démultiplier le temps nécessaire à la récolte de ces données.

Le calcul devant être effectué sera, ici, décrit très précisément.

Interprétation des résultats

L’interprétation des résultats donne dans un premier temps quel type de résultat, élevé ou bas, est préférable. Ensuite, il explique comment, au sens du Document de référence, il doit être compris. Le cas échéant, ce paragraphe indique comment l’information ainsi obtenue peut être affinée.

Valeurs de référence

Lorsque cela est possible, on donne ici une indication numérique provenant de la littérature. Ces valeurs permettent avant tout d’avoir un ordre de grandeur. Ces indications donnent généralement des résultats dans d’autres pays sur le calcul de cet indicateur, mais elles peuvent aussi donner une moyenne au niveau Suisse.

Dans un second temps, et dès que ces indicateurs auront été mesurés à plusieurs reprises, de véritables valeurs de référence devront y être ajoutées, quantifiant ainsi de réels objectifs à atteindre.

Sources

Sont indiqués ici les sources dont je me suis inspiré pour fournir les définitions de ces indicateurs. Ceci permet d’y retourner éventuellement pour un complément d’information nécessaire.

6.    Le Benchmarking

« No Library exists in isolation » (Brophy, 2006 : 147)

Comme il a été mentionné dans la revue de la littérature, le benchmarking, qui est issu du monde économique, est de plus en plus répandu dans le milieu des bibliothèques, avec des exemples en Suisse et à l’étranger.

Or, lors de la définition de certains indicateurs, il a été dit à plusieurs reprises que certains résultats mériteraient une mise en perspective avec ceux d’autres institutions pour vraiment pouvoir les exploiter au maximum. Or, si ce conseil s’applique particulièrement à certains indicateurs, il est aussi vrai pour toute la démarche d’évaluation. En effet, une évaluation menée dans une bibliothèque et dont les résultats restent à l’interne, pour être utilisés dans une argumentation ou une négociation avec l’institution de tutelle, est inutile, et ne portera que rarement ses fruits. L’intérêt du benchmarking est donc d’offrir un panorama complet de la situation en Suisse, au niveau des HES et d’en tirer les meilleures pratiques. Dans le cas d’un travail d’évaluation mené à l’échelle de ce mandat, il est donc vivement recommandé de mettre sur pied un benchmarking des bibliothèques HES.

Pour rappel, le benchmarking est un processus de comparaison entre différents services de même nature, dans notre cas les bibliothèques HES. Il peut s’appuyer sur des résultats d’enquêtes de performance ou de qualité. Cette comparaison a comme but de pouvoir tirer les meilleures pratiques parmi les institutions qui participent à ce processus. Elle a donc un objectif constructif et ne cherche en aucun cas à faire un classement et à instaurer une sorte de ligue compétitive. Ce n’est pas non plus une technique d’espionnage, mais bel et bien quelque chose qui s’inscrit dans le long terme et permet également de montrer différentes tendances dans certains environnements. Il n’y a aucune chance que cette démarche soit efficace et utile à quelque chose si les analyses sont perçues comme les résultats d’une compétition.

La démarche de benchmarking peut être effectuée à différents niveaux. Soit il s’agit d’une simple comparaison des résultats entre les différents partenaires, soit elle peut faire l’objet d’une analyse approfondie qui débouche sur des graphiques et des tableaux indiquant les résultats, les valeurs médianes, des minima, des maxima, des valeurs souhaitées et un rapport écrit pour chaque indicateur. Dans ce deuxième cas, la coordination doit être assurée par une organisation faîtière, qui peut être la CBH pour les bibliothèques HES. Il serait même profitable de faire effectuer l’analyse par une personne externe qui, connaissant la réalité de ce terrain, fournirait un travail conséquent, lequel pourrait être utilisé par la suite dans une vision plus stratégique, par la CBH. On peut encore préciser ici que le benchmarking est un outil qui s’inscrit dans une vision stratégique à long terme. Il est donc inutile d’en attendre des résultats immédiats, mais globalement la littérature sur ce sujet s’accorde pour dire qu’en définitive son impact est positif.

7.    Conclusion

La réalisation de ce mandat a répondu à la volonté de la CBH de compléter son Document de référence par un outil de mesure adapté. Ainsi parallèlement au Travail de Bachelor en tant que tel, un document plus synthétique, excluant la description purement méthodologique du travail, a été rédigé et fournit un outil d’évaluation quasi prêt à l’emploi (ici dans une version remaniée, Bezençon, 2010).

Ainsi, j’ai pu proposer 101 indicateurs adaptés à la situation particulière des HES suisses. Ceux-ci permettront, au travers de leur utilisation par les bibliothèques, de les mesurer face aux exigences du Document de référence, et c’était là leur but premier. Leur définition a été, et de loin, la tâche la plus compliquée qu’il m’a fallu effectuer, mais elle est extrêmement importante pour la suite des opérations sur le terrain. En effet, sans cela, la volonté d’avoir une image instantanée de la situation des bibliothèques suisses est impensable.

La définition de valeurs de référence pour chaque indicateur, autre objectif de ce travail, n’a pu être réalisée que de manière partielle, dans le sens où il était extrêmement difficile de fournir des valeurs à atteindre sans faire une enquête approfondie auprès des bibliothèques HES. Il est même apparu très clairement que ces réelles valeurs de référence ne pourront être définies qu’après une première récolte de données avec ces indicateurs. Si je l’avais fait dans ce travail, elles n’auraient été qu’une suite de valeurs très théoriques et probablement éloignées de la réalité, ce qui aurait constitué une perte de temps, non seulement dans ce mandat mais également pour le mandant. Les valeurs données sont donc des indications de ce qui a pu être constaté dans d’autres cas, souvent différents de celui des HES ; elles pourront servir de base à l’établissement futur de références.

On peut encore signaler que pour avoir réellement un outil utilisable directement, une phase de tests aurait été idéale, car même si les indicateurs proviennent, pour la majorité, de la littérature et ont donc été éprouvés dans d’autres institutions, il reste cette incertitude-là qu’il s’agira de lever rapidement.

Suite à ce travail, il sera important, pour la CBH, de commencer rapidement à mener des tests avec une sélection de ces indicateurs pour se représenter précisément les implications en ressources matérielles et humaines qu’ils exigent. Puis, si une application à grande échelle est décidée, une communication importante auprès des bibliothécaires devra être entreprise en parallèle aux diverses mesures, ceci afin de bien préciser ses buts et d’éviter que chacun utilise les résultats dans ses propres négociations internes. Ces indicateurs forment un outil qui doit être utilisé dans une perspective stratégique globale et à long terme. Cela implique que les effets de ces évaluations ne seront pas visibles rapidement mais fourniront la matière nécessaire à des décisions constructives pour l’ensemble du réseau HES. C’est dans ce but qu’une pratique de benchmarking des bibliothèques HES devrait être mise en place dès les premières mesures.

Index des sigles

ABCDEF          Association des responsables des bibliothèques et centres de documentation universitaires et de recherche d’expression française

ARL                 Association of Research Libraries (Etats-Unis)

BIS                  Bibliothèque Information Suisse

BU                   Bibliothèque universitaire

CBH                Commission spécialisée des bibliothèques HES de la KFH

ESGBU            Enquête statistique générale des bibliothèques universitaires

HES                 Hautes écoles spécialisées

ID                    Information documentaire

IFLA                International Federation of Library Associations and Institutions

KFH                Conférences des recteurs des HES (sigle allemand utilisé couramment)

OFS                 Office fédéral de la statistique