What are the barriers that inhibit user research?

La version française est en dessous de l’anglais 👇

Hi there! My name is Gillian, and I am the UX Design Fellow that is part of the 5th cohort working at Code for Canada to improve digital governance. Alongside my teammates Malik Jumani (Product Manager Fellow) and Ian Cappellani (Developer Fellow), we are working with the Canada Energy Regulator (CER) to improve the tools that Canadians use to participate in hearings regarding energy projects regulated by the CER.

To learn more about us, click here.

Recruiting user research participants in the public sector can be challenging. Back in February, our team wanted to learn more about people’s experience with the Canada Energy Regulator (CER) hearing process. We also wanted to talk to people and uncover issues related to the current set of digital participation tools.

Early on, I noticed there was a low response rate from the invitations I sent out. This led me to wonder why it was happening and what might be the various barriers that prevent someone from participating.

In a conversation I had with my co-fellow Sidra Mahmood, they mentioned the idea of Pain Factors. It looks at how much effort an activity will be and the underlying causes that may inhibit participation in research.

The Four Pain Factors

1. Operational Barriers

Operational barriers occur when the selected research method(s) does not factor in the social-economic needs of the users.

For example, aspects like language availability, the physical distance from the interview site, access to technology and the quality of internet can hinder participation.

My Experience

Many of the people we reached out to live in rural communities, which means access to quality internet can vary. This factor was not a big issue in terms of gathering research participants, but poor internet connection had occasionally impacted our interview sessions.

Our team also wanted to find individuals that had limited access to technology to understand the paper process for getting their voice heard. Unfortunately, it was more difficult to find and reach out to these types of participants.

Finally, when designing our product, we wanted to take into consideration French speakers. Our team did not have the language capabilities to directly chat with these participants, but we were able to have a conversation with the Translation team to mitigate parts of this issue.

Potential Solutions

In a post-COVID world, it would be ideal to visit the participants in rural communities and have a conversation in person. Mailing out paper diary studies may also be a good way to understand the user journey if people do not have access to stable internet.

If the product you are working on caters to more than one language, you should try to gather research from people in those languages too. This will usually require more resources.

2. Systematic Barriers

Systematic barriers occur when existing practices and procedures intentionally or unintentionally screen out certain individuals from participating.

For example, a biased survey design can unintentionally discourage people from filling it out. Historical experiences may cause people to mistrust the government, and therefore feel that their feedback will not help change anything. Others might not see themselves represented in the decision-making or may not feel safe enough to share their experience.

I recently read a blog called Who We Design For , where a government research team wanted to meet with asylum seekers, but no one wanted to chat with them. These groups were concerned that talking to someone with a .gov email might impact their asylum application status.

In the end, one of the researchers volunteered their time to help asylum seekers land a job. This ultimately helped them build trust and allowed them to get the feedback they were seeking.

My Experience

The issue of mistrust came up a few times during my team’s recruitment process. Some people declined to participate in our research because of their negative past experiences with the processes they went through.

Mistrust can also stem from other factors outside of the government’s control. For example, some people might tie the results of the quasi-judicial process closely to the fairness of the overall system.

We tried to anticipate and address these concerns early on by clearly stating that any research we do will not have an impact on any of the CER proceedings they were in.

Possible Solutions

A way to improve the lack of trust between communities and the government is to work directly with them. Co-developing solutions with rural and Indigenous-led groups may help build better long-term relationships. It is also important to learn about the people you want to speak with before you select your research methods. In addition, try to be culturally informed and aware so you can cater the sessions to the needs of your participants.

3. Technical Barriers

Technical barriers occur when the choice of research tools is limited to those with specific capabilities. Sometimes there might be a high learning curve, which makes it more difficult to participate.

For example, survey tools and recruitment platforms might cater to individuals that have higher technological literacy levels than your target audience.

My Experience

When people are not comfortable with using technology, it makes recruiting online a bit more difficult. We did not run into this issue very often, but during one of our interview sessions, a participant mentioned that there are some people within their community that do not participate because they feel intimidated by digital technology.

Potential Solutions:

Like the solutions for operational barriers, there may be value in going back to the basics with paper (e.g., mailing out papers surveys) and in person research methods. If your user has access to a phone, calling them might be another way to interview them.

4. Functional Barriers

Functional barriers occur when people don’t see the value of participating and understand how the research fits into their lives.

Sometimes the selected research method(s) might take more time and effort than they can provide. This is important because free time is correlated with economic privilege. There are times when the honorarium might be insufficient for them to take time off work to help.

However, some people just want to help you without any monetary exchange. Therefore, it is important to know your audience and what they value.

My experience:

Many people are busy, so any request to participate in research must be worth their time. Our team tried to communicate the value of our research through the invitations we sent out.

We noticed the demographic of our participants leaned towards retirement age. It made me wonder if the people who had the time to participate in our research sessions were more likely to have free time and cared deeply about the issues we were trying to solve.

Potential Solutions

Be clear and concise with your invite early on. When possible, try to compensate your participants for their time. If time is limited, consider using surveys and other methods that better align with your audience.

To conclude, while there are barriers that may inhibit user research participation, building relationships and co-creating with different communities will help foster trust and allow us to ultimately deliver better services that work for them.

Some great blog posts for doing user research in the public sector:

The Art and Importance of Building Rapport

Who We Design For

Every Space is Political

How to Design for the Margins

Les obstacles aux études sur les utilisateurs

Bonjour, je m’appelle Gillian. Je suis la conceptrice de l’expérience utilisateur au sein de la cinquième cohorte de boursiers de Code for Canada à la Régie. Notre mission : améliorer la gouvernance numérique. Mes collègues, Malik Jumani (gestionnaire de produit) et Ian Cappellani (développeur), et moi collaborons avec la Régie afin de bonifier les outils utilisés par la population canadienne pour participer aux audiences concernant de nouveaux projets énergétiques assujettis à la réglementation fédérale.

Pour obtenir plus d’information à notre sujet, cliquez ici.

Le recrutement de participants aux études sur les utilisateurs dans le secteur public peut être ardu. En février, notre équipe a voulu en savoir plus sur l’expérience de la participation au processus d’audience de la Régie de l’énergie du Canada. Nous voulions parler à des personnes et connaître les difficultés liées aux outils actuels de participation numérique.

Dès le départ, le taux de réponse à mes invitations a été faible. Je me suis donc demandé pourquoi il en était ainsi et ce qui pouvait empêcher une personne de participer.

Au cours d’une conversation avec ma collègue Sidra Mahmood, elle a évoqué l’idée de l’effort demandé, c’est-à-dire l’effort qu’exige une activité et les causes sous-jacentes qui pourraient empêcher la participation à une étude.

Les quatre facteurs liés à l’effort demandé

1. Obstacles Opérationnels

Les obstacles opérationnels surviennent lorsque les méthodes de recherche choisies ne tiennent pas compte des besoins socioéconomiques des utilisateurs.

Par exemple, la langue utilisée, l’éloignement physique du site d’entrevue, l’accès à la technologie et la qualité de l’accès à Internet peuvent nuire à la participation.

Mon expérience

Bon nombre des personnes que nous avons tenté de recruter habitent dans des collectivités rurales, ce qui signifie que la qualité de l’accès à Internet peut varier. Ce facteur comme tel n’a pas été un problème important sur le plan du recrutement de participants à l’étude, mais la piètre qualité de l’accès à Internet a parfois eu des conséquences sur nos séances d’entrevue.

Notre équipe voulait aussi recruter des personnes qui avaient un accès limité à la technologie, afin de comprendre le processus « sur papier » qu’elles utilisent pour faire entendre leur voix. Malheureusement, il a été plus difficile de trouver ce type de participants et de communiquer avec eux.

Enfin, au moment de concevoir notre produit, nous voulions tenir compte des francophones. Notre équipe n’avait pas les compétences linguistiques pour clavarder directement avec des francophones, mais une conversation avec l’équipe de la traduction nous a permis de contourner cette difficulté.

Pistes de solution

Dans un monde post-COVID, il serait idéal d’aller à la rencontre des participants dans les collectivités rurales afin de discuter avec eux en personne. L’envoi par la poste d’études sur les journaux personnels pourrait aussi être un bon moyen de comprendre le parcours des utilisateurs qui ne disposent pas d’un accès stable à Internet.

Si le produit sur lequel on travaille est destiné à des locuteurs de plusieurs langues, il faut essayer de mener l’étude auprès de ces locuteurs également. Cela nécessitera habituellement plus de ressources.

2. Obstacles Systémiques

Les obstacles systémiques sont présents lorsque les pratiques et les procédures en place empêchent, intentionnellement ou non, certaines personnes de participer.

Par exemple, un sondage conçu de façon partiale peut dissuader involontairement des personnes de le remplir. Des expériences passées peuvent faire en sorte que certaines personnes se méfient du gouvernement et, par conséquent, croient que leurs commentaires ne changeront rien. D’autres pourraient ne pas se voir représentées dans la prise de décisions ou ne pas se sentir à l’aise de parler de leur expérience.

J’ai récemment lu un blogue intitulé Who We Design For (en anglais seulement) à propos d’une équipe de recherche du gouvernement qui voulait rencontrer des demandeurs d’asile mais ne trouvait personne qui voulait discuter avec eux. Ils craignaient que le fait de parler à quelqu’un dont l’adresse de courriel était liée au gouvernement ait une incidence sur leur demande d’asile.

En fin de compte, l’un des chercheurs s’est porté volontaire pour aider les demandeurs d’asile à trouver un emploi. Cela a contribué à établir un lien de confiance et leur a permis d’obtenir la rétroaction qu’ils recherchaient.

Mon expérience

La question de la méfiance est apparue à quelques reprises durant le processus de recrutement de notre équipe. Certaines personnes ont refusé de participer à notre étude parce qu’elles avaient vécu une expérience négative dans le cadre des processus auxquels elles avaient participé.

La méfiance peut aussi découler d’autres facteurs indépendants de la volonté du gouvernement. Par exemple, certaines personnes peuvent associer les résultats d’un processus quasi judiciaire à l’équité du système dans son ensemble.

Nous avons essayé de prévoir de telles préoccupations et d’y répondre d’entrée de jeu en précisant clairement que les études que nous menons n’auraient aucune incidence sur les instances de la Régie auxquelles ces personnes participent.

Pistes de solution

Une façon d’améliorer la confiance des collectivités envers le gouvernement consiste à travailler directement avec elles. L’élaboration conjointe de solutions avec des groupes ruraux et autochtones pourrait aider à établir de meilleures relations à long terme. Il est également important de connaître ses interlocuteurs avant de choisir les méthodes de recherche. De plus, il faut tenter de se familiariser avec la culture des participants afin d’adapter les séances à leurs besoins.

3. Obstacles Techniques

Les obstacles techniques surviennent lorsque les outils de recherche choisis conviennent uniquement à des personnes possédant des capacités particulières. Parfois, l’apprentissage peut être difficile, ce qui complique la participation.

Par exemple, les outils de sondage et les plateformes de recrutement peuvent s’adresser à des personnes dont les connaissances technologiques sont supérieures à celles de l’auditoire cible.

Mon expérience

Lorsque les gens ne sont pas à l’aise avec la technologie, le recrutement en ligne est plus difficile. Nous n’avons pas rencontré ce problème très souvent, mais au cours d’une de nos séances d’entrevue, un participant a mentionné que des personnes de sa communauté ne participent pas parce qu’elles sont intimidées par la technologie numérique.

Pistes de solution

Comme dans le cas des obstacles opérationnels, il pourrait être utile de revenir à l’essentiel avec des méthodes de recherche qui utilisent les supports papier et les rencontres en personne (p. ex., envoi de sondages imprimés). Si l’utilisateur a accès à un téléphone, il pourrait être possible de l’appeler pour l’interroger.

4. Obstacles Fonctionnels

Les obstacles fonctionnels apparaissent lorsque les personnes ne perçoivent pas la valeur de leur participation ni la place qu’occupe l’étude dans leur vie.

Il arrive que les méthodes de recherche choisies exigent plus de temps et d’efforts que n’en valent les résultats qu’elles peuvent fournir. C’est un élément important, car il y a corrélation entre temps libre et privilège économique.

Les honoraires pourraient être insuffisants pour permettre à un participant de s’absenter du travail.

Mon expérience

Beaucoup de personnes sont occupées, alors toute demande de participation à la recherche doit en valoir la peine. Notre équipe a essayé de communiquer la valeur de notre étude dans les invitations envoyées.

Les données démographiques sur les participants nous indiquent que ceux-ci ont généralement l’âge de la retraite. Je me suis donc demandé si les personnes qui avaient le temps de participer à nos séances étaient plus susceptibles d’avoir du temps libre et si elles se souciaient vraiment des questions que nous essayions de résoudre.

Pistes de solution

L’invitation doit être claire et concise dès le départ. Dans la mesure du possible, on doit essayer de rémunérer les participants pour le temps qu’il consacre à l’étude. Si le temps est limité, on doit envisager d’utiliser des sondages et d’autres méthodes qui correspondent mieux à l’auditoire.

En conclusion, malgré les obstacles à la participation aux études, l’établissement de liens et la création conjointe avec différentes communautés favoriseront la confiance et nous permettront en fin de compte d’offrir de meilleurs services qui leur sont adaptés.