What are the barriers that inhibit user research?

Gillian Wu

Gillian Wu

April 27, 2021

2021 04 MOVE User research participation

La version française est en dessous de l’anglais 👇

Hi there! My name is Gillian, and I am the UX Design Fellow that is part of the 5th cohort working at Code for Canada to improve digital governance. Alongside my teammates Malik Jumani (Product Manager Fellow) and Ian Cappellani (Developer Fellow), we are working with the Canada Energy Regulator (CER) to improve the tools that Canadians use to participate in hearings regarding energy projects regulated by the CER.

To learn more about us, click here.

Recruiting user research participants in the public sector can be challenging. Back in February, our team wanted to learn more about people’s experience with the Canada Energy Regulator (CER) hearing process. We also wanted to talk to people and uncover issues related to the current set of digital participation tools.

Early on, I noticed there was a low response rate from the invitations I sent out. This led me to wonder why it was happening and what might be the various barriers that prevent someone from participating.

In a conversation I had with my co-fellow Sidra Mahmood, they mentioned the idea of Pain Factors. It looks at how much effort an activity will be and the underlying causes that may inhibit participation in research.

The Four Pain Factors

1. Operational Barriers

Operational barriers occur when the selected research method(s) does not factor in the social-economic needs of the users.

For example, aspects like language availability, the physical distance from the interview site, access to technology and the quality of internet can hinder participation.

My Experience

Many of the people we reached out to live in rural communities, which means access to quality internet can vary. This factor was not a big issue in terms of gathering research participants, but poor internet connection had occasionally impacted our interview sessions.

Our team also wanted to find individuals that had limited access to technology to understand the paper process for getting their voice heard. Unfortunately, it was more difficult to find and reach out to these types of participants.

Finally, when designing our product, we wanted to take into consideration French speakers. Our team did not have the language capabilities to directly chat with these participants, but we were able to have a conversation with the Translation team to mitigate parts of this issue.

Potential Solutions

In a post-COVID world, it would be ideal to visit the participants in rural communities and have a conversation in person. Mailing out paper diary studies may also be a good way to understand the user journey if people do not have access to stable internet.

If the product you are working on caters to more than one language, you should try to gather research from people in those languages too. This will usually require more resources.

2. Systematic Barriers

Systematic barriers occur when existing practices and procedures intentionally or unintentionally screen out certain individuals from participating.

For example, a biased survey design can unintentionally discourage people from filling it out. Historical experiences may cause people to mistrust the government, and therefore feel that their feedback will not help change anything. Others might not see themselves represented in the decision-making or may not feel safe enough to share their experience.

I recently read a blog called Who We Design For , where a government research team wanted to meet with asylum seekers, but no one wanted to chat with them. These groups were concerned that talking to someone with a .gov email might impact their asylum application status.

In the end, one of the researchers volunteered their time to help asylum seekers land a job. This ultimately helped them build trust and allowed them to get the feedback they were seeking.

My Experience

The issue of mistrust came up a few times during my team’s recruitment process. Some people declined to participate in our research because of their negative past experiences with the processes they went through.

Mistrust can also stem from other factors outside of the government’s control. For example, some people might tie the results of the quasi-judicial process closely to the fairness of the overall system.

We tried to anticipate and address these concerns early on by clearly stating that any research we do will not have an impact on any of the CER proceedings they were in.

Possible Solutions

A way to improve the lack of trust between communities and the government is to work directly with them. Co-developing solutions with rural and Indigenous-led groups may help build better long-term relationships. It is also important to learn about the people you want to speak with before you select your research methods. In addition, try to be culturally informed and aware so you can cater the sessions to the needs of your participants.

3. Technical Barriers

Technical barriers occur when the choice of research tools is limited to those with specific capabilities. Sometimes there might be a high learning curve, which makes it more difficult to participate.

For example, survey tools and recruitment platforms might cater to individuals that have higher technological literacy levels than your target audience.

My Experience

When people are not comfortable with using technology, it makes recruiting online a bit more difficult. We did not run into this issue very often, but during one of our interview sessions, a participant mentioned that there are some people within their community that do not participate because they feel intimidated by digital technology.

Potential Solutions:

Like the solutions for operational barriers, there may be value in going back to the basics with paper (e.g., mailing out papers surveys) and in person research methods. If your user has access to a phone, calling them might be another way to interview them.

4. Functional Barriers

Functional barriers occur when people don’t see the value of participating and understand how the research fits into their lives.

Sometimes the selected research method(s) might take more time and effort than they can provide. This is important because free time is correlated with economic privilege. There are times when the honorarium might be insufficient for them to take time off work to help.

However, some people just want to help you without any monetary exchange. Therefore, it is important to know your audience and what they value.

My experience:

Many people are busy, so any request to participate in research must be worth their time. Our team tried to communicate the value of our research through the invitations we sent out.

We noticed the demographic of our participants leaned towards retirement age. It made me wonder if the people who had the time to participate in our research sessions were more likely to have free time and cared deeply about the issues we were trying to solve.

Potential Solutions

Be clear and concise with your invite early on. When possible, try to compensate your participants for their time. If time is limited, consider using surveys and other methods that better align with your audience.

To conclude, while there are barriers that may inhibit user research participation, building relationships and co-creating with different communities will help foster trust and allow us to ultimately deliver better services that work for them.

Some great blog posts for doing user research in the public sector:

The Art and Importance of Building Rapport

Who We Design For

Every Space is Political

How to Design for the Margins

Les obstacles aux Ă©tudes sur les utilisateurs

Bonjour, je m’appelle Gillian. Je suis la conceptrice de l’expĂ©rience utilisateur au sein de la cinquiĂšme cohorte de boursiers de Code for Canada Ă  la RĂ©gie. Notre mission : amĂ©liorer la gouvernance numĂ©rique. Mes collĂšgues, Malik Jumani (gestionnaire de produit) et Ian Cappellani (dĂ©veloppeur), et moi collaborons avec la RĂ©gie afin de bonifier les outils utilisĂ©s par la population canadienne pour participer aux audiences concernant de nouveaux projets Ă©nergĂ©tiques assujettis Ă  la rĂ©glementation fĂ©dĂ©rale.

Pour obtenir plus d’information à notre sujet, cliquez ici.

Le recrutement de participants aux Ă©tudes sur les utilisateurs dans le secteur public peut ĂȘtre ardu. En fĂ©vrier, notre Ă©quipe a voulu en savoir plus sur l’expĂ©rience de la participation au processus d’audience de la RĂ©gie de l’énergie du Canada. Nous voulions parler Ă  des personnes et connaĂźtre les difficultĂ©s liĂ©es aux outils actuels de participation numĂ©rique.

DĂšs le dĂ©part, le taux de rĂ©ponse Ă  mes invitations a Ă©tĂ© faible. Je me suis donc demandĂ© pourquoi il en Ă©tait ainsi et ce qui pouvait empĂȘcher une personne de participer.

Au cours d’une conversation avec ma collĂšgue Sidra Mahmood, elle a Ă©voquĂ© l’idĂ©e de l’effort demandĂ©, c’est-Ă -dire l’effort qu’exige une activitĂ© et les causes sous-jacentes qui pourraient empĂȘcher la participation Ă  une Ă©tude.

Les quatre facteurs liĂ©s Ă  l’effort demandĂ©

1. Obstacles Opérationnels

Les obstacles opérationnels surviennent lorsque les méthodes de recherche choisies ne tiennent pas compte des besoins socioéconomiques des utilisateurs.

Par exemple, la langue utilisĂ©e, l’éloignement physique du site d’entrevue, l’accĂšs Ă  la technologie et la qualitĂ© de l’accĂšs Ă  Internet peuvent nuire Ă  la participation.

Mon expérience

Bon nombre des personnes que nous avons tentĂ© de recruter habitent dans des collectivitĂ©s rurales, ce qui signifie que la qualitĂ© de l’accĂšs Ă  Internet peut varier. Ce facteur comme tel n’a pas Ă©tĂ© un problĂšme important sur le plan du recrutement de participants Ă  l’étude, mais la piĂštre qualitĂ© de l’accĂšs Ă  Internet a parfois eu des consĂ©quences sur nos sĂ©ances d’entrevue.

Notre Ă©quipe voulait aussi recruter des personnes qui avaient un accĂšs limitĂ© Ă  la technologie, afin de comprendre le processus « sur papier » qu’elles utilisent pour faire entendre leur voix. Malheureusement, il a Ă©tĂ© plus difficile de trouver ce type de participants et de communiquer avec eux.

Enfin, au moment de concevoir notre produit, nous voulions tenir compte des francophones. Notre Ă©quipe n’avait pas les compĂ©tences linguistiques pour clavarder directement avec des francophones, mais une conversation avec l’équipe de la traduction nous a permis de contourner cette difficultĂ©.

Pistes de solution

Dans un monde post-COVID, il serait idĂ©al d’aller Ă  la rencontre des participants dans les collectivitĂ©s rurales afin de discuter avec eux en personne. L’envoi par la poste d’études sur les journaux personnels pourrait aussi ĂȘtre un bon moyen de comprendre le parcours des utilisateurs qui ne disposent pas d’un accĂšs stable Ă  Internet.

Si le produit sur lequel on travaille est destinĂ© Ă  des locuteurs de plusieurs langues, il faut essayer de mener l’étude auprĂšs de ces locuteurs Ă©galement. Cela nĂ©cessitera habituellement plus de ressources.

2. Obstacles Systémiques

Les obstacles systĂ©miques sont prĂ©sents lorsque les pratiques et les procĂ©dures en place empĂȘchent, intentionnellement ou non, certaines personnes de participer.

Par exemple, un sondage conçu de façon partiale peut dissuader involontairement des personnes de le remplir. Des expĂ©riences passĂ©es peuvent faire en sorte que certaines personnes se mĂ©fient du gouvernement et, par consĂ©quent, croient que leurs commentaires ne changeront rien. D’autres pourraient ne pas se voir reprĂ©sentĂ©es dans la prise de dĂ©cisions ou ne pas se sentir Ă  l’aise de parler de leur expĂ©rience.

J’ai rĂ©cemment lu un blogue intitulĂ© Who We Design For (en anglais seulement) Ă  propos d’une Ă©quipe de recherche du gouvernement qui voulait rencontrer des demandeurs d’asile mais ne trouvait personne qui voulait discuter avec eux. Ils craignaient que le fait de parler Ă  quelqu’un dont l’adresse de courriel Ă©tait liĂ©e au gouvernement ait une incidence sur leur demande d’asile.

En fin de compte, l’un des chercheurs s’est portĂ© volontaire pour aider les demandeurs d’asile Ă  trouver un emploi. Cela a contribuĂ© Ă  Ă©tablir un lien de confiance et leur a permis d’obtenir la rĂ©troaction qu’ils recherchaient.

Mon expérience

La question de la mĂ©fiance est apparue Ă  quelques reprises durant le processus de recrutement de notre Ă©quipe. Certaines personnes ont refusĂ© de participer Ă  notre Ă©tude parce qu’elles avaient vĂ©cu une expĂ©rience nĂ©gative dans le cadre des processus auxquels elles avaient participĂ©.

La mĂ©fiance peut aussi dĂ©couler d’autres facteurs indĂ©pendants de la volontĂ© du gouvernement. Par exemple, certaines personnes peuvent associer les rĂ©sultats d’un processus quasi judiciaire Ă  l’équitĂ© du systĂšme dans son ensemble.

Nous avons essayĂ© de prĂ©voir de telles prĂ©occupations et d’y rĂ©pondre d’entrĂ©e de jeu en prĂ©cisant clairement que les Ă©tudes que nous menons n’auraient aucune incidence sur les instances de la RĂ©gie auxquelles ces personnes participent.

Pistes de solution

Une façon d’amĂ©liorer la confiance des collectivitĂ©s envers le gouvernement consiste Ă  travailler directement avec elles. L’élaboration conjointe de solutions avec des groupes ruraux et autochtones pourrait aider Ă  Ă©tablir de meilleures relations Ă  long terme. Il est Ă©galement important de connaĂźtre ses interlocuteurs avant de choisir les mĂ©thodes de recherche. De plus, il faut tenter de se familiariser avec la culture des participants afin d’adapter les sĂ©ances Ă  leurs besoins.

3. Obstacles Techniques

Les obstacles techniques surviennent lorsque les outils de recherche choisis conviennent uniquement Ă  des personnes possĂ©dant des capacitĂ©s particuliĂšres. Parfois, l’apprentissage peut ĂȘtre difficile, ce qui complique la participation.

Par exemple, les outils de sondage et les plateformes de recrutement peuvent s’adresser Ă  des personnes dont les connaissances technologiques sont supĂ©rieures Ă  celles de l’auditoire cible.

Mon expérience

Lorsque les gens ne sont pas Ă  l’aise avec la technologie, le recrutement en ligne est plus difficile. Nous n’avons pas rencontrĂ© ce problĂšme trĂšs souvent, mais au cours d’une de nos sĂ©ances d’entrevue, un participant a mentionnĂ© que des personnes de sa communautĂ© ne participent pas parce qu’elles sont intimidĂ©es par la technologie numĂ©rique.

Pistes de solution

Comme dans le cas des obstacles opĂ©rationnels, il pourrait ĂȘtre utile de revenir Ă  l’essentiel avec des mĂ©thodes de recherche qui utilisent les supports papier et les rencontres en personne (p. ex., envoi de sondages imprimĂ©s). Si l’utilisateur a accĂšs Ă  un tĂ©lĂ©phone, il pourrait ĂȘtre possible de l’appeler pour l’interroger.

4. Obstacles Fonctionnels

Les obstacles fonctionnels apparaissent lorsque les personnes ne perçoivent pas la valeur de leur participation ni la place qu’occupe l’étude dans leur vie.

Il arrive que les mĂ©thodes de recherche choisies exigent plus de temps et d’efforts que n’en valent les rĂ©sultats qu’elles peuvent fournir. C’est un Ă©lĂ©ment important, car il y a corrĂ©lation entre temps libre et privilĂšge Ă©conomique.

Les honoraires pourraient ĂȘtre insuffisants pour permettre Ă  un participant de s’absenter du travail.

Mon expérience

Beaucoup de personnes sont occupées, alors toute demande de participation à la recherche doit en valoir la peine. Notre équipe a essayé de communiquer la valeur de notre étude dans les invitations envoyées.

Les donnĂ©es dĂ©mographiques sur les participants nous indiquent que ceux-ci ont gĂ©nĂ©ralement l’ñge de la retraite. Je me suis donc demandĂ© si les personnes qui avaient le temps de participer Ă  nos sĂ©ances Ă©taient plus susceptibles d’avoir du temps libre et si elles se souciaient vraiment des questions que nous essayions de rĂ©soudre.

Pistes de solution

L’invitation doit ĂȘtre claire et concise dĂšs le dĂ©part. Dans la mesure du possible, on doit essayer de rĂ©munĂ©rer les participants pour le temps qu’il consacre Ă  l’étude. Si le temps est limitĂ©, on doit envisager d’utiliser des sondages et d’autres mĂ©thodes qui correspondent mieux Ă  l’auditoire.

En conclusion, malgrĂ© les obstacles Ă  la participation aux Ă©tudes, l’établissement de liens et la crĂ©ation conjointe avec diffĂ©rentes communautĂ©s favoriseront la confiance et nous permettront en fin de compte d’offrir de meilleurs services qui leur sont adaptĂ©s.