对于经常从事用户研究的人来说,我们可能担心实验结果是不是偶然的?我们是否陷入主观陷阱中?怎么样让研究结果更具有说服力和客观性呢?如果你也时常被这些问题困扰,那么我想“三角测量”是一个应当学习的解决方法。
“三角测量”在用户体验研究领域正在变成一个时髦用语。它究竟是什么?它可以如何帮助你提高用户洞察的质量呢?
1.什么是“三角测量”?
1) 定义
“三角测量”这一术语源自几何学,它指的是根据已知的点向未知的点构建三角形的方式来确定该点的位置。在社会科学领域,三角测量指采用多种调查方法来研究同一种现象(例如访谈或定量调查等)。这一概念跟法医学中的“交叉诘问”(cross- examination)接近,通过询问多位目击者的证词更易接近事实真相。这是通过发现数据的一致性和不一致性来实现的。
根据《研究设计百科全书》(Encyclopedia of Research Design)的定义:“三角测量是指使用多种来源的数据进行研究,或使用多种方法分析数据,以提升调查研究的可信度。”
研究的可信度通常包含:
内部有效性(或定性研究的可信度):我们在测量自己想要测量的东西吗?
外部有效性(或定性研究的可转移性):我们正在测量的东西可以运用到现实世界吗?
可靠性(或定性研究的可靠性):如果我们再做一次研究,是否会得出同样的结果?
2) 类型
Denzin [1] 认为,没有哪一种的方法、理论或观察员可以捕获一项研究中所有相关或者重要事物。而三角测量法正是被提出来解决这一问题的。Denzin 在 20 世纪 70 年代确定了四种主要类型的三角测量法,如今仍旧被研究学界广泛地认可。
( [1]诺曼·K.邓津,伊利诺伊大学香槟分校社会学系荣誉教授,质性研究法终身成就奖获得者之一)
1 数据三角测量(多数据集)
指在一项研究中使用不同的数据源。尤其是,通过不同的样本策略收集数据,例如收集不同时间、不同环境或不同的研究对象的数据。这种方法可以用其他数据的优点来弥补当前数据存在的不足,这样可以提升结果的有效性和可靠性。
2 研究员三角测量(多研究员)
该方法指在同一调查中采用多个调查人员 / 评估人员。为了做好三角测量,每一位评估者都会使用相同方法(例如访谈、观察)进行相同的实验,之后将所有评估者的发现进行比较。如果所有研究人员都得出了一样的结论,那么其有效性就成立。在用户体验研究中,同样可以通过让多个研究人员分析同一组定性数据来实现。使用不同种族、年龄、性别和阶级群体的研究人员可以纠正诸如观察者或访谈者偏见的问题。
3 理论三角测量(多理论)
该方法只涉及一组数据,但研究人员会采用不同的理论或替代的理论进行诠释。人们甚至通过一些相互矛盾的理论视角来看待数据。
4 方法三角测量(多方法)
指在使用不同的方法来研究一种情景或现象。其目的是用其他方法的优点补足某一种方法的不足和偏差。该类型的三角测量与在社会科学研究中所使用的“混合研究方法”(mixed-method approaches)类似,用一种方法得出的结果来提升、增强和阐述另一种方法的结果。
2. 用户研究中的“三角测量”
不同的方法可以解答不同的问题,但同样也有一定的局限性。在用户研究(或者说任何一种社会研究)中没有哪种方法是完美的。利益相关者或初级研究员们会经常来问我,究竟该如何解决各种研究方法的局限性,我的解答通常就是“三角测量”。即使是计划周密、控制得当的研究仍旧会存在局限。但针对特定的问题采用 多个视角(方法、数据点、研究人员以及理论),可以提升我们的信心,帮助我们获得可信度。
在用户体验研究中,最常用的三角测量类型就是“方法三角测量”(例如通过调查和访谈来研究同样的问题)和“研究员三角测量”(例如多个研究员分析同一组数据)。三角测量使我们对研究数据更有信心,揭示意想不到的发现,对现象有更清晰的认识。
1)用户研究中应用三角测量的例子
针对一个问题使用多种方法进行研究以理解用户的行为及其原因。例如,我们可以调查用户如何使用一个特定的功能,然后通过深度访谈来探究为什么用户会这样用。使用混合方法常常可以让我们用更清晰的视角看问题。
通常来说,研究会从定性的方法开始,以确定和缩小问题。例如,在做发现研究时,我们可以从访谈开始,一旦我们确定了一些主题,就可以用定量的方法来验证我们的见解。当然过程也可以反过来,这取决于我们正在研究的问题。
3.“三角测量”的局限性
无论是哪种类型的三角测量都是基于这样一个假设:使用不同的数据来源、方法或者研究员可以减少数据集或方法论的偏差。这意味着,使用三角测量可以增加我们对自己的见解的信心。然而使用这一方法的同时,需要警告的是,它也可能导致“证实偏差”。可能你不太熟悉这一含义,“证实偏差”就是描述我们潜在的倾向,即注意、聚焦且更相信那些符合我们现有信念的证据。
如果你之前并未使用过三角测量,请记住它有时会得出矛盾和不一致的结果。在这些情况下,要由研究者来理解数据和不一致的来源。这对于经验较少的研究者来说尤其有挑战性。
三角测量有助于我们对正在研究的现象有更宽泛的视野但仍旧不是全貌。不用说,合适的设计研究仍旧对保证可信度至关重要。如果你的设计研究较差,那么三角测量将对你帮助不大 —— 输出的质量往往取决于输入的质量 。
4.何时使用“三角测量”
理想情况下,我们希望有数月的时间以及无限的预算来进行研究。但是事实是,我们通常会发现我们几乎没有足够时间来严格执行某一种方法,且资源有限。这就使得应用三角测量具有相当大的挑战性,它无法应用在我们所做的每个研究中。所以我们应该如何决定什么时候使用三角测量呢?
做高度重要工作时:我们无法每次做三角测量,但是当需要做一些可能会影响业务和用户的重要的决策(例如重大的重新设计),我们需要优先考虑它。
你的团队中拥有多位研究员时:组成一个小组,让至少 2 名研究员参与数据收集和分析的工作。这可以有效帮助你控制一些偏差(例如访谈者偏见)。
与其他团队合作:当开始一个新的项目时,你可以从查看现有数据和产品分析开始。让数据分析师和产品经理参与进来。
你是否在用户研究中使用过“三角测量”呢?欢迎小伙伴们在留言区或者读者群和我们一起讨论,期待听见你的声音。