「你觉得我们的新功能好用吗?」——这是一道典型的坏问题。它预设了功能「好用」,受访者只需要在好用的程度上选个档位。基于这类数据做出的产品决策,成功率不会比抛硬币高多少。
坏问题:「大多数用户反馈我们的界面很清爽,你觉得呢?」
问题分析:先给结论再求认同,受访者会不自觉地向「主流意见」靠拢。
修正:「你对我们目前界面的第一印象是什么?」不给任何预设。
坏问题:「你觉得这个功能的价格和使用体验如何?」
问题分析:价格和体验是两个维度,受访者可能对价格满意、对体验不满,无法作答。
修正:拆成两道题,每道只问一个维度。
坏问题:「如果有一个功能能自动整理你的日程,你愿意付费吗?」
问题分析:假设性付费意愿的数据几乎没有价值。人们说愿意付的钱,和实际掏的钱,差距可以达到数倍。
修正:用真实行为测试替代问卷——落地页预购、候补名单、假门测试,让用户用行动投票。
坏问题:选项只有「非常满意/满意/一般/不满意」。
问题分析:缺少「不满意到什么程度」和「不适用」选项。强迫选择会制造虚假数据。
修正:量表两端对齐,并始终提供「不适用/不清楚」出口。
在产品内推送问卷,回收的是活跃用户的意见;在取消流程里弹问卷,回收的是不满用户的意见。样本偏差比问题设计更隐蔽,也更致命。
修正:明确目标人群,主动设计抽样方式,并在报告中如实标注样本的局限性。
写完问卷后,让自己扮演一个「想帮产品说好话的用户」和「被惹恼的用户」各答一遍。如果两个角色都能轻松地把答案填成你想要的样子,这份问卷就有问题。
问卷不是用来「证明」产品想法正确的,而是用来「发现」自己想错了的。带着找证据的心态设计问卷,你会得到更有价值的真相——哪怕它不符合预期。