您准备好进行 RCT 了吗?:在小型企业中进行随机对照试验的实践经验
Posted: Thu Feb 20, 2025 5:27 am
我们认为我们有一个绝妙的主意,可以促进肯尼亚非正式家具行业的创新和发展:我们在肯尼亚内罗毕的非正式家具区开设并运营了一个工具库。这个工具库被恰当地命名为“WorkShop”,以提供优质工业级工具的形式提供资金,并以为期五周的培训课程的形式提供技能,这些课程涉及商业实践、技术技能和客户管理。我们还开发了一款定制应用程序,让木匠可以访问有关材料选择、设计、制造技术和商业实践的数字信息。
作为勤奋的自我怀疑者,我们不确定我们的想法是否可行,因此我们决定尽可能严格地测试它:在内罗毕随机选择约 100 名木工可以使用全套 WorkShop 服务,而另外约 600 名木工只能使用该应用程序,另外约 700 名木工作为我们的对照组。
事实证明,这个想法确实激发了创新,并产生了一些积极影响,但这并不意味着这是进行研究的最佳时机。我们很高兴看到我们的工作坊计划取得了成功,但意识到如果再考虑一些因素,它可能会更加成功。在此过程中,我们学到了一些关于启动和评估此类项目的实践经验:
不要太相信市场调查:我们研究面临的最 IG 数据 大挑战是,在获得参与 WorkShop 项目机会的约 100 名木工中,只有约 20 名参与了该项目。尽管进行了深入的市场调查,但结果仍然如此:近 6 个月来,我们一直在与木工进行探索性焦点小组、访谈和小型调查,以了解他们的业务,评估他们的需求并衡量他们对 WorkShop 的兴趣。基于那项市场调查,我们认为参与人数会非常多,但实际上的反应却大不相同。对于少数参加的人来说,他们非常热情,愿意花时间与我们一起工作——这可能就是为什么尽管参与人数不多,我们仍能取得成果的原因。我们了解到,人们所说的和人们所做的往往是截然相反的。
任何麻烦都是大麻烦:当我们探索非常低的使用率时,我们想起了小摩擦的力量:附近区域的一些木工因为需要将材料运往和运出车间而不愿使用这些工具。请注意,这些木工中的许多人目前正在使用手动工具,而使用工业级机械既可以节省时间,又可以提供新技能。但这些前期的小摩擦足以让人们望而却步。
存在信贷限制:尽管许多木工认为参加培训和使用工具的机会很有价值,但由于流动性限制,有些人根本无法从眼前的工作中抽出时间每天参加几个小时的课程。我们了解到,人们的机会成本很高,而且时间并不总是不可分割的。失去几个小时的工作可能意味着失去一整天的工作。
RCT 是一种快照 — 确定暴露时间:尽管测试影响至关重要,但在正确的时间采取措施才是明智之举。我们对接受度抱有很高的期望,但事实证明并非如此。虽然我们仍然能够观察到一些结果,但如果治疗组的样本量更大,我们可能会学到更多,而且回想起来,我们本可以进行一些预试点会议。
作为勤奋的自我怀疑者,我们不确定我们的想法是否可行,因此我们决定尽可能严格地测试它:在内罗毕随机选择约 100 名木工可以使用全套 WorkShop 服务,而另外约 600 名木工只能使用该应用程序,另外约 700 名木工作为我们的对照组。
事实证明,这个想法确实激发了创新,并产生了一些积极影响,但这并不意味着这是进行研究的最佳时机。我们很高兴看到我们的工作坊计划取得了成功,但意识到如果再考虑一些因素,它可能会更加成功。在此过程中,我们学到了一些关于启动和评估此类项目的实践经验:
不要太相信市场调查:我们研究面临的最 IG 数据 大挑战是,在获得参与 WorkShop 项目机会的约 100 名木工中,只有约 20 名参与了该项目。尽管进行了深入的市场调查,但结果仍然如此:近 6 个月来,我们一直在与木工进行探索性焦点小组、访谈和小型调查,以了解他们的业务,评估他们的需求并衡量他们对 WorkShop 的兴趣。基于那项市场调查,我们认为参与人数会非常多,但实际上的反应却大不相同。对于少数参加的人来说,他们非常热情,愿意花时间与我们一起工作——这可能就是为什么尽管参与人数不多,我们仍能取得成果的原因。我们了解到,人们所说的和人们所做的往往是截然相反的。
任何麻烦都是大麻烦:当我们探索非常低的使用率时,我们想起了小摩擦的力量:附近区域的一些木工因为需要将材料运往和运出车间而不愿使用这些工具。请注意,这些木工中的许多人目前正在使用手动工具,而使用工业级机械既可以节省时间,又可以提供新技能。但这些前期的小摩擦足以让人们望而却步。
存在信贷限制:尽管许多木工认为参加培训和使用工具的机会很有价值,但由于流动性限制,有些人根本无法从眼前的工作中抽出时间每天参加几个小时的课程。我们了解到,人们的机会成本很高,而且时间并不总是不可分割的。失去几个小时的工作可能意味着失去一整天的工作。
RCT 是一种快照 — 确定暴露时间:尽管测试影响至关重要,但在正确的时间采取措施才是明智之举。我们对接受度抱有很高的期望,但事实证明并非如此。虽然我们仍然能够观察到一些结果,但如果治疗组的样本量更大,我们可能会学到更多,而且回想起来,我们本可以进行一些预试点会议。