一旦涉及创新，大多数管理者都要在数据不足的情况下作出决策。因此，他们的决策通常依靠经验或直觉。但真正能重塑行业的创新思想，往往和高管们的经验以及传统观念相左。

然而，管理者可以通过精准测试，检验新产品或商业项目能否成功。为什么在进行高风险改革和采用昂贵方案前进行实验的公司并不多?因为多数公司不愿在商业实验上投入成本，而且执行起来也很困难。尽管看似简单，但由于组织和技术上的重重挑战，实验流程操作起来异常艰难。这是我们依据40多年来实施和研究的商业实验所得出的结论，这些商业实践涉及公司包括美国银行、宝马、希尔顿酒店、卡夫食品、Petco宠物用品超市、史泰博文具、赛百味和沃尔玛。

精确科学的商业实验是解决之道，公司将自变量(预设原因)和因变量(观察到的结果)分开，并保持其他因素恒定不变，然后通过改变自变量，来观察因变量发生的变化。为充分利用商业实验，公司需要自问以下5个关键问题。

1、目的明确

要想解决某些具体的管理行为问题，唯一现实的方法就是实验。这是公司必须进行实验的情况之一。

决定是否需要进行实验时，管理者首先要明确他们到底想通过实验了解什么，这样才能决定实验是否是最佳选择;如果答案肯定，就要确定实验范围大小。很多情况下，高管不仅需要关注实验的直接效果，还需要研究其间接影响。例如，当连锁超市Family Dollar考虑是否投资购买冷柜，用于销售蛋奶等生鲜食品时，发现了一个重要的间接作用。由于生鲜商品吸引了额外顾客，店内原来其他食品的销量也增加了，而后者带来了更多的利润。

当然也会出现消极的间接影响。几年前，位于美国中大西洋地区的连锁便利店Wawa想引进一款在试点项目中表现不错的卷饼类早点。但该计划在执行前还是被叫停。因为在通过对照组和实验组进行详细商业实验后，回归分析显示新产品可能会影响其他利润率更高的同类产品销量。

2、按结果行事

在进行任何实验前，利益相关方必须事先约定，实验结束后下一步如何进行。他们应确保综合考虑所有实验结果，而非片面挑选支持某一观点的部分数据。最重要的是，如果客观数据不支持该项目，他们必须放弃。

当然，当实验数据并不能支持预期效益时，支持者仍可能会找到其他适当的理由继续推进该项目，比如尽管数据显示销量没有明显提高，但却能有助于建立必要的顾客忠实度。但既然已经决议推进该项目，当初又何必要花时间和财力做实验呢?因此必须建立起机制，即使结果与高管预期或直觉相违背，也要保证实验结果不被忽略。美国东南部的连锁超市 Publix(大众超级市场公司)所有的大型零售项目(特别是投入大的项目)，必须经过正规实验认可才被放行。所有此类项目都要经过筛查，第一步就是进行财务分析，判断该项目的实验是否值得一做。

对于那些过了第一关的项目，分析专家会设计出实验方案，并提交给包括财务副总在内的委员会审议。经委员会批准的实验才可进行，并受到内部测试小组监督。财务部门只会将大笔开支批给那些合规且取得积极实验结果的项目。在构建和执行筛查过程中，需要记住的一点是，实验应属于公司总体学习计划的一部分，支持公司的组织优先事项。

3、可操作

实验的预期结果必须可被证实。由于商业环境中变量的“因果密度(Causal Density)”高，变量和变量之间的互动关系都非常复杂，判断因果关系极其困难。和分离及改变自变量，观察因变量变化相比，从商业实验中归纳有效信息更加困难。环境总在变化，影响公司绩效的潜在原因也很难确定;因此，它们之间的联系通常也十分复杂，不易把握。

最明显的解决办法是进行实验，比如把10家QwikMart名字改成FastMart，看看会产生什么变化。但即使改名的决定也大有学问，因为很多其他变量也可能随之而变。

在因果密度高的环境中，只有实验样本足够大，才能抵消其他变量的影响，公司要考虑这样做是否现实。遗憾的是，这种实验往往很难实现。选取足够样本所需的高昂成本难以承受，或是改变操作干扰太大。我们后面会具体讨论如何应对这类难题，高管有时可以利用复杂的分析技巧，比如大数据，使实验的统计结果更加真实有效。

选择合适的样本大小不仅可以保证结果的统计数据有效，还能让公司降低实验成本并有助于创新。现在有软件程序可以帮助公司选择理想的样本大小。

4、结果要可靠

前文中我们描述了商业实验的基本原则。但现实中，公司往往要在可靠性、成本、时间和其他实际问题间寻找平衡。3种方法可以帮助公司减少取舍，从而增强结果可靠性。

方法1：使现场测试更随机。医学研究中所谓的随机很简单：把一组具有同样属性和疾患的个体随机分为两小组，只治疗其中一个小组，然后密切监督所有个体的健康状况。如果治疗(实验)组在统计上比未治疗(对照)组状况要好，那么该疗法被认为有效。类似地，随机进行现场实验能帮助公司决定：某些具体变化能否改进绩效。随机性的意义很重要，它能防止有意或无意间产生的系统偏差对实验产生影响;还能将任何潜在(未知)影响测试的因素平均分配给实验组和对照组。但随机现场测试并非全无风险，为获得有效结果，一定要保证其数据统计方法严谨可靠。

方法2：盲样测试(无偏差测试)。为将偏差降到最低，防止“霍桑效应”(指那些意识到自己正在参与实验的受试者具有改变行为的倾向)，商业实验需要进行过盲样测试。

方法3：大数据。在线上或其他直接渠道，对精确随机实验的数学要求已广为人知。但正如我们前文所述，大多数其他消费业务交易渠道，比如实体零售店的取样数量往往无法超过100，因此达不到很多统计方法的标准。为尽可能避免这一局限，公司可以利用专业算法配合多套大数据进行实验。

即使公司无法按照精确的测试准则进行实验，大数据分析也能识别和纠正某些偏差、随机化中的问题及其他实验瑕疵。常见的一种情况是，公司的实验部门收到进行非随机自然实验的要求，比如运营副总裁想知道覆盖了10%公司市场的新员工培训项目，是否比老项目更有效。事实上，用来解决小样本或联系紧密样本等问题的算法和成套大数据，也适用于此类非随机情况，可以去芜存菁，提取有价值信息，最小化结果中的不确定性。然后大数据分析可以此为基础，为实验者设计出真正的随机现场测试，进一步确定和精炼实验结果。特别是在实验结果和人们预期相反，或需要做出涉及利益较大决定的时候。

5、效果最大化

很多公司的实验投入很大，却没能对结果善加利用。为避免这一误区，高管应该考虑到预期实验结果对不同顾客、市场、部门的影响，将投入集中在回报潜力最大的领域。因此正确的提问不是什么有效?而是在哪里有效?

“价值工程(value engineering)”是另一种有效策略。创新项目由不同元素组成，总有一些元素的投资回报率偏低，而另一些部分偏高。如能找到诀窍，只施行投资回报率高的部分，则效果最为理想。举个简单例子，某零售商实验中，八折促销可使销量提高5%。折扣本身，引导顾客发现折扣的广告宣传和门店员工培训，三者对销量提高的贡献各占多少比重?经过此类分析，公司能够尝试组合不同的实验元素(提供折扣和促销广告，但没有配套员工培训 )，分析实验结果，让高管放弃那些投资回报率低甚至为负值的元素(比如配套员工培训)，使性价比最大化。

此外，严谨的实验数据分析可以让公司对运营理解更透彻，让公司更精确地测试出变量对应的因果关系。大数据最重要的用武之地是发现各种关联。比如，销售某种产品可能和销售其他产品产生冲突。但商业实验能让公司更进一步，在关联之外发现因果关系，比如使销量增加或降低的因素。这类基本的因果关系至关重要。不能把握这点，高管们只能看到所在行业的冰山一角，从而做出极易令人后悔的决定。

没有充分弄清因果关系，公司就容易铸成大错。因此重要一点是，很多公司都意识到，进行商业试验仅仅是个开始。实验真正的价值来自于分析和充分利用所得数据。

通过关注样本大小、对照组、随机情况和其他因素，公司能保证实验结果有效。实验结果越经得起推敲，可重复性越强，就越能说服来自公司内部的反对声音。尤其是当实验结果和业内积习与传统观念相悖的时候更是如此。

商业实验不仅能找到更好的办事方法，还能让公司有信心扭转错误的传统观念，甚至改变公司内部经验丰富高管的成见，最终带来更明智的决策和更优秀的业绩。