西门子PLC模块CPU224XPCN中央处理单元
就不适合做这个研究。你可能需要找到你想解决问题，而你正管理着一整个团队的人，他们都可以解决问题……那还不让他们来帮忙！你必须明确告诉他们，你的目标是了解他们，不是命令他们。你还应该表明每个人的解释不同很正常，因为每个人的角度不同。在表明了这些之后，团队成员们就会明白你想从不同角度来看问题的愿望，并和他们产生共鸣，这样他们就更容易真诚地进行反馈。
*后，定性研究方法有时候会让人感觉松散而随意。你怎么能相信这样一个没有结构的流程所得出的结果呢？问题的关键在于你必须认识到自己周围的偏见并接受它。作为研究员的你有偏见，你的受访者有偏见，而你所使用的各种研究方法也都偏向于揭示某种现象。你越能明确地识别这些偏差，越了解它们会如何影响你对研究结果的解读，你的研究结果就越客观。
4.4 推广应用定性研究的结果
无论你是在论文中看到定性研究的结果还是你自己做的研究，都会有一个问题，那就是这些结果能在多大程度上被推广到别一个更加公正的合作伙伴来替你进行这个研究。举例来说，监察员就是非常好的研究人员的候选。他们是中立的一方，他们又必须从多个角度看待问题，这样才能更高效地沟通和解决问题。如果在你的公司中有监察员，那么他们将是非常好的学习定性研究方法的候选研究员，还将在改善工作环境的过程中扮演重要的角色。
如果你的员工确实很喜欢你，那么另一个重要的因素就是你的员工。他们能否很好地进行沟通？他们是否诚实？他们是否喜欢隐瞒不报？你的团队有没有分派系？在团队中有没有不断改善的传统，或者说团队是否僵化而保守？这些都是确定某种研究方法是否可行的社会因素。举例来说，如果员工很喜欢隐瞒不报，那么就不能使用直接观察的方法，因为他们知道自己正被观察。文档分析可能会有用，你的团队会不会考虑隐私的问题？访谈只有在访问者能与受访者建立融洽关系的时候才有效，否则就得不到任何效果。好的定性研究方法的目标是找到一种观察的方法，既能使偏见*小化，又能使客观性*大化。
无论是你还是别人来做这个研究，还有一个重要的考量就是你如何来向团队解释这些研究。在任何情况之下，“秘密进行研究”的想法都是极坏的。你提出问题的原因也许是因为
定性研究方法通常是在学术研究中使用，这些方法在工作中也有很大的作用
际上，当你需要回答任何没有标准答案的问题的时候，这些方法就可以帮上忙。而在软件工程中遇到的问题几乎总是如此。软件测试人员可以使用定性研究方法来解决在测试中遇到的与人相关的低效问题，而项目经理们则可以使用这些方法来研究团队的社交指标会如何影响效率。设计师、开发人员以及需求工程师们可以使用定性研究方法来更深入地理解他们的用户，以便更好地满足用户的需求。当你需要分析谁、什么、何时、何地、怎么做以及为什么之间的关系的时候，定性研究方法就可以帮上忙。
使用定性研究方法就和当个名侦探或者记者一样：关键是要发现事实真相，并讲一个令人信服的故事——但还必须意识到从不同的角度会看到不同的事实真相。你会如何来发现这些角度在很大程度上取决于研究的状况。你需要对研究所处的社会背景有所领悟，这样你才能知道谁可以信任、他们存在哪些偏见以及他们的哪些动机可能会影响你的判断。只有具备了这些认识之后，你才能确定如何结合使用直接观察、跟踪观察、访谈、文档分析、日记研究等方法。
*后，你是否信任这项研究的输出及其推论？学术论文的写作标准要求将研究结果和推论区分开来，以方便读者确定他们是否可以根据同样的证据得出同样的结论。在Knuth的文章中，他从头到尾都把两者混在了一起，不但详细地介绍了TeX的各种故障，也提出了他的研究推论。比如说，在描述了关于意外类错误（Knuth说这些是全局误解）的各种有趣故事之后，他这样说道：
这段经历告诉我们，所有的软件系统都应该经历你能想象到的*不友善*难对付的测试的磨炼，否则，即便在大量部署并取得较好的反响之后的数年中，我们也几乎可以肯定系统会不断地产生bug。
当结果和推论并排在一起的时候，读者就很容易忘记这二者的区别，也会忘记应该将它们分开来分析。我相信Knuth对于这些（导致了上述推论的）故事的记忆，因为他描述了他记录这些故事的流程。我认为Knuth过度解读了这些故事的意义，使其更符合他的结论。如果Knuth花了如此多的时间在痛苦测试上，他还有可能完成TeX吗？我相信他的日记
我们还可以把开发人员从这个方法中完全剔除出来，只研究文档。开发人员们在旧系统中报告了哪些bug，又在新系统中报告了哪些这样我们也许可以发现开发人员不愿在新系统中报告的bug类型。这样你也许可以找到一些使用旧系统的原因，真正的原因仍然存在于团队成员的头脑之中。
上述几种都是定性研究的方法，他们都有各自的局限性。要想解决这些限制，我们就必须接受它们：只用一个方法无法揭示完整而不偏不倚的事实。好的人文研究会结合多种方法，并将各种方法得出的证据结合在一起。举例来说，比如你既对员工们进行了访谈，又调查了哪些bug是在新系统中提交的。两种方法给你的结论不同，但相互之间或多或少的有一致性。通过对比这些结论的相同点和不同点，你就可以了解到这个问题的真正答案。
除了调查了解事实之外，定性调查还可以让我们进行换位思考。很多时候，沟通不畅、违反流程、士气低落都是因为人无法从别人的角度来看世界。而这也正是定性研究想要解决的问题。这种换位思考往往就是定性研究方法的目标。比如说，你管理着一个团队，发现每周五都会出现编译错误，人们整天都在解决这个问题，每个人回家的时候都很累。使用定性研究的方法来调查这个问题你可能会发现原来星期四晚上大家都在忙着提交修改，因为周五是你决定开会的日子。有了这样的调查方法，你就可以从开发人员的角度来看这个世界并找到让大家都满意的解决方案其中两份评审特别受关注，因为它们颠覆了一些我们对软件成本预估的固定思维。成本估算模式的准确性
在两份系统性评审中，回答了成本模型估算（从过去项目中收集数据，基于数据生成数学公式）是否比专家判断估算（基于软件开发者和管理者的于手动搜索来说，你需要选择你想要搜索的刊物和会议纪录。当然，你也需要证明你的选择是正确的。在一个案例分析中，我们非常惊讶地发现，有针对性的手动搜索比泛泛的自动搜索要快许多[32]。在实践中，你很可能需要混合策略。如果你对一些资料进行手动搜索后（包括专家会议的会议纪录），你应该把它当做候选原始研究的一组基准，基于这组基准，你可以验证自动化搜索字符串的效用。另一种方法是，领域专家也可以把一组论文作为确定基准。
医疗标准强制必须有两个研究员独立作出初始的对于包含和排除的决定。我在软件工程中的自动化搜索经验是，许多论文单从标题就能看出它的无关性。在实践中，许多软件工程研究者（包括我自己）允许单个研究者对完全无关的论文作出初始筛选。但此研究者必须理解，如果有任何疑问，那就必须把论文留作候选。在下一步的筛选中，有两个或多个研究者独立评估每篇候选的原始研究是很重要的。在这一阶段，研究者需要完整阅读每篇候选论文，用包含和排除的标准来进行筛选。
如果包含同一项研究多次的话，会使集合产生偏差。必须检查每篇论文来确定他们是否包含多重研究，或者是否因为引用了同样的研究而需要融合他们的结果。要识可重复性依赖于所研究的问题本身的清晰明确，不能模棱两可，也需要对搜索和集合的流程以及研究的范围进行完全的汇报。*近有个研究比较了两个针对同样研究问题的独立系统性评审[38]。这份研究在原始研究数量较少而评审团由领域专家组成的情况下，软件工程的系统性评审可重复性相当高。另一份基于非常庞大的经验性文献库的系统性评审[51]发现了不同文献中的评审有巨大的差异，但它解释说这些差异来自于不同评审中隐含的研究问题之间的差异。
这一章会带着对实证软件工程的普遍关注来向读者介绍系统性评审的价值。我也力求帮助见习研究人员（如博士生）开始使用系统性评审，他们可能正在寻找可靠的方法来着手能代表领域发展水平的评审。这一章应该也会对更有经验的实证研究者有所帮助，他们也许对系统性评审的方法论的价值还没有足够的信心。许多欧洲研究者已经开始发表软件工程的系统性评审，但来自美国的研究者相对较少[33][34]。
我也希望这一章内容能提醒实证研究者，他们的研究可能也会为将来系统性评审做出贡献，并能在汇报他们结果的谨记将来研究证据的集合。*近的一次系统性评审发现，很难开始一个完整的元分析，因为个体的原儿的标准方法，系统性评审的发布改变了医疗实践。
这并没有被认为是循证医学的重大胜利。在那12篇研究中，8篇是在1982年之前发表的。如果那8篇研究能在1982年集合的话，8年的错误治疗和与之相关的新生儿死亡就能够被避免。这引发了对及时集合证据的重要性的重新评估，以及协作组织的建立，该非营利组织旨在实施针对医疗和保健问题的系统性评审，并维护系统性评审报告数据库。这需要提取每篇文章中针对所研究问题数据，适当地集合数据。有时，可以通过一次正式的元分析来集合数据，但在软件工程和其他非医学领域中，每篇研究的结果通常只是以表格的形式列出来，以确定潜在的趋势。与质量评估一样，数据提取通常由两名研究者来完成，他们讨论并解决所有的不同意见。
我之前批评了对专家观点的依赖，我所见过的关于软件工程的**的系统性评审，是由包含领域专家的团队执行的。领域专家的知识在系统性评审中可以被很好地加以利用，来确定需要搜索的专业会议和期刊，并确定可以用作基准的一组初始研究文章，来检查任何自动搜索过程的有效性。
对于刚开始学习系统性评审流程的新研究员，我推荐他们考虑图谱研究（mappingstudies）。这类系统性评审试图寻找并分类涉及更宽泛研究话题的文献，而不是回答一个特定的研究问题[35]。这两类研究的区别可以通过比较MagneJørgensen的两篇文章而看出。第一篇是传统的系统性评审，调查了成本估算模式的评估在预计项目成本时是否比专家判断的评估更**[22]。这篇文章在3.3.1节中有所讨论。第二篇是高质量的图谱研究，对成本估算文献进行了分类[24]。
下面的3.3节讨论了一些挑战了软件工程 “常识”的系统性评审，证明了我们用健全方法论来