西门子CPU模块6ES7288-1CR40-0AA0
无论是你还是别人来做这个研究，还有一个重要的考量就是你如何来向团队解释这些研究。在任何情况之下，“秘密进行研究”的想法都是极坏的。你提出问题的原因也许是因为
虽然定性研究方法通常是在学术研究中使用，但是这些方法在工作中也有很大的作用。实际上，当你需要回答任何没有标准答案的问题的时候，这些方法就可以帮上忙。而在软件工程中遇到的问题几乎总是如此。软件测试人员可以使用定性研究方法来解决在测试中遇到的与人相关的低效问题，而项目经理们则可以使用这些方法来研究团队的社交指标会如何影响效率。设计师、开发人员以及需求工程师们可以使用定性研究方法来更深入地理解他们的用户，以便更好地满足用户的需求。当你需要分析谁、什么、何时、何地、怎么做以及为什么之间的关系的时候，定性研究方法就可以帮上忙。
使用定性研究方法就和当个名侦探或者记者一样：关键是要发现事实真相，并讲一个令人信服的故事——但同时还必须意识到从不同的角度会看到不同的事实真相。你会如何来发现这些角度在很大程度上取决于研究的状况。你需要对研究所处的社会背景有所领悟，这样你才能知道谁可以信任、他们存在哪些偏见以及他们的哪些动机可能会影响你的判断。只有具备了这些认识之后，你才能确定如何结合使用直接观察、跟踪观察、访谈、文档分析、日记研究等方法。
后，你是否信任这项研究的输出及其推论？学术论文的写作标准要求将研究结果和推论区分开来，以方便读者确定他们是否可以根据同样的证据得出同样的结论。但是在Knuth的文章中，他从头到尾都把两者混在了一起，不但详细地介绍了TeX的各种故障，也提出了他的研究推论。比如说，在描述了关于意外类错误（Knuth说这些是全局误解）的各种有趣故事之后，他这样说道：
这段经历告诉我们，所有的软件系统都应该经历你能想象到的不友善难对付的测试的磨炼，否则，即便在大量部署并取得较好的反响之后的数年中，我们也几乎可以肯定系统会不断地产生bug。
浔之漫智控技术（上海）有限公司（xzm-w）
是中国西门子的佳合作伙伴，公司主要从事工业自动化产品的集成,销售和维修，是全国的自动化设备公司之一。
公司坐落于中国城市上海市，我们真诚的希望在器件的销售和工程项目承接、系统开发上能和贵司开展多方面合作。
以下是我司主要代理西门子产品，欢迎您来电来函咨询，我们将为您提供优惠的价格及快捷细致的服务！
西门子CPU模块6ES7288-1CR40-0AA0
当结果和推论并排在一起的时候，读者就很容易忘记这二者的区别，也会忘记应该将它们分开来分析。我相信Knuth对于这些（导致了上述推论的）故事的记忆，因为他描述了他记录这些故事的流程。但是，我认为Knuth过度解读了这些故事的意义，使其更符合他的结论。如果Knuth花了如此多的时间在痛苦测试上，他还有可能完成TeX吗？我相信他的日记
我们还可以把开发人员从这个方法中完全剔除出来，只研究文档。开发人员们在旧系统中报告了哪些bug，又在新系统中报告了哪些这样我们也许可以发现开发人员不愿在新系统中报告的bug类型。这样你也许可以找到一些使用旧系统的原因，但是真正的原因仍然存在于团队成员的头脑之中。
上述几种都是定性研究的方法，他们都有各自的局限性。要想解决这些限制，我们就必须接受它们：只用一个方法无法揭示完整而不偏不倚的事实。好的人文研究会结合多种方法，并将各种方法得出的证据结合在一起。举例来说，比如你既对员工们进行了访谈，又调查了哪些bug是在新系统中提交的。两种方法给你的结论虽然不同，但相互之间或多或少的有一致性。通过对比这些结论的相同点和不同点，你就可以了解到这个问题的真正答案。
除了调查了解事实之外，定性调查还可以让我们进行换位思考。很多时候，沟通不畅、违反流程、士气低落都是因为人无法从别人的角度来看世界。而这也正是定性研究想要解决的问题。这种换位思考往往就是定性研究方法的目标。比如说，你管理着一个团队，发现每周五都会出现编译错误，人们整天都在解决这个问题，每个人回家的时候都很累。使用定性研究的方法来调查这个问题你可能会发现原来星期四晚上大家都在忙着提交修改，因为周五是你决定开会的日子。有了这样的调查方法，你就可以从开发人员的角度来看这个世界并找到让大家都满意的解决方案其中两份评审特别受关注，因为它们颠覆了一些我们对软件成本预估的固定思维。成本估算模式的准确性
在两份系统性评审中，回答了成本模型估算（从过去项目中收集数据，然后基于数据生成数学公式）是否比专家判断估算（基于软件开发者和管理者的于手动搜索来说，你需要选择你想要搜索的刊物和会议纪录。当然，你也需要证明你的选择是正确的。然而，在一个案例分析中，我们非常惊讶地发现，有针对性的手动搜索比泛泛的自动搜索要快许多[32]。在实践中，你很可能需要混合策略。如果你对一些资料进行手动搜索后（包括专家会议的会议纪录），你应该把它当做候选原始研究的一组基准，基于这组基准，你可以验证自动化搜索字符串的效用。另一种方法是，领域专家也可以把一组论文作为确定基准。
西门子CPU模块6ES7288-1CR40-0AA0
医疗标准强制必须有两个研究员独立作出初始的对于包含和排除的决定。然而，我在软件工程中的自动化搜索经验是，许多论文单从标题就能看出它的无关性。因此，在实践中，许多软件工程研究者（包括我自己）允许单个研究者对完全无关的论文作出初始筛选。但此研究者必须理解，如果有任何疑问，那就必须把论文留作候选。然而，在下一步的筛选中，有两个或多个研究者独立评估每篇候选的原始研究是很重要的。在这一阶段，研究者需要完整阅读每篇候选论文，用包含和排除的标准来进行筛选。
如果包含同一项研究多次的话，会使集合产生偏差。因此，必须检查每篇论文来确定他们是否包含多重研究，或者是否因为引用了同样的研究而需要融合他们的结果。然而，要识可重复性依赖于所研究的问题本身的清晰明确，不能模棱两可，也需要对搜索和集合的流程以及研究的范围进行完全的汇报。近有个研究比较了两个针对同样研究问题的独立系统性评审[38]。这份研究总结：在原始研究数量较少而评审团由领域专家组成的情况下，软件工程的系统性评审可重复性相当高。另一份基于非常庞大的经验性文献库的系统性评审[51]发现了不同文献中的评审有巨大的差异，但它同时解释说这些差异来自于不同评审中隐含的研究问题之间的差异。
这一章会带着对实证软件工程的普遍关注来向读者介绍系统性评审的价值。我也力求帮助见习研究人员（如博士生）开始使用系统性评审，他们可能正在寻找可靠的方法来着手能代表领域发展水平的评审。这一章应该也会对更有经验的实证研究者有所帮助，他们也许对系统性评审的方法论的价值还没有足够的信心。许多欧洲研究者已经开始发表软件工程的系统性评审，但来自美国的研究者相对较少[33][34]。
我也希望这一章内容能提醒实证研究者，他们的研究可能也会为将来系统性评审做出贡献，并因此能在汇报他们结果的同时谨记将来研究证据的集合。近的一次系统性评审发现，很难开始一个完整的元分析，因为个体的原儿的标准方法，系统性评审的发布改变了医疗实践。
然而，这并没有被认为是循证医学的重大胜利。在那12篇研究中，8篇是在1982年之前发表的。如果那8篇研究能在1982年集合的话，8年的错误治疗和与之相关的新生儿死亡就能够被避免。这引发了对及时集合证据的重要性的重新评估，以及协作组织的建立，该非营利组织旨在实施针对医疗和保健问题的系统性评审，并维护系统性评审报告数据库。这需要提取每篇文章中针对所研究问题数据，然后适当地集合数据。有时，可以通过一次正式的元分析来集合数据，但在软件工程和其他非医学领域中，每篇研究的结果通常只是以表格的形式列出来，以确定潜在的趋势。与质量评估一样，数据提取通常由两名研究者来完成，他们讨论并解决所有的不同意见。
虽然我之前批评了对专家观点的依赖，但是我所见过的关于软件工程的好的系统性评审，是由包含领域专家的团队执行的。领域专家的知识在系统性评审中可以被很好地加以利用，来确定需要搜索的会议和期刊，并确定可以用作基准的一组初始研究文章，来检查任何自动搜索过程的有效性。
对于刚开始学习系统性评审流程的新研究员，我推荐他们考虑图谱研究（mappingstudies）。这类系统性评审试图寻找并分类涉及更宽泛研究话题的文献，而不是回答一个特定的研究问题[35]。这两类研究的区别可以通过比较MagneJørgensen的两篇文章而看出。篇是传统的系统性评审，调查了成本估算模式的评估在预计项目成本时是否比专家判断的评估更jingque[22]。这篇文章在3.3.1节中有所讨论。第二篇是高质量的图谱研究，对成本估算文献进行了分类[24]。
下面的3.3节讨论了一些挑战了软件工程“常识”的系统性评审，证明了我们用健全方法论来集合证据的必要。然而，在讨论这些例子之前，我先总览一下系统性文献流程。
只对系统性评审的结果感兴趣，而对系统性评审的具体流程不感兴趣的读者，可以直接跳至3.3节。这章的简介应该足够你了解系统性评审流程的严谨性，不用你多花力气去读这么多的细节。
然而，如果你是一个新的或者有经验的研究者，希望评估系统性评审的价值，那你就需要阅读下一节。它讨论了系统性评审流程中的具体步骤，并告诉你这一方法论中所固有的一些实践困难。