基于云的世界的数据完整性：法规和最佳实践
首先，重要的是要理解数据质量和数据完整性不是一回事。
数据质量可以被定义为数据集的常用功能，作为其满足其使用要求的能力的函数。该定义包括也可以解释为偏置的相对性，这简单意味着上下文是必要的完全解释和理解数据。数据质量非常具体于数据集和数据本身，并且如果测量差，则可以通过验证，转换和/或清理来改善。
数据完整性与信任有关，与支持系统和流程有关，也与数据集和数据本身有关。数据完整性涉及数据的状态或数据对外部影响或更改的敏感性。
数据质量与数据完整性：类比
通过类比或示例最好地描述数据质量和数据完整性之间的差异。让我们考虑手机中的联系人列表数据。输入新联系人时，“Home”可能是默认电话号码类型。我们生活中的大多数联系可能不再在家中维护固定电话，或者他们可能更喜欢他们的手机作为他们的主要联系。当我们在联系人列表中的默认字段中输入其手机号码时，我们是否将记录类型从“Home”更改为“Mobile”？如果我们这样做，我们是否在使用手机录制类型中？我们有时或一直都改变它吗？我们是否准确？如果我们不确定数字是“家”，“办公室”，“或”移动“，我们也会将其改为”移动“吗？这是数据质量的一个例子。
然而，数据完整性可以通过我们的移动电话对联系人列表施加的控制来表示。如果其他人可以访问和编辑我们手机上的联系人列表，这可能会对数据完整性造成风险。但是，如果联系人列表只能由手机用户访问和编辑，并且定期自动备份到云中，并且有更改内容和时间的记录，我们可能会认为数据完整性相当高。即使一些联系人列表数据记录被错误地归类为“家庭”而不是“移动”，数据完整性仍然很高。如果我们在手机上安装了自动锁定功能、生物识别功能或额外的密码功能，我们可能会发现数据完整性得到了更大的改善。
可以争辩说，该示例仍然会模糊数据质量和数据完整性的分离，因为电话号码的错误分类是一种准确性问题，这是基础的五个铝（归属，易读，同时，原始，准确）的原则中的一个。数据完整性。这是真的，它反映了示例中的值，以表明数据质量和数据完整性紧密交织;它还提供了这个例子的扩展，以考虑这种理解如何通过设计显示与数据质量的关系。
QBD：数据质量的基础
设计（QBD）质量概念（QBD）由J. M. juran正式概述，并使用系统的三个普遍流程之一，以苏兰的三个普遍流程设计为硕士学位和创新。朱兰三部曲：1
- 质量规划
- 质量控制
- 质量改进
规划，控制和改进的三个管理流程构成了三部曲，第一个（规划）为良好的数据质量提供了基础。即使在创建第一个数据之前，通过将质量计划应用于数据集，我们可以保证更好的数据质量和改进的数据完整性。
对数据质量的历史方法依赖于滞后指标。我们将不断考虑当前的监管和运营环境，寻找持续改进的机会。我们追随先进技术的创新和趋势，但我们往往倾向于等待，看看其他行业采用了什么新技术，然后才冒险在我们自己监管严格、充满风险的业务中做出改变。我们通过研究报告、观察、警告信和同意令数据来寻找监管检查的趋势，以了解监管检查人员和相关卫生委员会的当代思维。所有这些想法都可能与cGMP中的“c”有关，即“当前”对良好生产规范和相关技术的解释和实施。
这种方法的问题是它是非常有反应的。这不是对持续改进循环的批判，显然依赖于历史数据（即使它在近实时）。控制和改进过程取决于我们需要维护这种反应过程的反馈循环（但应该缩短反馈和响应时间，另一天的话题）。不，我们在这里专注于规划过程。
这里对数据QbD和数据完整性的影响的链接最好概括为改进和扩大我们的规划视野的概念。这是必要的，以调整和应对我们的业务不断增加的干扰因素，如物联网(Internet of Things)、区块链技术和人工智能(AI)。通过理解数据的预期用途，我们必须比以往任何时候都更加关注数据质量规划，甚至通过解释未来创新和颠覆的可能性(一个更加模糊和脆弱的任务)，将设计考虑扩展到数据的潜在用途。
在产品生命周期的每个阶段转向数据QbD
我们必须改变我们的思考方式。我们必须停止将我们的过程与当前的支持和相关的下游技术分开。我们必须开始考虑和关心我们的数据将如何被使用或解释，就像我们如何创建它一样。这就要求我们都有义务提高我们对技术的理解，并接受我们必须继续发展我们对数据相关技术的知识。用于改善数据完整性的数据QbD的概念适用于我们所有人，无论我们的生命科学部门，我们发现自己处于业务或产品生命周期，或在哪个部门或职能部门。为了采用数据QbD的方法，有必要改变我们的工作方式。
在发现研究或早期发展中
如果没有收缩研究科学的创造力，为数据质量和数据完整性建立一些最低要求。考虑并计划如何在将来使用数据以改善当前的实践并实施新实践。例如，以电子方式捕获数据并验证最小数据标准和信息控制，以便更有效地将该数据转移和调整到下游进程（例如，方法转移，开发活动或监管意见）。我们已经发现这一点在缩短技术转让时机方面，提高了发展活动的有效性，以及提高监管提交活动的效率。
在后期开发或商业制造中
超出传统的考虑因素，如数据结构，数据存储，备份和灾难恢复。考虑像可用性，互操作性，用户体验等的东西。考虑创建数据以实现如何在线（即，偏见）误解它的上下文。超越连接到设备或设备的计算机之外，并考虑数据将在哪里，谁将解释它。而不是依赖实验室设备并依赖于IT或CSV组来验证附加的计算机系统，但考虑您的义务定义正在创建的数据，它将存储在哪里，以及如何在整个生命周期中使用它数据。而不是简单地依赖供应商在制造设备上安装和执行系统测试或IQ / OQ（例如，生物反应器，混合设备，包装机），提出有关数据创建的问题以及如何/其中数据将在下游使用。绘制超出各个功能区域的简单数据流图，负责设备以了解进程的输入和输出以通知数据质量规划。以简单，通用的语言作为业务锻炼，而不是以详尽的细节（例如，而不是Kaizen活动或详细的过程映射活动）这样做。当涉及的所有各方都了解简单数据流来解释和揭示有价值的数据质量机会时，该价值（然后可以转化为我们如此熟悉的业务流程映射，设备资格或计算机系统验证的详细流程）。
支持运营或合作伙伴/供应商合同
通过讨论从用户的角度来讨论关系的数据输入和输出期望来采用服务级别协议的心态。在接受标准方面主动讨论和计划特定数据需求（例如，数据格式，元数据要求，指标和测量）。清楚地定义这些要求，并拥有所有关键利益相关者通过以电子邮件并发的东西赞同，或者作为要求文件，规范或合同的正式。在输入/产出，创建/接受和其他语言方面思考，旨在引起用户专注的服务级别协议的概念，即使在没有此类形式的情况下也是如此。考虑如何在此和其他事务中使用数据。关于其他合作伙伴/供应商关系（即，数据相对，共享或敏感）呢？数据如何在内部流程和未来的数据关系中提供其他改进的其他机会？如果关系发生变化以及数据如何解释或有价值（例如，在合并或收购，技术转让，项目取消/暂停）时会发生什么？
数据QbD要求预先计划
底线是，我们必须在我们的数据质量活动中采用更多规划。这是以最简单的解释设计的数据质量，我们必须在这些活动中包含数据完整性规划（例如，考虑如何满足ALCOA要求）。采用新的或修改我们目前的业务范式需要转型变化。有必要在不断变化的世界中保持或竞争力。未能这样做，不仅降低了数据资产的价值，它会对您的业务可持续性（最低限度）带来风险。它要求跨职能思维和企业风险管理（应包括质量风险管理）。这需要战略愿景和质量管理，数据质量测量和数据完整性操作的战略方法。那些致力于挑战的人将为自己的组织实现巨大成功。那些不会留下的人，并将组织更有风险。
参考：
- 苏兰，准噶尔（1992）。朱兰的质量设计:计划质量进入商品和服务的新步骤。新闻自由。
关于作者:
Kip Wolf是Tunnell Consulting的校长，在那里他带来了数据完整性实践。狼拥有超过25年的管理顾问的经验，在此期间，他还暂时在世界上一些顶级生命科学公司举行了各种领导职位。狼暂时工作在Wyeth Pre-Pfizer合并和Inside Merck后Schering合并中。在两种情况下，他领导了业务流程管理（BPM）组 - 在Wyeth的制造部门和默克的研发部门。在Tunnell，他使用他的产品开发计划管理经验，以提高成功监管备案和产品发布的可能性。他还咨询了，教导，发言和发布了数据完整性和质量系统的主题。可以达到狼Kip.Wolf@tunnellconsulting.com．