数据架构师的角色定义与职责设定

一、 什么是数据架构

简单地说，数据架构是与业务流程相一致的组织框架，标准化数据收集、存储、转换、分发和使用的过程。该框架的创建是为了保护敏感数据，同时使授权人员在正确的时间访问最相关的部分。 

整个框架所依据的数据架构原则将数据视为根据预设参数定义的资产，并且可访问、可共享、可管理且可保护。 

企业部署数据架构主要是为了将业务需求转化为数据和系统需求，使业务流程与IT系统保持一致，并管理组织内复杂的数据和信息流。鉴于新业务模式和创新的出现越来越多地由数据和创新驱动，数据架构被认为是业务和技术的双重决策。

二、 什么是数据架构师

根据 DAMA International 的数据管理知识体系，数据架构师“提供标准的通用业务词汇，表达战略需求，概述满足这些需求的高级集成设计，并与企业战略和相关业务架构保持一致”。

数据架构师是 IT 专业人员，他们的任务是定义用于收集、组织、存储和检索组织信息的策略、过程、模型和技术。

数据架构师是制定组织数据策略的专家，包括数据质量标准、组织内数据流和数据安全性。在他的视图中，将业务需求转化为技术需求。 

数据架构师了解业务需求，探索现有数据结构，并创建蓝图来构建与业务战略一致的易于访问、安全的数据的集成框架。数据架构师还定义了测试和维护数据库所涉及的流程。

三、 数据架构师的职责

数据架构师的角色是组织中富有远见的领导者。数据架构师的职责包括：

n 制定和实施符合业务流程的整体组织数据策略。该战略包括数据模型设计、数据库开发标准、数据仓库和数据分析系统的实施和管理。

n 识别内部和外部数据源，并制定与组织数据策略相一致的数据管理计划。

n 与跨职能团队、利益相关者和供应商协调和协作，以确保企业数据系统的顺利运行。 

n 管理端到端数据架构，从选择平台、设计技术架构、开发应用程序到最终测试和实施建议的解决方案。

n 定义和管理组织内的数据流和信息传播。 

n 集成技术功能，确保数据的可访问性、准确性和安全性。

n 对数据管理系统性能进行持续审计，根据需要进行改进，并立即向利益相关者报告任何违规或漏洞。

四、 与数据工程师的比较

数据架构师和数据工程师这两个头衔经常被错误地使用，更糟糕的是，它们可以互换使用。但数据架构师的角色与数据工程师的角色差异很大。在数据工程师与数据架构师中，后者设计了数据框架的蓝图，而前者则将这个蓝图付诸实践来构建数据框架。 

数据架构师会考虑与业务运营相关的所有数据源，并概述集成、集中和维护数据的设计。另一方面，数据工程师负责为组织构建和测试可持续的数据架构，以方便数据搜索和检索。数据架构师与数据工程师密切合作，构建完善的数据架构。

数据工程师需要确保数据被收集、存储并可供分析。数据工程师负责构建、维护和组织基础设施，使组织能够有效利用数据。从本质上讲，数据工程师弥合了原始数据和可操作见解之间的差距，使它们成为数据驱动决策中的重要资产。

数据工程师的主要工作包括：

n 数据收集与整合

数据工程师从各种来源收集数据，包括数据库、API、外部数据提供商和流媒体源。他们必须设计和实施高效的数据管道，以确保信息顺利流入数据仓库或存储系统。

n 数据存储与管理

数据收集后，数据工程师负责其存储和管理。这涉及选择适当的数据库系统、优化数据模式以及确保数据质量和完整性。他们还必须考虑可扩展性和性能来处理大量数据。

n ETL（提取、转换、加载）过程

ETL 是数据工程中的一个基本过程。数据工程师设计ETL管道，将原始数据转换为适合分析的格式。这涉及数据清理、聚合和丰富，确保数据可供数据科学家和分析师使用。

译自：https://www.simplilearn.com/data-architect-article?tag=Architecture%20board