100次浏览 发布时间:2024-11-01 08:19:26
自从2018 年数据中台突然“出圈”以来,围绕是否建设数据中台的争论声就从未停歇,有的人说“迷信数据中台是病,得治”,有人说“数据中台就是一个陷阱”。当然,支持的声音也有很多,比如说它解决了指标口径不一致的问题,节省了资源,提高了数据开发效率……众说纷纭中,很多人蠢蠢欲动,想要亲自去试一试,验证这个数据中台是金钥匙?还是陷阱?
不过别着急,在你跃跃欲试之前,我想先问你这样三个问题:
1.什么是数据中台?
2.怎么做数据中台?
3.为什么要做数据中台?
什么是数据中台?
数据中台是一套可持续“让企业的数据用起来”的机制,是一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,构建的一套持续不断把数据变成资产并服务于业务的机制。数据来自于业务,并反哺业务,不断循环迭代,实现数据可见、可用、可运营。
数据中台是一种数据管理体系,在企业中是独立的部门,为数据挖掘而建,最重要的目标是支持各部门业务数据和提供计算服务。数据中台的本质就是“数据仓库+数据服务中间件”。
数据中台要做四个方面的工作分别是“采集”、“存储”、“打通"、“使用”:
1、“采集”就是要采集各条业务线的业务数据、日志数据、用户行为数据等有用的数据。
2、“存储”就是要用更加科学的方式存储数据,一般采用三层建模的方式,让收集上来的数据形成公司的数据资产。
3、“打通”就是要打通用户的行为数据和用户的业务数据,如电商用户的浏览、点击行为和用户的支付业务数据,就要做到打通。
4、“使用"就是就打通的数据赋能业务人员、领导层进行决策,做到数据反哺业务。
怎么做数据中台?
建设数据中台主要就是从数据模型、数据资产、数据治理、数据服务四部分出发。首先需要做整体规划,哪些数据需要纳入到数据中台中,根据数据接入的情况,进行技术选型,评估集群的配置,规划至少3年的计算和存储资源。
1、数据模型
数据模型,就是我们熟悉的数据仓库中的模型,按照数据仓库规范分层开发模型,实现数据的标准化,多采用维度建模,还有一些挖掘模型,如果用的多了,也可以沉淀到数据中台中。我们可以看出数据中台中的模型具有通用性。
数据建模一般分为2个步骤:
1)确认事实表,分析业务的生命周期、明确业务的关键步骤,在进行指标定义的时候是否看着了本主题语中的全部指标,判断哪些指标可以通过加减乘除计算得到等
2)确定维度,粒度是模型设计的关键,太细的粒度不利于上层数据分析汇总,太粗的粒度又不能满足前段多维度个性化查询需求。基于此,模型设计时候一般考虑分层,层级越往后,粒度越粗。冗余维度也是需要考虑的,设计冗余的维度可以避免统计中过多的关联导致复杂的计算逻辑,影响性能。
2、数据资产
在数据仓库中我们已经建立了一些模型,但是只有打通数据孤岛后才可以称为资产。需要规范指标库,这些指标可以组合处理满足外部人员个性化的指标需求,资产管理的基础是做好,数据管理,元数据包括采集的接口信息,模型信息、指标定义,作业的血缘关系、数据存储以及访问情况等。
3、数据治理
数据治理主要是为了保障数据资产的完整性、准确性、一致性、及时性。根据指定的规范开发模型、校验模型、管理模型,为业务提供统一的、准确的指标保驾护航。
4、数据服务
数据中台最重要的就是要对外提供统一的服务能力。数据服务需要包含以下几个能力:
1)数据接口标准化:提供统一的数据服务在线查询视图,让开发者能够快速、简单的访问数据服务;
2)数据开发可视化:提供服务接口的可视化配置,开发者只需要配置SQL就可以生产API,减低接口开发技术要求,便于维护和接口管理。对于业务分析人员可以让他们轻松的讲行算法分包括模型管理、可视化编排流程,算法模型发布等功能。
为什么要做数据中台?
数据中台是为了解决企业在数字化转型过程中遇到的一系列问题而构建的一套机制和平台。它的核心目标是将企业的数据资源转化为数据资产,并通过数据服务的形式提供给业务使用,从而实现数据价值的变现。数据中台主要解决以下问题:
1.数据孤岛问题:企业内部不同部门和业务线之间往往存在技术壁垒、数据割据和标准缺失等问题,数据中台通过整合分散的数据资源,打破信息孤岛,实现数据的互联互通。
2.数据管理和治理:数据中台提供数据治理功能,包括数据质量管理、数据安全、数据标准和元数据管理等,以确保数据的准确性、一致性和合规性。
3.数据服务和应用开发:数据中台通过构建数据服务,使得业务系统能够快速、灵活地获取和使用数据,支持业务创新和运营决策。
4.数据资产化和价值变现:数据中台将数据转化为可度量、可运营的资产,通过数据服务的度量和运营,实现数据价值的最大化。
5.业务赋能:数据中台通过提供数据支持,帮助业务部门提升效率,实现数据驱动的决策和运营。
数据中台的建设是一个系统工程,需要领导支持,建立专门的职能部门来负责,通过建立相关的制度和流程来保障工作顺利开展,并选用合适的工具,持续开展下去。
数据中台的发展趋势包括智能化与自动化、数据生态建设、数据治理与合规性、深度集成AI和分析等方向。随着技术的发展,数据中台将更加智能化,能够自动分析数据、发现模式并提供实时洞察,同时建设数据生态系统,实现数据的跨组织共享和价值共创。
数据中台是企业数字化转型的重要支撑,它通过整合数据资源、提供数据服务、实现数据资产化和价值变现,帮助企业提升数据管理和应用能力,从而在激烈的市场竞争中保持领先。