2019大数据产业峰会| Datablau王琤：EDW2019-国际数据管理最新趋势

这样做有什么效果？数据库加上一个数据系统，做ETL，最终BI这一块开放给实际的业务人员，让他用，他能玩起来，绿的区域就是业务能接触到的阶段。现在我们希望达到的效果是绿色区域往下沉，数据湖这个平台把数据资产的东西都加工清洗，比较完善地收集进来，之后去玩数据可视化，最终业务人员参与，这是当前西方比较认可的做法。华为也是这个模式，他们在数据模型这一块做得非常好，现在有将近500个数据建模师在上面建设数据应用模型，我们可以理解成出仓或者面向数据分析的数据模型。设计之后数据服务那一块完全开放，给不同的业务部门，让业务相关人员玩这个数据。

西方面临多个数据湖包括私有云、公有云的场景，之后会发现，不同的分支机构自己玩的时候虽然也做了数据管理，但是这些数据管理已经变成烟囱，要把不同的分支部门的数据管理再管理起来。相当于，比如说中青旅自己搞一套，光大银行也单独的一套，他们各自的系统慢慢做起来了，但是面临怎么打通的问题，西方企业当前已经到了这个阶段。他们想了一个招叫自服务数据分析，自服务数据分析是不可控的，有的人从出仓玩，有的从业务系统玩，有的人还跑到沙盒里玩。我发现数据科学家玩这些东西玩得挺好的，他们把数据自服务分析这件事也玩烂了，到了这么一个阶段现在开始说，还是要回到全球数据官办公室，要从不同的分支部门，不同的集团下属公司捞这些东西。这就涉及到自动化，现在肯定要强化自动化的盘点。以上这是数据架构新的趋势。

四、数据建模的最新趋势

现在有一个敏捷数据建模，数据建模其实讲的是设计，敏捷与设计两个本来就是矛盾的。数据建模是希望一开始把大楼的设计图都搭出来，开发说不行，我现在要敏捷，要根据业务需求走，数据建模是不是能跟上我的节奏？这是当前蛮有意思的情况。从Gartner数据管理的调研结果来看，数据建模在西方大概有83%的企业都用到了，只有17%没有。国内企业数据建模相对来说没有那么官方，很多都是个人的方式来用这个东西，但是数据建模应该是从企业的角度来做这个事。数据管理员这一块我觉得国内现在比西方做得好，我看到现在银行基本都是，从组织结构上要设立专门的数据治理管理专员，因为去年发了文，数据治理的指引。国内现在推动数据治理比西方快得多。数据模型前面提到分三个模型：逻辑模型、物理模型、概念模型。本身数据模型业务人员是能读懂的，它不是象牙塔里的阳春白雪，不是给搞数据的专家用的，客户拿逻辑模型或者概念模型是能看懂关系的，可以帮助理解相关的数据。核心就是帮助客户来理解数据的，比如银行报送的表，能够帮助到业务人员理解数据。

敏捷宣言，搞开发的人都很清楚，我们希望个体交互，而不要过程工具，要的是工作软件，不要面面俱到的文档。现在有一个新的概念，静态的数据建模和敏捷数据建模。静态的数据建模是分布式的，以前更多的是先建模后开发，现在敏捷建模是在已有的模型上能够迭代，而这块的核心是强调多人协作、模型的管控。也包括NoSQL，希望这个数据库不要限制它，更多的是拿一个NoSQL数据库，相关的属性扩展很容易。这样就是一个PK的状态，是一个矛盾体，从两个角度——一个是文化角度，一个是做事角度，去做这个事。

我们碰到的实际案例，可以看到建立一个分支开发迭代的方式是一样的。建模其实也需要有这个branch，建模的开发应该是跟实际开发同步的。还有新的场景，建模也有新的迭代，这应该有更方便的方法来做出仓的设计，这也是当前建模新的模式，包括有一些客户在模型库里面已经有了，地址、年龄、性别等等直接做进来，直接把建模的方式加快。还有数据模型的标准目标，传统的发一个标准就变成一个工作文件了，设计一些数据质量的规则。现在要通过建模把数据标准做进去，这也是比较大的突破，把数据建模跟数据标准结合在一起。NoSQL数据标准肯定是需要的，写代码和用数据的人是两拨人，这样的话需要到NoSQL数据库把数据抽取出来给用数据的人。

最后是叫企业数据治理组织势力分布图。是什么意思呢？因为经常见一些企业客户，发现企业慢慢在成立大数据部门，打个比方业务部门有一千人，对应研发大概有200人，大数据部门有40人，治理部门通常只有4个人，这是经常碰到的企业情况。这样的话，一千个人的业务部门天天提各种需求，经常就会碰到开发部门或者数据部门甩锅说是因为数据治理没做好，我们没法提供服务；或者服务没有那么好，数据部门经常会说我接入了，数据治理部门没治理好；研发部门经常不断地上线一些新的业务系统，新的业务系统之前没盘点好，没有管控好，存量数据又存了一大堆。我们经常看到企业里数据治理部门处在很尴尬的一个地位，只有4个人，但是这么多人都去找他们要各种各样的东西。我的观点是，肯定要把这些事甩出去，怎么甩？第一是数据治理这四个人，大数据部门做自己的数据资产目录，研发部门做前头的数据建模的数据管控。要开发新的业务系统，把你的数据模型交出来，或者你按照我的数据标准走，把前端管控好，后面的数据湖靠数据资产目录的方式做。同时服务业务部门的时候仍然是数据资产部和自助的数据储备，来服务相关的业务部门。这肯定要靠张力，靠不同的方法、不同的工具把数据治理工作给甩出去。

以上这三部分这是当前我对整个数据治理市场的理解，谢谢大家。

（编辑：我爱故事小小网_铜陵站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!