每天3亿+数据量如何处理?《赛尔号》现身说法

首页 行业干货 您的位置

 

在从 0 到 1 的数据平台建设过程中,我们经历过许多次迭代,不过我们始终坚持着以数据支持运营决策的主要目标。

 

7 月 27 日,2023 全球游戏数据驱动大会上,淘米游戏数据平台负责人 陈盛荣分享了从 0-1 如何构建新一代游戏数据平台

每天3亿+数据量如何处理?《赛尔号》现身说法

淘米游戏是一家拥有悠久历史的游戏公司,我们从 2008 年的《摩尔庄园》起步,发展出众多 IP,比如大家耳熟能详的《赛尔号》、《小花仙》等等。

 

在刚开始建设数据中台时,和许多公司一样,我们采用的数据处理流程是:埋点、收集、计算、入库。

 

然而,这样一套存算并不分离的架构,在使用过程中术人接操数据据平台必须承担连接数据需求方和数据提供方角色,需求处理周期少则两三天,多则长达数周,这样的效率在新数据平台的考量中是不太可以接受的。

 

每天3亿+数据量如何处理?《赛尔号》现身说法

为了解决这些问题,我们选择与数数科技合作。与其他公司不同,我们的数据中台并不是从 0 开始建设的,我们有着丰富的历史数据。所以一开始我们考虑的问题如何有架构不做大范围改动的前提下,相对平滑的接入数据系统,实现对现有数据构的快速迭代升级

在接入数据的过程中,我们首先面对的是接口兼容性问题。因为我们拥有自己的数据埋点体系和接口规范,我们担心是否能与数数的数据接口兼容。

但随后,我们发现数数将数据进行了更高层次的抽象,把所有数据分为用户属性和事件两种类型。事件是指玩家在游戏中的具体行为,而用户属性则是指玩家在游戏中的状态变化。这一抽象让几乎所有数据都可以套用其中一种或两种抽象类型。

 

每天3亿+数据量如何处理?《赛尔号》现身说法

其次,有些数据不能通过传统的收集方式获取,需要通过数据演算,再将这些用户不同形式回传到平台,导致数据链路冗长且逻辑复杂。

 

数数的数据回溯特性解决了这个问题所谓的数据回溯就是对已经传输到数数的数据,可以做再生操作,基于已经有的数据,通过数数原生提供的演算能力去再生数据,再以事件或其他形式进行回传。

 

每天3亿+数据量如何处理?《赛尔号》现身说法

解决数据接入和数据迁移问题之后,我们还关注的问题是如何对原先的数据平台报表进行全方位重置。

 

数数提供了基于图形化界面的数据需求实现,只需限制日期、参数和分析主体,即可实时演算并获得结果。这种存算分离架构提高了数据需求开发效率,最后,我们在一个月内就复制了上百个基础看板指标

 

每天3亿+数据量如何处理?《赛尔号》现身说法

《赛尔号》游戏涵盖多年历史,存在大量历史代码,重新埋点工作量巨大。针对这种情况,我们通过离线数据批量同步数据表。同时,为了满足业务侧对于数据反馈的时效性要求,我们基于 flink 的流式数据采集方案,实现了秒级实时响应,基于数数的开放 PaaS 架构,我们的数据实时传输效率得到了显著提升,从根本上提升了我们数据分析性能

在接入数数后,我们成功处理了每天超过 3 亿条数据,实现了令人瞩目的效果,而这一切都在不改变核心架构的情况下完成,为公司的数据管理带来了新的活力。

 

以上为嘉宾演讲节选

完整回放 扫码查看

每天3亿+数据量如何处理?《赛尔号》现身说法

 

热门文章。