ITPUB技术论坛_专业的IT技术社区

一个理想的数据湖应具备哪些功能？

从数据库到数据仓库，最后到数据湖，随着数据量和数据源的增加，数据格局正在迅速变化。

danny_2018

数据治理

2023-01-06 09:36

怎样画一张人见人爱的数据治理框架图？

我理想中的数据治理体系框架图应该是业务导向、概念清晰、逻辑合理、边界清晰且能与实践很好的映射，但当前业界给出的各种数据治理或数据管理框架图离以上要求还是有些距离。

码农谈IT

数据治理

2023-01-04 14:39

数据治理 VS 公司治理、IT治理、数仓治理

治理结构，也没有绝对“好或糟糕”。处在不同数据管理成熟度阶段，不同的行业、不同的业务特点、不同的发展需求，应选择不同的治理结构。

ITPUB社群

数据治理

2022-12-28 16:41

数据湖是下一代数据仓库？

数据湖正在成为一种越来越流行的大数据解决方案，而数据湖这个词已经被大数据供应商赋予了太多不同的含义，如果有什么工作是传统数据仓库做不了的，那就把它塞进数据湖，以至于数据湖已经变成了一个定义模糊的概念。

danny_2018

数据治理

2022-12-26 16:48

数仓服务平台在唯品会的建设实践

数据服务是数据中台体系中的关键组成部分。作为数仓对接上层应用的统一出入口，数据服务将数仓当作一个统一的 DB 来访问，提供统一的 API 接口控制数据的流入及流出，能够满足用户对不同类型数据的访问需求。

danny_2018

数据治理

2022-12-09 11:07

B站运维数仓建设和数据治理实践

本文由ITPUB整理自哔哩哔哩SRE资深研发工程师袁帅在中国系统架构师大会(SACC2022)的演讲《B站运维数仓建设和数据治理实践》，内容将围绕B站运维数仓的建设，分别从引擎侧、平台侧和业务侧展开介绍，分享在落地实践中面临的挑战和问题。

网络通信频道

数据治理

2022-12-06 20:12

亚马逊云科技两项新功能帮助客户迈向Zero-ETL 未来

Amazon Aurora zero-ETL与Amazon Redshift 集成的功能助力客户近乎实时地分析 PB 级交易数据，无需自定义数据管道。

danny_2018

数据治理

2022-12-06 10:19

关于Apache Flink的那些子项目，你了解多少？

提到实时计算或者流计算，我们很自然地会想到Flink。如今，Flink已成为实时计算的事实标准，很多大型互联网企业的实时推荐、实时ETL、实时数仓、实时风控等场景，也都是基于Apache Flink加各种开源的OLAP引擎构建。

danny_2018

数据治理

2022-11-29 15:52

谈谈如何像对待产品一样对待数据

采用将数据视为产品的组织方法不仅仅是数据行业的流行趋势，也是有意识的思维方式转变，可以提高数据民主化和自助服务的能力，提高数据质量，从而可以准确地做出决策，并扩大数据在整个组织中的整体影响。

qing_yun

数据治理

2022-11-28 13:40

如何成为一名合格的数据产品经理？

近些年来，产品经理的一个新的分支—— 数据产品经理正在兴起。很多企业开始意识到大数据对于企业管理和精细化运营的重要性，着手招聘大量数据相关的从业人员，开发各种数据产品。

qing_yun

数据治理

2022-11-23 15:58

纵横20年，我所经历的数据开放演化史

现在数据开放成了数据治理的热点，但数据开放是没法一步到位的，每个企业都要基于实际需要走出自己的路，下面就讲讲我所经历的数据开放演化史，整个过程长达近20年，大致经历了五个阶段

qing_yun

数据治理

2022-11-23 15:54

解构现代数据栈之数据集成

ETL 是一种数据集成技术，其中数据从源系统中提取、转换并加载到统一的目标中。在云数据仓库兴起之前，ETL 是首选方法。

danny_2018

数据治理

2022-11-23 09:37

谈谈阻碍数据建模的5大借口

随着大数据和数据湖的发展，数据建模似乎濒临灭亡。数据湖的开发者留下了大量数据沼泽，所以建模活动还是必须的。

qing_yun

数据治理

2022-11-22 10:38

Apache Flink 在小米的稳定性优化和实践

数据采集层主要负责收集各类数据，数据的来源分为两类，一类是埋点和业务日志以及服务日志，经由 LCS Agent 进行采集，另一类是数据库数据经由 Binlog 或 Checkpoint 数据集成等方式收集到消息队列中。

danny_2018

数据治理

2022-11-16 16:45

MapReduce后谁主沉浮：怎样设计下一代数据处理技术

MapReduce 的另一个问题是，配置太复杂了。以至于错误的配置最终导致数据处理任务效率低下。

danny_2018

数据治理

2022-11-15 16:25

Streaming Data Warehouse 存储：需求与架构

典型的基于提取、转换、加载(ETL)的数据仓库使用 ODS 层、DWD 层和 DWS 层来容纳其关键功能。数据分析师可以灵活的查询 (Query) 数仓中的每一层，获取有价值的商业信息。

danny_2018

数据治理

2022-11-11 11:39

CTO/CIO如何治理数据

在数字化转型过程中，企业首先要做的便是打通数据烟囱，这就涉及具体的数据治理。数据治理的目的是为业务提供指导，成熟的数据智能管理者会先从应用的角度切入，从全局思考数据治理的维度，以项目的形式按阶段完成数据治理工作，将多个应用需求整合到数据治理中。

qing_yun

数据治理

2022-11-10 14:18

别扯数据化转型了，先夯实数据底座吧

数仓主要是围绕着数据使用方与数据开发方诉求进行建设;因此在开始规划数仓建设时，需要先剖析各方需求、痛点与痒点，然后再在这些诉求设计解决方案与确定建设内容。

danny_2018

数据治理

2022-11-10 09:28

数据湖会取代数据仓库吗?

一旦企业决定需要建设一个数据仓库，并确定了最合理的部署方案，下一步就是研究购买数据仓库平台的可用技术选项。整个过程，往往需要经过万全的考虑。

danny_2018

数据治理

2022-11-09 09:40

企业为什么要建数据仓库？

数据仓库在整个BI系统中起到了支柱的角色，更是海量数据收集、存储、分析的核心。对于保险服务机构来说，创建一个完全整合的、企业级的数据仓库环境是一项很大的挑战。

danny_2018

数据治理

2022-11-08 14:30