ITPUB技术论坛_专业的IT技术社区

大数据计算引擎 EasyMR 如何简单高效管理 Yarn 资源队列

在Yarn框架中，资源调度是十分重要的内容，EasyMR出于简单高效原则，开放了资源队列管理功能。本文就为大家详细介绍大数据计算引擎 EasyMR 是如何简单高效管理 Yarn 资源队列的。

数栈DTinsight

Hadoop

2023-09-01 10:24

如何应对大数据时代下的多样化数据流通难题

数据交换平台，作为数据管理工具的重要组成部分，已经深入到企业和组织的数字化转型与升级过程中。这种平台弥合了各种应用与数据之间的鸿沟，使得应用能够更轻松地获取和利用数据。

danny_2018

数据分析

2023-08-31 22:15

数据交换在现代企业管理中的应用价值

未来数据交换将朝着更多元化的数据源发展，采用更强大的安全与隐私技术，通过构建更灵活、可扩展的数据架构，以进一步增强企业的数据管理能力。这也将成为企业数字化战略中不可或缺的一部分，助力企业在不断变化的商业环境中持续成功。

danny_2018

数据分析

2023-08-31 22:13

解码湖仓一体技术架构的发展历程及技术实现路径

对湖仓一体技术的深入理解和分析，让我们有机会更全面地审视其发展历程和技术路径。当我们回顾并分析这些重要环节时，湖仓一体的核心价值和未来方向变得越来越明朗。无论对于技术从业者，还是企业决策者，都有着非常重要的参考价值。

danny_2018

数据分析

2023-08-31 22:10

Paimon+StarRocks 湖仓一体数据分析方案

本文整理自阿里云高级开发工程师曾庆栋（曦乐）在 Streaming Lakehouse Meetup 的分享。

大数据技术前线

数据分析

2023-08-31 14:06

大数据SQL数据倾斜与数据膨胀的优化与经验总结

本文主要涉及业务SQL执行层面的优化，暂不涉及参数优化。若设置参数，首先确定执行层面哪个阶段（Map/Reduce/Join）任务执行时间较长，从而设置对应参数。本文主要分为以下三个部分：第一部分，会引入数据倾斜与数据膨胀问题；第二部分，介绍当数据倾斜与数据膨胀发生时，如何排查与定位；第三部分，会从系统层面给出常见优化思路。

大数据技术前线

数据分析

2023-08-31 09:39

从源码角度剖析 Elasticserach 段合并调优策略

作为 ES 使用的段策略，它的核心思想是将索引段分成多个层次（tier），每个层次的段大小会有一个预设的上限。当某一层的段数量超过阈值或者某个段的大小达到阈值时，就会触发合并操作，将多个小段合并成一个较大的段。

大数据技术前线

数据分析

2023-08-30 09:37

美团 Flink 资源调度优化实践

本文整理自美团数据平台计算引擎组工程师冯斐，在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为四个部分：

大数据技术前线

数据分析

2023-08-29 13:49

实时数仓混沌演练实践｜得物技术

目前实时数仓提供的投放实时指标优先级别越来越重要，不再是单独的报表展示等功能，特别是提供给下游规则引擎的相关数据，直接对投放运营的广告投放产生直接影响，数据延迟或者异常均可能产生直接或者间接的资产损失。

大数据技术前线

数据分析

2023-08-29 09:43

Flink_state 的优化与 remote_state 的探索

本文整理自 bilibili 资深开发工程师张杨，在 Flink Forward Asia 2022 核心技术专场的分享。

大数据技术前线

数据分析

2023-08-24 13:48

一键实现 Oracle 数据整库同步至 Apache Doris

极大降低数据同步门槛，使数据同步变得更加简单高效

SelectDB

数据分析

2023-08-23 11:54

美团增量数仓建设新进展

本文整理自美团系统研发工程师汤楚熙，在 Flink Forward Asia 2022 实时湖仓专场的分享。

大数据技术前线

数据分析

2023-08-23 10:00

关于Serverless服务的几点建议

通过迅速灵活以及容量巨大的弹性伸缩，无服务器架构能很好地解决关键功能的性能瓶颈，但它并不是完美的：不仅需要修改设计去适应它，对熟悉的编程模型进行调整，还要解决诸如规划预算、安全等等问题。但总的来说，它为云上的应用提供了另一种选择——并且具有难以抵挡的诱惑：极大地简化应用从开发到部署和维护的整个过程。更多技术干货详见www.linuxprobe.com

roc_guo

数据分析

2023-08-23 08:55

怎么去选消息队列? Kafka vs. RabbitMQ

如今，在项目中需要使用消息队列时，Apache Kafka似乎是首选产品。然而，考虑到特定需求时，它并不总是最佳选择。

大数据技术前线

数据分析

2023-08-22 09:56

Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座

本文整理自阿里云开源大数据表存储团队负责人，阿里巴巴高级技术专家李劲松（之信），在 Streaming Lakehouse Meetup 的分享。

大数据技术前线

数据分析

2023-08-22 09:52

基于阿里云 Flink+Hologres 搭建实时数仓

本文作者阿里云 Hologres 高级研发工程师张高迪&阿里云 Flink 技术内容工程师张英男，本篇内容将为您介绍如何通过实时计算 Flink 版和实时数仓 Hologres 搭建实时数仓。

大数据技术前线

数据分析

2023-08-21 10:27

谈谈数据仓库中的数据建模

在本文中，我们将深入概述数据建模，特别关注 Kimball 的方法。此外，还将介绍用于以用户友好且直观的方式呈现数据的其他技术。现代数据仓库的一项特别有趣的技术是将数据存储在一个宽表中，尽管这种方法可能并不适合所有查询引擎。我们还将介绍可在数据仓库、数据湖、数据湖屋等中使用的技术。但是，为特定用例和查询引擎选择适当的方法非常重要。什么是维度建模

码农谈IT

数据分析

2023-08-15 09:39

Apache Doris 2.0.0 版本正式发布：盲测性能 10 倍提升，更统一多样的极速分析体验

Apache Doris 2.0.0 版本正式发布：盲测性能 10 倍提升，为用户提供性能更佳、稳定性更高、易用性更好的数据分析体验

SelectDB

数据分析

2023-08-14 11:39

Flink cdc读取mysql数据，需要mysql开启哪些配置

介绍Flink CDC 是一个用于从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。它可以实现 Flink SQL 采集+计算+传输（ETL）一体化。开启配置开启 binlog 功能，并设置 binlog 格式为 row 模式。binlog 是 MySQL 的二进制日志文件，它记录了数据库中的所有变更操作，Flink CDC 会通过 binlog