ITPUB技术论坛_专业的IT技术社区

Flink cdc读取mysql数据，需要mysql开启哪些配置

介绍Flink CDC 是一个用于从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。它可以实现 Flink SQL 采集+计算+传输（ETL）一体化。开启配置开启 binlog 功能，并设置 binlog 格式为 row 模式。binlog 是 MySQL 的二进制日志文件，它记录了数据库中的所有变更操作，Flink CDC 会通过 binlog

元亨利贞

Hadoop

2023-08-14 10:37

Apache Paimon 在同程旅行的实践进展

本文整理自同程旅行大数据计算组负责人吴祥平，在 Apache Paimon Meetup 的分享。

大数据技术前线

数据分析

2023-08-14 10:17

如何让ES低成本、高性能？滴滴落地ZSTD压缩算法的实践分享

前文分别介绍了滴滴自研的ES强一致性多活是如何实现的、以及如何提升ES的性能潜力。由于滴滴ES日志场景每天写入量在5PB-10PB量级，写入压力和业务成本压力大，为了提升ES的写入性能，我们让ES支持ZSTD压缩算法，本篇文章详细展开滴滴在落地ZSTD压缩算法上的思考和实践。

大数据技术前线

数据挖掘

2023-08-11 13:12

OceanBase X Flink 基于原生分布式数据库构建实时计算解决方案

本文整理自 OceanBase 架构师周跃跃，在 Flink Forward Asia 2022 实时湖仓专场的分享。

大数据技术前线

数据分析

2023-08-11 13:03

解锁滴滴ES的性能潜力：JDK 17和ZGC的升级之路

前文介绍了滴滴自研的ES强一致性多活是如何实现的，其中也提到为了提升查询性能和解决查询毛刺问题，滴滴ES原地升级JDK17和ZGC，在这个过程中我们遇到了哪些问题，怎样解决的，以及最终上线效果如何，这篇文章就带大家深入了解。

大数据技术前线

数据分析

2023-08-10 10:46

小米基于 Flink 的实时计算资源治理实践

本文整理自小米高级软件工程师张蛟，在 Flink Forward Asia 2022 生产实践专场的分享。

大数据技术前线

数据挖掘

2023-08-10 10:28

硅谷著名投资人：OpenAI的核心竞争力是“极致”

当谈及OpenAI核心竞争力时，Sam将他们的核心竞争力归为“极致”：“我们注重细节的企业文化，努力做到每个细节都完美;我们专注于找到最有效的方法;我们敢于将大部分资源投到看中的项目。”

danny_2018

数据分析

2023-08-09 14:47

袋鼠云数栈 DataOps 数据生产力实践，实现数据流程的自动化和规范化

袋鼠云产品团队在帮助企业进行数字化转型实践的过程中，发现很多企业在数据生产链路上都有着相同的问题。包括数据团队聚焦于业务需求短期内的快速交付，内部缺少自顶向下的数据生产管理制度，在数据标准、数据生产流程到研发规范的各个层面均存在不完善与不规范之处；很多环节依赖人工操作，团队协作效率低，业务需求影响慢，存在大量的重复数据建设；先开发后治理的模式也往往导致历史债越来越沉重。数字化转型实践走在前列的企业

数栈DTinsight

Hadoop

2023-08-09 14:17

芒果 TV 基于 Flink 的实时数仓建设实践

芒果 TV 实时数仓的建设共分为三个阶段，14-19 年为第一阶段，技术选型采用 Storm/Flink Java+Spark SQL。20-22 年上半年为第二阶段，技术选型采用 Flink SQL+Spark SQL 。

danny_2018

数据分析

2023-08-09 12:31

探索ES高可用：滴滴自研跨数据中心复制技术详解

Elasticsearch 是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎，其每个字段均可被索引，且能够横向扩展至数以百计的服务器存储以及处理TB级的数据，其可以在极短的时间内存储、搜索和分析大量的数据。

大数据技术前线

数据分析

2023-08-08 10:18

芒果 TV 基于 Flink 的实时数仓建设实践

芒果 TV 实时数仓的建设共分为三个阶段，14-19 年为第一阶段，技术选型采用 Storm/Flink Java+Spark SQL。20-22 年上半年为第二阶段，技术选型采用 Flink SQL+Spark SQL 。22 年下半年-至今为第三阶段，技术选型采用 Flink SQL+StarRocks。每一次升级都是在原有基础上进行迭代，以求更全面的功能，更快的速度，能更好的满足业务方的需求。接下来逐一介绍。

大数据技术前线

数据分析

2023-08-08 10:17

数据治理VS数据管理，ChatGPT用通俗的类比和案例终于讲清楚了本质区别

管理是通过计划、组织、命令、协调等方式，有效利用组织资源，改善业务流程，完成组织目标的过程。它侧重日常运营与内部控制。良好的管理是组织顺利运转的基础。

danny_2018

数据挖掘

2023-08-08 09:58

基于分布式数据库的联机查询和实时分析一体化建设实践

在邮储银行数字化转型关键时期，统一查询系统以“寻客所想，查客所需，为客提供全新查询体验”为建设理念，成为邮储银行客户旅程优化的关键一环。

danny_2018

数据分析

2023-08-07 11:07

Apache Doris 助力中国联通万亿日志数据分析提速 10 倍

Apache Doris 助力联通实现万亿日志数据分析场景落地，存储降低 50%，性能提升10+倍

SelectDB

数据分析

2023-08-07 11:00

Kafka工作原理图解，看这篇就够了！

希望本篇，对你掌握好消息中间件有所帮助

大数据技术前线

数据分析

2023-08-04 14:11

开源免费用｜Apache Doris 2.0 推出跨集群数据复制功能

Apache Doris 2.0 正式推出 CCR 跨集群数据复制功能，为企业提供更加可靠和高效的数据分析系统

SelectDB

数据分析

2023-08-04 11:45

选择合适的AI工具可破解数据治理难题

通过利用AI技术，可以提高数据治理的效率和质量，发现数据的潜在价值，为企业决策提供支持。

danny_2018

数据分析

2023-08-04 10:01

从云上湖仓延伸到GenAI，Snowflake与Databricks三大战场过招

在生成式AI引发的变革中，包括数据库、大数据等企业，都会为满足用户生成式AI需求，利用既有的数据存储与管理优势，结合大模型能力，推出新的技术与服务，以面对高达千亿、甚至万亿的AI市场。不过，这场竞技才刚刚开始。

danny_2018

数据分析

2023-08-04 09:25

AB实验遇到用户不均匀怎么办？—— vivo游戏中心业务实践经验分享

本文会基于实际应用案例，来给大家仔细阐述AB实验相关方法模型的思考过程，实现原理，应用结果，希望能够帮助大家在各自领域中解决用户不均匀问题时带来参考和启发。

vivo互联网技术

数据分析

2023-08-03 11:09

干掉 CRUD！这个API开发神器效率爆炸，无需定义MVC类！！

简介magic-api 能够只通过 UI 界面就能完成简单常用的接口开发，能够支持市面上多数的关系性数据库，甚至还支持非关系性数据库 MongoDB。通过 magic-api 提供的 UI 界面完成接口的开发，自动映射为 HTTP 接口，无需定义 Controller、Service、Dao、Mapper、XML、VO 等 Java 对象和相关文件！该项目已经有上千家公司使用，

Noah_WB

数据分析

2023-08-02 11:09