ITPUB技术论坛_专业的IT技术社区

大数据通用组件故障处理

本文分享自天翼云开发者社区《大数据通用组件故障处理》，作者:f****nHDFS1.HDFS 服务一直异常检查HDFS是否处于安全模式。检查ZooKeeper服务是否运行正常。2.HDFS 维护客户端出现OutOfMemoryError 异常使用HDFS客户端之前，需要在HADOOP_CLIENT_OPTS更新"-Xmx" GC参数。直接执行如下命令：export HADOOP

天翼云开发者社区

Spark

2023-07-28 15:51

谈谈数据指标建设的三重境界

数据指标的应用也是推动数字化转型的重要引擎，流程如何优化，工艺如何优化、过程如何降本、企业如何增效，模式如何转变，均是要根据指标的牵引去做出决策。

qing_yun

数据分析

2023-07-28 09:48

HBase Compaction 原理与线上调优实践

本文对 HBase Compaction 的原理、流程以及限流的策略进行了详细的介绍，列举了几个线上进行调优的案例，最后对 Compaction 的相关参数进行了总结。

vivo互联网技术

Hadoop

2023-07-28 09:41

深度探索 Elasticsearch 8.X：function_score 参数解读与实战案例分析

，本文将深入探讨 function_score 的核心参数和函数。

大数据技术前线

数据分析

2023-07-27 13:45

微信安全基于 Flink 实时特征开发平台实践

本文整理自腾讯专家级工程师李天旺，在 Flink Forward Asia 2022 AI 特征工程专场的分享。

大数据技术前线

数据分析

2023-07-27 09:32

数仓的命名规范，终于有人讲明白了

传统上，企业中数据仓库作为全企业数据汇聚的场所，不能直接保留原系统名称，需要进行规范命名，其命名规范也是数据标准的一部门。本文介绍的规范可供大家参考！

大数据技术前线

数据分析

2023-07-26 14:26

高性能、高扩展、高稳定：解读 EasyMR 大数据组件自定义可扩展能力

袋鼠云自主研发的大数据计算引擎EasyMR 的产品包自定义可扩展能力，为企业提供了定制化大数据中台的新途径，具有丰富性、灵活性、可扩展性和稳定性等价值，为企业带来更准确的洞察和决策，赢得竞争优势。

数栈DTinsight

Hadoop

2023-07-26 10:18

货拉拉基于 Flink 计算引擎的应用与优化实践

本文整理自货拉拉实时研发平台负责人王世涛，在 Flink Forward Asia 2022 平台建设专场的分享

大数据技术前线

数据分析

2023-07-25 13:49

Apache Flink与RisingWave流处理性能报告分析

当处理复杂无状态计算时，理论来说由Rust开发的系统性能应该远高于基于JVM语言编写的系统。考虑到如今不少应用都需要在流处理系统内部进行json解析、字符串处理等复杂操作，我们的确会考虑在今后添加测试该类查询。

danny_2018

数据分析

2023-07-25 10:36

需求前十的编程语言——唯独钟爱Python

在过去的 17 个月（2022 年 1 月至 2023 年 5 月）时间里，DevJobsScanner 通过分析超 1400 万个开发人员职位，并从中筛选了有明确编程语言需求的职位，得出了在 2023 年需求量最大的 8 种语言。目前市场中需求最高的前八位语言分别是：1、JavaScript / TypeScript和以往一样，Javascript 仍然保持流行，是整个市场上需求量最大的编程语

chatGPT

数据分析

2023-07-24 14:55

Apache Flink 在翼支付的实践应用

本文整理自翼支付高级大数据工程师尹春光，在 Flink Forward Asia 2022 行业案例专场的分享。

大数据技术前线

数据分析

2023-07-21 13:41

顺丰基于 Flink CDC + Hudi 推进实时业务落地

本文整理自大数据研发高级工程师唐尚文，在 Flink Forward Asia 2022 数据集成专场的分享。

大数据技术前线

数据分析

2023-07-21 09:37

火山引擎ByteHouse 是如何实现流批一体的？

计算机领域一直流传一句话——“没有银弹”，这句话出自计算机科学家布鲁克斯《没有银弹》一书，意思是软件工程是一个超级复杂系统，没有任何特效的方法，可以一直提高效率。

danny_2018

可视化

2023-07-20 15:49

如何搭建电商复购数据模型（二）

类目复购大概可以分为2类，一种类目里面的单品有持续的复购行为，另外一种类目不同的单品有持续的购买需求

qing_yun

数据分析

2023-07-20 10:01

提到数据中台，就先要了解什么是中台，对于中台的建设，大都是跟随阿里中台的方法论。中台的作用在于打通固有多业务系统之间的数据壁垒，融合各个不同业务系统间所产生的数据，通过数字化的运营和驱动来支撑前端业务的快速变化，从而产生更大的价值。而新一代数据中台，在融合数据的基础上，更要关注是否能够积累和沉淀行业Know-How，将数据智能和组织智能融合，形成行业智能，更敏捷更快速的响应前端业务的变化，更好的协作创新。