流计算

RisingWave 在品高股份 Bingo IAM 中的应用

背景介绍公司背景品高股份，是国内专业的云计算及行业信息化服务提供商。公司成立于 2003 年，总部位于广州，下设多家子公司和分公司，目前员工总数近 900 人，其中 80 %以上是专业技术人员。品高股份在 2008 年便开…

Flink状态存储-StateBackend

文章目录前言一、MemoryStateBackend二、FSStateBackend三、RocksDBStateBackend四、StateBackend配置方式五、状态持久化六、状态重分布OperatorState 重分布KeyedState 重分布七、状态过期前言 Flink是一个流处理框架，它需要对数据流进行状态管理以支持复杂的…

Apache Storm学习笔记（1）流计算概述

静态数据和流数据静态数据是静止不动的，不变化的，历史的数据，一般来说像数据仓库存储的大量历史数据就是静态数据，通过数据挖掘等技术来获取数据信息流数据是大量，快速，随时间变化，持续到达&a…

【大数据】Flink 详解（五）：核心篇 Ⅳ

Flink 详解（五）：核心篇 Ⅳ 45、Flink 广播机制了解吗？ 从图中可以理解广播就是一个公共的共享变量，广播变量存于 TaskManager 的内存中，所以广播变量不应该太大，将一个数据集广播后&#xff0…

DolphinDB 流计算在物联网的应用：实时检测传感器状态变化

工业物联网领域，能否对从传感器采集到的包括湿度、温度、压力、液位、流速等多方面的海量数据进行快速的实时处理，对各种工业智能制造应用至关重要。 DolphinDB 提供了流数据表 (stream table) 和流计算引擎用于实时数据处理，助力智能制造。D…

DolphinDB x 龙蜥社区，打造多样化的数据底座

近日，浙江智臾科技有限公司（以下简称“DolphinDB”）正式签署 CLA 贡献者许可协议，加入龙蜥社区（OpenAnolis）。 DolphinDB 主创团队从 2012 年开始投入研发产品。作为一款基于高性能时序数据库，D…

流式计算的代表：Storm、Flink、SparkStreaming

目前大数据开发的圈子里比较常用的计算框架有Storm、Spark Streaming、Flink，接下来逐一来看看它们的架构原理和使用方法。 Storm 在早期的时候，我们主要会使用MQ来实现大数据实时处理，如果处理的逻辑很复杂，就需要很多个消息队…

DolphinDB StreamEngineParser 解析原理介绍

DolphinDB 曾发布过 DolphinDB：WorldQuant 101 Alpha 因子的流批一体实现和 DolphinDB：国泰君安 191 Alpha 因子的流批一体实现这两篇文章，介绍了如何基于 DolphinDB 的 StreamEngineParser 实现金融因子的流批一体解决方案。 StreamEngin…

【大数据】Flink 详解（二）：核心篇 Ⅱ

Flink 详解（二）：核心篇 Ⅱ 22、刚才提到 State，那你简单说一下什么是 State。在 Flink 中，状态被称作 state，是用来保存中间的计算结果或者缓存数据。根据状态是否需要保存中间结果，分为无状…

从一到无穷大 #23 《流计算系统图解》书评

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。本作品 (李兆龙博文, 由李兆龙创作)，由李兆龙确认，转载请注明版权。文章目录引言内容总结引言春节假期回到家里断然是不会有看纸质书的时间的。造化弄人&#…