炼数成金 门户 大数据 开源软件 查看内容

伯克利开源 Confluo,吞吐量是 Kafka 的 4 到 10 倍

2018-12-20 10:08| 发布者: 炼数成金_小数| 查看: 37615| 评论: 0|原作者: h4cd|来自: 开源中国

摘要: 近日伯克利 RISE Lab 开源了一个多数据流实时分布式分析系统 Confluo,它即是一个网络监控和诊断框架,也可以作为时序数据库和发布订阅消息系统。 当下,类似基于终端主机的网络监控系统、IoT 设备传感器程序等应用 ...

网络 数据库 Hadoop 框架 数据结构

近日伯克利 RISE Lab 开源了一个多数据流实时分布式分析系统 Confluo,它即是一个网络监控和诊断框架,也可以作为时序数据库和发布订阅消息系统。


源码地址:https://github.com/ucbrise/confluo

当下,类似基于终端主机的网络监控系统、IoT 设备传感器程序等应用,其后端的服务器每秒都可以捕获数千万个数据点。这些数据被用于在线查询,实现可视化与监控,或者用于离线查询,进行故障分析和系统优化。这样的使用场景下,就需要实时监控和分析工具支持,这些工具通常支持高吞吐量数据提取、低延迟在线查询和低开销的离线查询。

虽然目前已经存在一些用于高吞吐量数据提取的数据结构,它们可以支持丰富的在线和离线查询,但是高吞吐量与查询能力目前来看还是互斥的。在从多个数据流提取数据时,查询需要更新多个数据结构,包括原始数据、聚合统计信息和物化视图。但是用于支持这些查询的数据结构往往具有较高的更新开销,而且无法维持大多数应用程序所需的数据提取速率。而另一方面,可以维持高数据提取速率的数据结构往往只支持非常简单的查询。


Confluo 正是为了应对这种情况而产生的,它是一个致力于同时实现高吞吐量数据提取和富有表现力的离线/在线查询的系统。

Confluo 性能强悍,支持:
来自多个数据流的数百万个数据点的高吞吐量并发写入
毫秒级的在线查询
使用最少 CPU 资源的 ad-hoc 查询
不同场景下对 Confluo 进行性能测试,结果显示:

作为一个网络监控和诊断框架,Confluo 能够在单核上以线路速率(10Gbps 链路)执行数千个触发器和数十个过滤器。
作为一个时序数据库,与其它诸如 CorfuDB、TimescaleDB 和 BTrDB 等先进的时序数据库相比,Confluo 的吞吐量提高了 2 到 20 倍,写入延迟降低了 2 至 10 倍,时间区间查询延迟降低了 5 至 20 倍。
作为一个发布订阅消息系统,Confluo 的吐量是 Kafka 的 4 到 10 倍。


更详细的分析:
https://rise.cs.berkeley.edu/blog/confluo-millisecond-level-queries-on-large-scale-streaming-data

声明:文章收集于网络,如有侵权,请联系小编及时处理,谢谢!

欢迎加入本站公开兴趣群
软件开发技术群
兴趣范围包括:Java,C/C++,Python,PHP,Ruby,shell等各种语言开发经验交流,各种框架使用,外包项目机会,学习、培训、跳槽等交流
QQ群:26931708

Hadoop源代码研究群
兴趣范围包括:Hadoop源代码解读,改进,优化,分布式系统场景定制,与Hadoop有关的各种开源项目,总之就是玩转Hadoop
QQ群:288410967 
1

鲜花

握手

雷人
1

路过

鸡蛋

刚表态过的朋友 (2 人)

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-6-25 22:33 , Processed in 0.196552 second(s), 24 queries .

体彩排列3质合走势图 河南彩票走势图 体彩超级大乐透后区除三走势图 南粤风采36选7尾数走势图 江苏体彩七位数奇偶分析 福彩双色球红蓝走势图 体彩超级大乐透后区除三走势图 华东15选5和值走势图 体彩排列5走势图 体彩七星彩开奖结果 福彩七乐彩双期走势图 河南福彩22选5和尾数走势图 河南福彩22选5走势图 体彩排列3出号频率表江苏体彩七位数和值走势图 江苏七位数走势图 体彩超级大乐透除六走势图 河南22选5和值走势图 河北福彩20选5走势图 体彩排列3走势图 齐鲁风采23选5重号分布图