0%

距离 Google 的上一篇 F1 论文,也就是 F1: A Distributed SQL Database That Scales 已经 5 年过去了,Google 在今年的 VLDB 上终于发布了 F1 的新版本 F1 Query: Declarative Querying at Scale,我们今天就来看一下这篇论文。安利一下,今天上午在 PingCAP 的 paper party 上,黄东旭大神对这篇论文的讲解非常精彩。

2013 年的 F1 是基于 Spanner,主要提供 OLTP 服务,而新的 F1 则定位则是大一统:旨在处理 OLTP/OLAP/ETL 等多种不同的 workload。但是这篇新的 F1 论文对 OLTP 的讨论则是少之又少,据八卦是 Spanner 开始原生支持之前 F1 的部分功能,导致 F1 对 OLTP 的领地被吞并了。下面看一下论文的具体内容,疏漏之处欢迎指正。

Read more »

过去一段时间很长的一段时间内都在写用 spark streaming 来做一些规则引擎的工作,工作第一阶段暂时告一段落,这里简单做一下总结。

Read more »

0. 引言

如果看过我的上一篇关于 mesos 的文章,应该还记得 mesos 的资源调度策略写的泛化的 max-min fairness 算法,其实这个就是 DRF 算法。

DRF,全称 dominant resource fairness,由伯克利大学提出,论文链接在文末列出。论文中介绍 DRF 为 generaliztion of max-min fairness to multiple resource types,所以下面先介绍一下 max-min fairness 算法。

Read more »

简而言之,mesos 是一个在多种计算框架之间协调集群资源的平台。通过 mesos,我们可以提高集群的资源利用率。mesos 的调度机制叫 resource offer,是一种 two-level 调度策略:1. mesos 决定分配给 framework 多少资源;2. framework 决定是否接受以及用来运行哪些 task。

Read more »

之后会编写一系列集群资源管理的文章,包括:Borg, Mesos, Omega, Yarn。这篇文章先来介绍一下 Borg,写的有问题的地方还请多多指教。

Read more »

0. 引言

Dr. Elephant 由 LinkedIn 于 2016 年 4 月份开源,是一个 Hadoop 和 Spark 的性能监控和调优工具。Dr. Elephant 能自动化收集所有指标,进行数据分析,并以简单易用的方式进行呈现。Dr. Elephant 的目标是提高开发人员的开发效率和增加集群任务调试的高效性。Dr. Elephant 支持对 Hadoop 和 Spark 任务进行可插拔式、配置化以及基于规则的启发式job性能分析,并且根据分析结果给出合适的建议来指导如何调优使任务更有效率。

Read more »

0. 引言

Ganglia 是目前最广泛的应用是用来监控 Hadoop 相关指标,亚马逊、阿里云、Cloudera Manager 等都在使用。但是目前网络上的文档非常的少,所以打算写一系列关于 Ganglia 的文章,包括安装、使用、扩展、架构以及源码等。

Read more »