距离 Google 的上一篇 F1 论文，也就是 F1: A Distributed SQL Database That Scales 已经 5 年过去了，Google 在今年的 VLDB 上终于发布了 F1 的新版本 F1 Query: Declarative Querying at Scale，我们今天就来看一下这篇论文。安利一下，今天上午在 PingCAP 的 paper party 上，黄东旭大神对这篇论文的讲解非常精彩。

2013 年的 F1 是基于 Spanner，主要提供 OLTP 服务，而新的 F1 则定位则是大一统：旨在处理 OLTP/OLAP/ETL 等多种不同的 workload。但是这篇新的 F1 论文对 OLTP 的讨论则是少之又少，据八卦是 Spanner 开始原生支持之前 F1 的部分功能，导致 F1 对 OLTP 的领地被吞并了。下面看一下论文的具体内容，疏漏之处欢迎指正。

过去一段时间很长的一段时间内都在写用 spark streaming 来做一些规则引擎的工作，工作第一阶段暂时告一段落，这里简单做一下总结。

0. 引言

如果看过我的上一篇关于 mesos 的文章，应该还记得 mesos 的资源调度策略写的泛化的 max-min fairness 算法，其实这个就是 DRF 算法。

DRF，全称 dominant resource fairness，由伯克利大学提出，论文链接在文末列出。论文中介绍 DRF 为 generaliztion of max-min fairness to multiple resource types，所以下面先介绍一下 max-min fairness 算法。

简而言之，mesos 是一个在多种计算框架之间协调集群资源的平台。通过 mesos，我们可以提高集群的资源利用率。mesos 的调度机制叫 resource offer，是一种 two-level 调度策略：1. mesos 决定分配给 framework 多少资源；2. framework 决定是否接受以及用来运行哪些 task。

之后会编写一系列集群资源管理的文章，包括：Borg, Mesos, Omega, Yarn。这篇文章先来介绍一下 Borg，写的有问题的地方还请多多指教。

0. 引言

Dr. Elephant 由 LinkedIn 于 2016 年 4 月份开源，是一个 Hadoop 和 Spark 的性能监控和调优工具。Dr. Elephant 能自动化收集所有指标，进行数据分析，并以简单易用的方式进行呈现。Dr. Elephant 的目标是提高开发人员的开发效率和增加集群任务调试的高效性。Dr. Elephant 支持对 Hadoop 和 Spark 任务进行可插拔式、配置化以及基于规则的启发式job性能分析，并且根据分析结果给出合适的建议来指导如何调优使任务更有效率。

0. 引言

gmetad 负责汇总 gmond 节点的指标数据，相比 gmond 来说要简单很多。

0. 引言

前面几篇文章从使用和特性方面介绍了 ganglia，我们这篇文章直接来看一下 ganglia 的核心 gmond 的源码。

0. 引言

gmond 是 ganglia 中最核心的组成部分，负责指标的采集、发送、收集等，这篇文章就来看看 gmond 的重要特性。

0. 引言

Ganglia 是目前最广泛的应用是用来监控 Hadoop 相关指标，亚马逊、阿里云、Cloudera Manager 等都在使用。但是目前网络上的文档非常的少，所以打算写一系列关于 Ganglia 的文章，包括安装、使用、扩展、架构以及源码等。