0%

这篇文章介绍一下 Flink 的 JobManager HA 在 Kubernetes 上面的实现思路。Flink 1.12 还没有 release,但是在开发计划中已经看到了这块内容。但是这篇文章主要介绍我们内部的实现。下一篇在 Flink 1.12 正式 release 之后再进行介绍官方的实现。

Read more »

最近两年安全容器非常的火,这篇文章就带大家来看一下何谓安全容器技术,以及目前主流的安全容器都有哪些,最后还会附上很多有价值的参考链接。本文将通过如下的方式进行展开:

  1. 何谓安全容器
  2. 安全容器技术的思路是什么样的
  3. 目前的主流安全容器有哪些
Read more »

过去半年基本很少在博客或者知乎发表文章,主要原因是一直在做一个知识付费的课程,慕课网的专栏,这个是课程链接:跟 BAT 技术专家学 Docker + K8S 。下面摘抄一下网站的课程介绍如下,感兴趣的可以报名学习一下。这么多年一直在写免费的文章,第一次尝试付费内容。说来惭愧,目前的收入相比写文章付出的时间实在是惨不忍睹,所以博客上面做一个广告,希望多多包涵。下面是课程介绍。

Read more »

0. 引言

这篇文章我们介绍了一下 Flink 的 Catalog,基于 Flink 1.11,熟悉 Flink 或者 Spark 等大数据引擎的同学应该都知道这两个计算引擎都有一个共同的组件叫 Catalog。下面是 Flink 的 Catalog 的官方定义。

Catalog 提供了元数据信息,例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。

数据处理最关键的方面之一是管理元数据。 元数据可以是临时的,例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的,例如 Hive Metastore 中的元数据。Catalog 提供了一个统一的API,用于管理元数据,并使其可以从 Table API 和 SQL 查询语句中来访问。

简单来说,Catalog 就是元数据管理中心,其中元数据包括数据库、表、表结构等信息。

Read more »

在 github 上面有一个 700 多人 star 的 repo 叫做 Bash-Oneliner,介绍了很多实用并且可以有效提高工作效率的命令,我们来了解一下。原文直达:Bash-Oneliner 。注:去除了部分看上去没啥用的命令,可以原文查看所有内容。

Read more »

合抱之木,生于毫末;九层之台,起于垒土;千里之行,始于足下。

“合抱之木,生于毫末”是我非常喜欢的一句话,强调万事积于忽微,也就是积累的重要性。

要说到积累,我积累的最多的应该就是写代码和写作。由于接触计算机比较晚,本科阶段一直想做学术,所以本科阶段的编码训练并不是很多。在本科毕业之后,本来是去中科院硕博连读,经过一个学期,终于决定还是要去工业界。确定了之后,就开始高强度的代码编程训练。光《算法导论》我就刷了三遍,课后习题做了一遍。《深入理解计算机系统》等书籍也是刷了三遍以上。研究生阶段基本由个人负责的大型项目的代码行数也是在十万行以上。找工作的时候参加 Google Code Jam 校招比赛,打到全球前两百名,最后通过 Google 的校招算法面试。

Read more »