这是一篇关于书籍的《不拘一格:网飞的自由与责任工作法》的笔记,只记录一些感兴趣的点。书籍的英文原名为 No Rules Rules: Netflix and the Culture of Reinvention,直白一点说就是网飞的企业文化,而中文译名直接道出了网飞的企业文化的核心:自由与责任。
Flink JM HA 在 Kubernetes 上的实现
这篇文章介绍一下 Flink 的 JobManager HA 在 Kubernetes 上面的实现思路。Flink 1.12 还没有 release,但是在开发计划中已经看到了这块内容。但是这篇文章主要介绍我们内部的实现。下一篇在 Flink 1.12 正式 release 之后再进行介绍官方的实现。
安全容器综述
最近两年安全容器非常的火,这篇文章就带大家来看一下何谓安全容器技术,以及目前主流的安全容器都有哪些,最后还会附上很多有价值的参考链接。本文将通过如下的方式进行展开:
- 何谓安全容器
- 安全容器技术的思路是什么样的
- 目前的主流安全容器有哪些
推荐一门自己做的 Docker 相关的付费课程
过去半年基本很少在博客或者知乎发表文章,主要原因是一直在做一个知识付费的课程,慕课网的专栏,这个是课程链接:跟 BAT 技术专家学 Docker + K8S 。下面摘抄一下网站的课程介绍如下,感兴趣的可以报名学习一下。这么多年一直在写免费的文章,第一次尝试付费内容。说来惭愧,目前的收入相比写文章付出的时间实在是惨不忍睹,所以博客上面做一个广告,希望多多包涵。下面是课程介绍。
Spark Catalog Plugin 机制介绍
Spark 3.0 推出了 Catalog Plugin 特性。在 Release Note 里面位于 Highlight 部分。我们这篇文章就来介绍一下 Catalog Plugin 机制。
Flink Catalog 介绍
0. 引言
这篇文章我们介绍了一下 Flink 的 Catalog,基于 Flink 1.11,熟悉 Flink 或者 Spark 等大数据引擎的同学应该都知道这两个计算引擎都有一个共同的组件叫 Catalog。下面是 Flink 的 Catalog 的官方定义。
Catalog 提供了元数据信息,例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。
数据处理最关键的方面之一是管理元数据。 元数据可以是临时的,例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的,例如 Hive Metastore 中的元数据。Catalog 提供了一个统一的API,用于管理元数据,并使其可以从 Table API 和 SQL 查询语句中来访问。
简单来说,Catalog 就是元数据管理中心,其中元数据包括数据库、表、表结构等信息。
源码面前,了无密码:Kuberentes Scheduler 源码剖析
本篇文章介绍一下 Kubernetes 的默认调度器 kube-scheduler 的源码实现。kubernetes 代码版本:v1.18.4-rc.0。
终端 10X 工作法
在 github 上面有一个 700 多人 star 的 repo 叫做 Bash-Oneliner,介绍了很多实用并且可以有效提高工作效率的命令,我们来了解一下。原文直达:Bash-Oneliner 。注:去除了部分看上去没啥用的命令,可以原文查看所有内容。
Uber Go 语言编程规范
相信很多人前两天都看到 Uber 在 github 上面开源的 Go 语言编程规范了,原文在这里:https://github.com/uber-go/guide/blob/master/style.md 。我们今天就来简单了解一下国外大厂都是如何来写代码的。行文仓促,错误之处,多多指正。另外如果觉得还不错,也欢迎分享给更多的人。
合抱之木,生于毫末
合抱之木,生于毫末;九层之台,起于垒土;千里之行,始于足下。
“合抱之木,生于毫末”是我非常喜欢的一句话,强调万事积于忽微,也就是积累的重要性。
要说到积累,我积累的最多的应该就是写代码和写作。由于接触计算机比较晚,本科阶段一直想做学术,所以本科阶段的编码训练并不是很多。在本科毕业之后,本来是去中科院硕博连读,经过一个学期,终于决定还是要去工业界。确定了之后,就开始高强度的代码编程训练。光《算法导论》我就刷了三遍,课后习题做了一遍。《深入理解计算机系统》等书籍也是刷了三遍以上。研究生阶段基本由个人负责的大型项目的代码行数也是在十万行以上。找工作的时候参加 Google Code Jam 校招比赛,打到全球前两百名,最后通过 Google 的校招算法面试。