mzl9039

已无岁月可回头

Spark BlockInfoManager源码阅读

BlockInfoManager.scala 这个文件包括两个类：BlockInfo 和 BlockInfoManager BlockInfo 追踪某个 Block 的元信息。这个类的实例并不是线程安全的，由类 BlockInfoManager 中的锁保护。 /** * 这个类有三个参数，有三个属性成员。 * @param level the block's storage lev...

Posted by mzl on February 7, 2018

Spark DiskBlockManager源码阅读

DiskBlockManager DiskBlockManager 是用来创建和控制逻辑上的映射关系（逻辑上的 block 和物理盘上的 locations）。一个 block 被映射为一个文件 File，这个文件的文件名由指定的 BlockId.name 指定。 // 类的定义和类的属性成员 private[spark] class DiskBlockManager(conf: Spa...

Posted by mzl on January 26, 2018

Spark Utils两个函数的体会

体会在看Spark DiskBlockManager的时候，涉及了Utils里的两个方法 chmod700 和 createDirectory，由于以前对 java 不太熟悉，故写一下体会 chmod700 java.io 包的 File 类的方法 setReadable/setWritable/setExecutable 三个方法各有同名方法，以 setReadable 为例说明： ...

Posted by mzl on January 25, 2018

Spark ShuffleManager源码阅读

ShuffleManager 是一个trait private[spark] trait ShuffleManager { ... }

Posted by mzl on January 18, 2018

微服务初探

微服务相关知识学习

注意：大部分文字内容转自互联网微服务相关知识微服务的概念源于 2014 年 3 月5 日 Martin Fowler 所写的一篇文章 « Microservices »。文中内容提到：微服务架构是一种架构模式，它提倡将单一应用程序划分成一组小的服务，服务之间互相协调、互相配合，为用户提供最终价值。原文的中文翻译版见较多，如这里。原文中讲到：简而言之，微服务架构风格，就像是把一...

Posted by mzl on January 18, 2018