Tags

keep hungry keep foolish
micro service

微服务初探

  微服务相关知识学习

API网关

微服务初探

  微服务相关知识学习

API Gateway

微服务初探

  微服务相关知识学习

Microservices

微服务初探

  微服务相关知识学习

spark

PySpark 使用的几个问题

Spark MemoryManager 内存管理

Spark Shuffle 原理

MapOutputTracker 原理

大数据待分析的问题

常见大数据组件需要分析的问题

Broadcast 分发与获取

Broadcast 分布与 Task 获取

Spark Stage 划分

stage 划分分析

spark 源码编译中碰到的一个问题

-source 1.6 中不支持 diamond 运算符

Spark driver 启动流程分析

driver 启动, app 注册以及 executor 的启动过程

Spark Master-Worker启动流程

Spark 任务分发与执行流程

Spark 提交任务流程

Spark BlockManager源码阅读

Spark BlockInfoManager源码阅读

Spark DiskBlockManager源码阅读

Spark Utils两个函数的体会

Spark ShuffleManager源码阅读

ShuffleManager

Spark ShuffleManager源码阅读

java.io

Spark Utils两个函数的体会

File

Spark Utils两个函数的体会

Canonical

Spark Utils两个函数的体会

Absolute

Spark Utils两个函数的体会

DiskBlockManager

Spark DiskBlockManager源码阅读

BlockInfo

Spark BlockInfoManager源码阅读

BlockInfoManager

Spark BlockInfoManager源码阅读

jdk

spark 源码编译中碰到的一个问题

-source 1.6 中不支持 diamond 运算符

jdk BlockingQueue源码阅读

jdk BlockingQueue源码阅读

concurrent

jdk BlockingQueue源码阅读

jdk BlockingQueue源码阅读

BlockingQueue

jdk BlockingQueue源码阅读

jdk BlockingQueue源码阅读

BlockManager

Spark BlockManager源码阅读

life

2017 year-end summary

新的旅途

target

2017 year-end summary

新的旅途

SparkContext

Spark driver 启动流程分析

driver 启动, app 注册以及 executor 的启动过程

Spark 任务分发与执行流程

Spark 提交任务流程

DAGScheduler

Spark 提交任务流程

TaskSchedulerImpl

Spark 任务分发与执行流程

SchedulerBackend

Spark 任务分发与执行流程

mermaid

添加 mermaid

给 github.io 添加流程图支持

diagram

添加 mermaid

给 github.io 添加流程图支持

Master

Spark Master-Worker启动流程

Worker

Spark Master-Worker启动流程

Driver

Spark driver 启动流程分析

driver 启动, app 注册以及 executor 的启动过程

scala-maven-plugin

spark 源码编译中碰到的一个问题

-source 1.6 中不支持 diamond 运算符

zookeeper

大数据待分析的问题

常见大数据组件需要分析的问题

记一次 zk session 超时异常

  一次诡异的 zk session 超时异常分析

session

记一次 zk session 超时异常

  一次诡异的 zk session 超时异常分析

jvm

记一次 zk session 超时异常

  一次诡异的 zk session 超时异常分析

OOM

记一次 zk session 超时异常

  一次诡异的 zk session 超时异常分析

ehcache

记一次 zk session 超时异常

  一次诡异的 zk session 超时异常分析

stage

Spark Shuffle 原理

Spark Stage 划分

stage 划分分析

ResultStage

Spark Stage 划分

stage 划分分析

ShuffleMapStage

Spark Stage 划分

stage 划分分析

Broadcast

Broadcast 分发与获取

Broadcast 分布与 Task 获取

Executor

Broadcast 分发与获取

Broadcast 分布与 Task 获取

Task

Broadcast 分发与获取

Broadcast 分布与 Task 获取

bigdata

大数据待分析的问题

常见大数据组件需要分析的问题

curator

大数据待分析的问题

常见大数据组件需要分析的问题

hadoop

大数据待分析的问题

常见大数据组件需要分析的问题

kafka

大数据待分析的问题

常见大数据组件需要分析的问题

elasticSearch

大数据待分析的问题

常见大数据组件需要分析的问题

hbase

大数据待分析的问题

常见大数据组件需要分析的问题

MapOutputTracker

MapOutputTracker 原理

MapOutputTrackerMaster

MapOutputTracker 原理

MapOutputTrackerWorker

MapOutputTracker 原理

shuffle

Spark Shuffle 原理

task

Spark MemoryManager 内存管理

Spark Shuffle 原理

memoryManager

Spark MemoryManager 内存管理

markdown

Markdown中编写Latex数学公式

md

添加 MathJax.js

Markdown中编写Latex数学公式

latex

Markdown中编写Latex数学公式

math

添加 MathJax.js

Markdown中编写Latex数学公式

MathJax

添加 MathJax.js

线性回归

线性回归建模

linear regression

线性回归建模

regression

无约束优化问题

线性回归建模

向量

无约束优化 迭代法

无约束优化问题

优化

无约束优化 迭代法

无约束优化问题

EM

EM & AdaBoost 知识点简单记录

AdaBoost

EM & AdaBoost 知识点简单记录

年度计划

2021 年 Q4 计划及执行情况

持续学习

2021 年 Q4 计划及执行情况

规划

2021 年 Q4 计划及执行情况

pytorch

Dropout 原理及实现

dropout

Dropout 原理及实现

学习

Transformer Learning

LambdaRank 论文阅读及 lgb 中使用

Dropout 原理及实现

pyspark

PySpark 使用的几个问题

问题记录

PySpark 使用的几个问题

笔记

PySpark 使用的几个问题

lambdarank

LambdaRank 论文阅读及 lgb 中使用

lightgbm

LambdaRank 论文阅读及 lgb 中使用

transformer

Transformer Learning

retrieval

论文阅读-Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations

论文阅读-Embedding-based Retrieval in Facebook Search

negative samples

论文阅读-Embedding-based Retrieval in Facebook Search

IR

论文阅读-Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations

论文阅读-Embedding-based Retrieval in Facebook Search

search

论文阅读-Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations

论文阅读-Embedding-based Retrieval in Facebook Search

sampling bias

论文阅读-Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations