mzl9039

已无岁月可回头

论文阅读-Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations

背景介绍 本文是 google/youtube 2019 年在 RecSys 发表的论文。具体介绍如何估计采样偏差并对其偏差进行纠正。因为作者采用了 online hard negative sampling 的方法训练模型，这种方式的采样实际上鼓励热门物品，压制冷门物品，因此对偏态分布的数据存在采样上的偏差，作者提出了对采集偏差进行估计并修改的方法。 Abstract 许多推荐系统的...

Posted by mzl on September 5, 2022

论文阅读-Embedding-based Retrieval in Facebook Search

Abstract 难点: 在 Facebook, 在社交网络中搜索不仅要关注 query text, 还要考虑 searcher 的社交上下文, 这带来了不同的挑战. 本文讨论了 embedding-based retrieval(EBR) 技术在 fb 的应用: 1) 建立了 unified embedding framework 来建模 sematic embeddings 以用于人...

Posted by mzl on September 3, 2022

Transformer Learning

As a algorithm engineer, I’ve heard Transformer for years, and even learned it several times, but never had a chance to use it. This blog is also a blog of learning transformer, as I find a blog i...

Posted by mzl on July 23, 2022

LambdaRank 论文阅读及 lgb 中使用

1.背景 前段时间打 kaggle 比赛 Foursqaure - Location Match 时, 使用 lgb 的 lambdarank 减少数据量, 实现了减少内存 + 加快计算的目的, 但对 lambdarank 并没有深入学习. 今天打算阅读一下论文并记录一下使用体会. 训练代码及关键点 关键点及训练代码 排序模型有一个关键点, 即构建 label 时要表明哪些 ret...

Posted by mzl on July 19, 2022

PySpark 使用的几个问题

问题列表 PATH 变量不正确导致 Error: Java gateway process exited before sending its port number 公共环境没有需要的 library 导致 pyspark 报 No Module Named XXX Error 背景介绍 今天工作时, 调用 pyspark 计算行政区面积(使用 shapely)及相应 ...

Posted by mzl on July 18, 2022

Dropout 原理及实现

Dropout 原理及实现 Dropout 要解决的问题 过拟合: 神经网络中参数量非常大, 很容易导致过拟合. Dropout 原理oi dropout 其实就是随机丢弃一些神经元, 从而使得训练的网络并不相同, 起到同时训练多个网络的效果, 如下图所示: 抄两个公式: 1.没有 dropout 的网络为: \[\begin{gather} z^{(l+1)}_...

Posted by mzl on July 18, 2022

2021 年 Q4 计划及执行情况

2021 新的起点，对生活要有明晰而坚定的方向，对工作要有十足且饱满的热情 关键词 ✍️ 持续学习 💡 训练专注 🛠 勇于实践 ♻️ 规划生活 新年目标 (2021-10-10起) 工作目标 了解Shopee文化 掌握公司流程及工具 完成试用期目标 入门NLP, 掌握常见问题的处理方法, 能独立写model解决任务, 以独立完...

Posted by mzl on January 1, 2022

EM & AdaBoost 知识点简单记录

EM EM 算法用于解决含有陷变量的概率模型参数的极大似然估计， 或极大后验概率估计。 EM 的应用主要为学习高斯混合模型等，EM 算法的推广为 GEM EM 是通过迭代求解观测数据的对数极大似然估计 $L(\theta)=log P(Y|\theta)$ 来达到目标。 迭代过程主要分两步：1) E步，求期望(即 Q 函数)；2) M 步，求极大化 AdaBoost 提升方法的思...

Posted by mzl on January 20, 2019

无约束优化 迭代法

无约束优化迭代法 迭代法的基本结构(最小化 $f(x)$) 决定一个初始点，设置一个 convergence tolerance $\epsilon$, 计数 $k=0$ 决定搜索方法 $d_k$, 使得函数下降. （算法的核心） 决定步长 $\a_k$, 使得 $f(\boldsymbol{x_k} + a_k \boldsymbol{d_k})$ 对于 $a_k \g...

Posted by mzl on October 17, 2018

无约束优化问题

无约束优化问题 定义 无约束优化问题，可以以下列形式表示：即查找一个函数 $f$, 使得 当自变量为标量时，函数 $f: \mathbb{R} \rightarrow \mathbb{R}$ \(min f(x), \quad x \in \mathbb{R}\) 最小 自变量为微量时，函数 $f: \mathbb{R}^n \rightarrow \mathbb{R}$ \...

Posted by mzl on October 16, 2018

FEATURED TAGS
spark jdk concurrent BlockingQueue SparkContext zookeeper stage task md math regression 向量 优化 学习 retrieval IR search
ABOUT ME

看看生活，学学数据，
新的路上，一切都将开始

FRIENDS