0. 前言 GAN原始paper中的损失很优美: [\mathcal{L}{\text{GAN}} = min{G} \ max_{D} \ \mathbb{E}{x \sim p{\text{data}}(x)}[\log D(x)] + \mathbb{E}_{z \sim p_z(z)}[\log(1 - D(G(z)))]] 不过有的同学可能看的一头雾水, 我们来推导一下怎...

0. 前言 比如在老虎机场景, 我们想知道哪一台老虎机的赢面更大, 通常是给定所有老虎机 “赢” 的参数分布 , 比如 Dirichlet distribution, 初始化 $\alpha1 \ \alpha2 \ …$ , 然后根据实际数据采样, 更新 Dirichlet distribution 的参数即可. 具体采样流程(通常使用在类似多臂老虎机场景) : [1]...

0. 前言 这篇 Blog 主要对几个分布进行总结, 以及对他们之间的关系进行梳理 1. Gamma Function 定义 记忆方法: 理解为用一个伽马刀, 对 $t$ 动了一刀, 于是指数为 $\alpha-1$, 动完刀需要扶着梯子 $-t$ 才能走下来。 性质 2. Gamma Distribution 对Gamma函数等式左右两端, 同时除...

0. 前言 在分类的时候, 我们不仅希望预测类别, 还希望输出概率, 但是有些模型是不能直接输出概率的, 或者输出的概率只是一个相对的, 这时就需要校准 一个良好的、校准过的分类器, 输出的 prob=0.8, 就是可以理解为当前样本有80%的概率是正样本 1. 校准曲线 将预测值升序排序, 然后划分bin, “ x-axis represents the average pred...

0. 前言 在 NLP 中, 经常可以看到使用”困惑度”来描述一个 LLM 的能力. 那么什么是”困惑度”? 简单理解, 困惑度就是”模型对样本预测结果的信心”. 具体的, 模型对这个样本结果的预测概率越高, 表明信心越高, 对应困惑度越低. 本文介绍的Perplexity 特指 “Perplexity of a probability model”. 1. 举个栗...