本文使用 SCAD、LASSO、Ridge 和 Garrote 惩罚项对线性回归进行了建模，在模拟数据下验证了不同惩罚项设计的对稀疏系数的选择能力。
原始论文的标题叫做 Variable Selection via Nonconcave Penalized Likelihood and Its Oracle Properties。对于 Oracle Properties，在 统计之都上有一个非常精彩的解释：
Oracle 这个词对应的中文翻译叫做“神谕”，就是神的启示，它是指通过媒介（男女祭司或器物）传达神的难以捉摸或谜一般的启示或言语。在罚函数（比如 LASSO) 的研究领域，Oracle 指的是以下的渐进性质：
- 真值为 0 的参数的估计也为 0。
- 真值不为 0 的参数的估计值一致收敛到真值，并且协方差矩阵不受那些真值为 0 的参数估计的影响。
简而言之：罚函数的估计结果就好像事先已经得到了神的启示，知道哪些是真值为 0 的参数一样。
反向传播算法是深度学习进行参数优化的基础。本文手动计算了多层感知机中损失函数对权重、净输入值的梯度，并与 PyTorch 的计算结果进行了验证。
反向传播算法的本质是矩阵微分和链式法则，这两个知识都不难理解，但刚接触反向传播算法时总容易被一些陌生的符号弄糊涂。理解反向传播算法的理论推导，最重要的是弄清楚各个向量、矩阵的维度，以及熟练它们之间的前向传播关系。最后多加练习，就能对反向传播算法的理解更加透彻。
激活函数在神经元中是非常重要的。为了增强网络的表示能力和学习能力，激活函数需要具备以下几点性质：
本文总结了神经网络中常见的激活函数。
在使用最小二乘法估计线性模型的参数时，我们通常会将目标函数写成最小化均方误差的形式： $$ \hat\beta = \min_{\beta} \sum_{i=1}^n {\color{red}{(y_i - x_i^T \beta)^2}} $$
为什么我们要用 均方误差 作为损失函数？而不是绝对值误差、绝对值的三次方误差等其他形式？本文推导了极大似然估计与最小均方误差的等价性，说明最小均方误差是一种合理的做法。
在线性约束条件下，寻找目标函数 \(z\) 的最大值：
满足线性规划问题约束条件的所有点组成的集合就是线性规划的可行域。若可行域有界（以下主要考虑有界可行域），线性规划问题的目标函数最优解必然在可行域的顶点上达到最优。
单纯形法就是通过设置不同的基向量，经过矩阵的线性变换，求得基可行解（可行域顶点），并判断该解是否最优，否则继续设置另一组基向量，重复执行以上步骤，直到找到最优解。所以，单纯形法的求解过程是一个循环迭代的过程。
回顾过去一个多月的学习和求职，我感到自己过得并不够专注。课业的强度、求职的不顺利，让我总是感觉有很多事情需要做，但又有很多事情没做好。对我来说，这不是一个好的状态，我需要付出行动改变它。
以下几点是我做出的改变，希望自己能长期坚持它们：
不拖延。 写在任务清单上的事项，一有时间就应该立即完成。在截止日期之前将任务打上勾，我会很享受这种成就感。
保持充足的睡眠。 这段时间我有时睡得很晚，投简历、刷算法题、整理面试经验、复习课业内容等等，让我感觉有很多事情要做。我通常到了 12 点之后才睡觉，超出的这段时间就好像是我捡来的一样，但这实际上影响了我第二天的睡眠。少做几道笔试题并不会怎么样，知识储备要靠长期的积累，而不是靠几个晚上就能快速提高的。是应该做些改变了：以饱满的精神迎接第二天的工作，工作效率的提高更像是我捡来了更多的时间。
珍惜让自己感到舒服的人和事。 求职无非就是加入一群人并和他们一起做一些事。能加入一个让自己感到舒服的团队、做让自己感到舒服的事情，是一件幸运的事，要珍惜。
春天已经到来，愿自己保持专注，重新出发！
本文是我学习背包问题的一些总结。
算法题算是我求职路上的一道坎，我没有数据结构与算法的学习经验，但许多笔试都需要考算法题。我花了两天时间系统学习动态规划中的背包问题，希望能让自己再次遇到这类问题时不再畏惧。之前以为只有计算机系同学才能做出的题目，我也能自己做出来了，这就是学习的收获。
背包问题是指有一个固定容量为c的背包，以及一组物品，每个物品都有自己的重量w[i]和价值p[i]。在不超过背包容量的前提下，选择不同的物品装入背包，使得装入背包中的物品总价值最大。
本文是深度学习课程的一次练习，使用 Numpy 实现了 CNN 中卷积层、池化层的前向传播与反向传播。
以下是一个典型卷积层的计算过程：
高维协方差矩阵的一个重要特征就是许多维度之间的协方差非常接近于 0，一个自然的想法就是将矩阵中绝对值太小的元素设为 0，这种方法就是 Thresholding（门限）：通过设定某个门限，将绝对值小于该门限的元素设为 0，只保留绝对值大于或等于该门限的元素。
通过 Thresholding 估计方法，我们可以得到一个比样本协方差矩阵更稀疏的估计。学术界提出了两种设置 Thresholding 的方法：Universal thresholding（统一截断）和 Adaptive thresholding（自适应截断）。前者对矩阵中的每一个元素均采用相同的门限标准，而后者基于样本协方差估计的标准误自适应地为每个元素设定门槛。
本文使用模拟的高斯分布数据和真实的高维 DNA 基因数据，比较了 Universal thresholding 和 Adaptive thresholding 的估计效果，所得结果与 Tony Cai & Weidong Liu (2011) 中的结果基本一致。
手动实现交叉验证的收获
在实现交叉验证时，要清楚一共有几个循环。每一个候选的超参数，都要在所有折上做训练和验证！
例如，一共有 10 个候选的超参数，进行 5 折交叉验证，那么需要对这 10 个超参数都训练、验证 5 次，一共训练、验证 50 次。
在编码的过程中，我最开始误将一个参数在一个折上做训练和验证，这样做并不能达到交叉验证的效果。
