已入职场｜Data乱弹：线性回归yyds

我的经历：7年DS经验，写过模型，做过dashboard，肝过ETL pipeline。面过一些人，教过stats/machine learning课程。我的本科是EE，第一份工作是engineer。stats，machine learning的99%都是学校外面自学的。

有一个感悟想分享一下。

想要转型DS的童靴，应该都会想要学习ML。如果是自学的话，网上的资源真的非常非常非常多。不过我观察到，很多课程教给你的其实是怎么调用PyTorch或者Keras或者sklearn的包。高阶一点的还会教你神经网络的架构。deep neural network 架构这个东西, 其实挺玄学的。比如LSTM里面的各种“门”，感觉就是某人开脑洞拼凑出来的结构，难死想要解释它的统计学家了 - 这不是我说的，是Google开发TensorFlow的人的原话。但不管怎么说，它好用，就被推广开了。

LSTM

我越学到后面就越觉得要回去看前面那些基础的东西：stats/ML的入门第一课，线性回归。

线性回归理解透彻了，事半功倍。 线性回归会涉及什么基本概念：数据假设，变量之间的相关性，feature engineering, bias-variance, loss方程，gradient descent，optimizer，learning rate，模型解释，regularization，cross-validation, curse of dimensionality

所有的模型都是在做类似的事情。概念相同，不过是算法的执行方法不一样，需要的计算资源不一样。

学好线性回归，你看到其他算法，会知道它的每个功能具体是想做什么的。比如卷积神经网络（CNN）里面的dropout layer是干嘛的？是做regularization。ReLU这个激活函数为什么这么奇怪，sigmoid不香吗？因为optimizing loss的时候，在更新参数的时候会把gradient吃掉（让它趋近于0）

理解了线性回归，你会发现种种模型都是万变不离其宗。 工业界非R&D面向的DS，不需要对算法执行细节挖得太深。但之前提到的基本概念是你挑选，训练，调参（！），评估，更新，解释模型时需要的。

最近几天google发的paper, 一种用于多层神经网络的通用层级损失构造框架LocoProp [2106.06199v1] LocoProp: Enhancing BackProp via Local Loss Optimization (arxiv.org) 名字完全看不懂，但本质就是如何更好optimizing loss （做research的姐妹不要喷我.....） 我们看看它优化的方向在哪里，厉不厉害，然后等着某天某个package实现它，直接拿来用就行了 ￣▽￣