宅lab一月
来到坎布里奇也有2个月了，对实验室生活也开始习惯起来。因为还要上两门课，所以这个学期的时间还是比较紧张的，基本上周一到周五要工作10小时以上（上课写作业看书看 paper 参加 seminar 等等），然后周日也要花时间 review 以及准备下周的工作内容。不过我每个周六都给自己放个假，不仔细想研究的事情，不知道坐我旁边很努力——所以也给了我不小压力——的越南小哥 Thang 的周末是否也不能有完整的假期呢。
Thang，来自巴西的 Alex，还有我，是 Rich 的开山大弟子。即使是在坎布里奇这种牛校，做“实验品”也还是有一定风险的。当然 Rich 能成为剑桥的 faculty 也至少说明了他在学术上有一定实力和潜力，他总体给我的感觉是一个相当聪明而且“兴趣”广泛的人（据说读博期间还是英格兰 ultimate frisbee 队队员之一），至少到目前为止和他相处还是很舒服的。Thang 和 Alex 都是工程出身，而我则从数学跳到了机器学习，再加上 Rich 的 research interests 非常广——这倒和一般新出道的AP不太一样——从 computer vision 到 signal processing 再加上 computational neuroscience 都有涉猎，于是就变成了我们仨的研究课题各不相同： Alex 做的偏向 control， Thang 做 signal processing，而我的大方向是做 deep learning ——目前 MLG 20多个博士生和博后只有我做这个方向。
Rich 和我都对 deep learning 感兴趣，但是我们目前还尚未能讨论出一个初步入手的点——这是我们目前比较头疼的问题。工业界比较青睐的做法是找一个尚未解决的工程问题，然后再从中发展完善的理论，而我本身更感兴趣的是 deep net 的结构本身，尤其是目前对 stacking 以及 sparsity 有比较多的关注。Rich 和 Zoubin 也关注从一些 Bayesian 的角度考虑下目前已有的各种 shallow network 的模型，并且给出一个所谓理论上的整合。我对这一点也很感兴趣，但是这个应该会是贯穿我整个博士期间的研究，并且最终成为我博士论文的“大杀器”（但愿），而目前首要解决的依旧是入手点的问题。
由此我便想到了当年写过篇综述作为毕业论文的 compressed sensing，这个由 Donoho， Candes 和陶哲轩搞出来的热点课题。虽然当时再现证明过程时我有一些抓狂，但是它的结论相当漂亮。当然我最欣赏的不光是它漂亮的结论，而是它整个推导过程中的严密；并且由于它结论的相对一般性，我们有很多后续的补充课题（比如添加各种 penalty）可以在此基础上研究。然而它的初衷也是为了解决实际工程问题——信号采样的恢复，由此我可以想象，在机器学习，甚至是应用数学领域，新的研究方向的开拓，也是从解决一些基础的问题开始的。但是问题在于现在工程技术发展的太快，于是很多时候我看到的是一些待解决的我认为很 trival 的问题（而我又似乎不太感兴趣），这可能是作为数学系出身的“老毛病”吧——或许我应该感谢当年在中大求学时和 Jiuya 讨论各种数学问题，也希望她在探索纯数的旅途上能少些磕拌吧。
当然在 computer vision 里也有一些工程问题是我也有一些兴趣的，但是由于本科做的一些 project 的影响，我目前还暂时对 NLP 的兴趣更浓厚一些；不过我认为 transformation 识别问题在各个应用领域也都广泛存在，这也是有可以开拓新方向的可能。但是很多时候一些新的方向研究开始都不是完善的理论（很少像 compressed sensing 一样从严密的数学理论开始），这似乎与我的博士的最终目标——给出 deep learning 的网络结构，或者一个子问题的完善的理论证明——有一些出入。不过探索新问题或许会对完善现有理论有着来自直觉上的帮助，这个也是我要关注的内容。我觉得有的时候我可能需要改变一下思考的方法：因为从我个人而言，数学的美是一种大一统的感觉，所以往往有时我有些过于注重模型表示的简洁和美感；但是应用的时候真的不太一样，一些美的结构往往伴随着高计算复杂度，并且有时结果还不会太理想，这一点在我上次和 Rich meeting 的时候就充分感受到了——他是物理出身，而有些物理问题的解决，并不是从一个很完美的数学模型出发的。
所以我现在也不好预测我的研究应用方向：说不定我某个时候真的从 NLP 漂到 speech processing 和 computer vision 了，那可是 Rich 擅长的方向！而且 MLG 的确藏龙卧虎，在各个应用方向上都有高手存在，日后一起合作也会对我大有好处。不过我依旧希望我的研究能做出美感：可能有些人会觉得只有纯数是美的，我在一开始就抛弃了最美的东西。我记得当年申请的时候 Jiuya 曾经不止一次的问过我为何 machine learning 如此的吸引我，我以实相告，虽然她并不认为最好，但是我们依旧讨论的很热烈。我觉得美本身没有高低之分，有的只是不同人的不同偏好而已，一旦做到极致，那么它在这个人心中便是最美。
我现在住着很漂亮的“河景房”，所以我希望在美丽的坎布里奇，我也能收获在研究上真正的美。
Thang，来自巴西的 Alex，还有我，是 Rich 的开山大弟子。即使是在坎布里奇这种牛校，做“实验品”也还是有一定风险的。当然 Rich 能成为剑桥的 faculty 也至少说明了他在学术上有一定实力和潜力，他总体给我的感觉是一个相当聪明而且“兴趣”广泛的人（据说读博期间还是英格兰 ultimate frisbee 队队员之一），至少到目前为止和他相处还是很舒服的。Thang 和 Alex 都是工程出身，而我则从数学跳到了机器学习，再加上 Rich 的 research interests 非常广——这倒和一般新出道的AP不太一样——从 computer vision 到 signal processing 再加上 computational neuroscience 都有涉猎，于是就变成了我们仨的研究课题各不相同： Alex 做的偏向 control， Thang 做 signal processing，而我的大方向是做 deep learning ——目前 MLG 20多个博士生和博后只有我做这个方向。
Rich 和我都对 deep learning 感兴趣，但是我们目前还尚未能讨论出一个初步入手的点——这是我们目前比较头疼的问题。工业界比较青睐的做法是找一个尚未解决的工程问题，然后再从中发展完善的理论，而我本身更感兴趣的是 deep net 的结构本身，尤其是目前对 stacking 以及 sparsity 有比较多的关注。Rich 和 Zoubin 也关注从一些 Bayesian 的角度考虑下目前已有的各种 shallow network 的模型，并且给出一个所谓理论上的整合。我对这一点也很感兴趣，但是这个应该会是贯穿我整个博士期间的研究，并且最终成为我博士论文的“大杀器”（但愿），而目前首要解决的依旧是入手点的问题。
由此我便想到了当年写过篇综述作为毕业论文的 compressed sensing，这个由 Donoho， Candes 和陶哲轩搞出来的热点课题。虽然当时再现证明过程时我有一些抓狂，但是它的结论相当漂亮。当然我最欣赏的不光是它漂亮的结论，而是它整个推导过程中的严密；并且由于它结论的相对一般性，我们有很多后续的补充课题（比如添加各种 penalty）可以在此基础上研究。然而它的初衷也是为了解决实际工程问题——信号采样的恢复，由此我可以想象，在机器学习，甚至是应用数学领域，新的研究方向的开拓，也是从解决一些基础的问题开始的。但是问题在于现在工程技术发展的太快，于是很多时候我看到的是一些待解决的我认为很 trival 的问题（而我又似乎不太感兴趣），这可能是作为数学系出身的“老毛病”吧——或许我应该感谢当年在中大求学时和 Jiuya 讨论各种数学问题，也希望她在探索纯数的旅途上能少些磕拌吧。
当然在 computer vision 里也有一些工程问题是我也有一些兴趣的，但是由于本科做的一些 project 的影响，我目前还暂时对 NLP 的兴趣更浓厚一些；不过我认为 transformation 识别问题在各个应用领域也都广泛存在，这也是有可以开拓新方向的可能。但是很多时候一些新的方向研究开始都不是完善的理论（很少像 compressed sensing 一样从严密的数学理论开始），这似乎与我的博士的最终目标——给出 deep learning 的网络结构，或者一个子问题的完善的理论证明——有一些出入。不过探索新问题或许会对完善现有理论有着来自直觉上的帮助，这个也是我要关注的内容。我觉得有的时候我可能需要改变一下思考的方法：因为从我个人而言，数学的美是一种大一统的感觉，所以往往有时我有些过于注重模型表示的简洁和美感；但是应用的时候真的不太一样，一些美的结构往往伴随着高计算复杂度，并且有时结果还不会太理想，这一点在我上次和 Rich meeting 的时候就充分感受到了——他是物理出身，而有些物理问题的解决，并不是从一个很完美的数学模型出发的。
所以我现在也不好预测我的研究应用方向：说不定我某个时候真的从 NLP 漂到 speech processing 和 computer vision 了，那可是 Rich 擅长的方向！而且 MLG 的确藏龙卧虎，在各个应用方向上都有高手存在，日后一起合作也会对我大有好处。不过我依旧希望我的研究能做出美感：可能有些人会觉得只有纯数是美的，我在一开始就抛弃了最美的东西。我记得当年申请的时候 Jiuya 曾经不止一次的问过我为何 machine learning 如此的吸引我，我以实相告，虽然她并不认为最好，但是我们依旧讨论的很热烈。我觉得美本身没有高低之分，有的只是不同人的不同偏好而已，一旦做到极致，那么它在这个人心中便是最美。
我现在住着很漂亮的“河景房”，所以我希望在美丽的坎布里奇，我也能收获在研究上真正的美。
