2025 -Week 14¶
约 857 个字 1 张图片 预计阅读时间 4 分钟
Review¶
- 打了两场 codeforces 的比赛，分别是 edu的div2 和一场 div1+div2，虽然都切了四个题目但是手速不够，尤其是第二场的 div1+div2，E 弄的有点难导致一大堆人卡在了四题，手速和 C 的罚时导致分数较差。未能达成 1800 的目标。本周补一下题目。
- 补了一场 abc，最后一题补起来还是颇具难度啊。
- 阅读了 Distilling the Knowledge in a Neural Network 知识蒸馏的开山之作，阅读笔记见 Distilling the Knowledge in a Neural Network - Ecank的小屋
- 完成了一个知识蒸馏的练手 project，详细记录在模型蒸馏简单上手 - Ecank的小屋，代码见这里
- 研究了一下 AI 建模，感觉 tripo 是一个不错的选择，不过我对于 comfyui 的使用不是很了解，希望能够用这些工具来辅助课内的一些作业
- cs231n 开了一个头，主要看了一部分视频，但感觉 lecture 和 assignments 应该是花更多时间的地方，预计两周内完成(希望能做到)
Next Week Plan¶
- 下周周末有蓝桥杯，codeforce 上没有 div1 和 div2，考虑 vp 一下周一的 div3，练一场 abc，再学一点主席树和 treap 的知识
- 抓紧时间推进 cs231n 的进度，计划本周至少要完成 assignments1，并产出若干笔记
- 知乎上发现一个 LLM 的宝藏指引：从啥也不会到GPT-3和InstructGPT————一篇LLM的学习过程总结 - 知乎这里是算法方面的，训练和部署的是在从啥也不会到GPT-3和InstructGPT————一篇LLM的学习过程总结 - 知乎
- 打算细细学一下 transformer，手把手教的 19、Transformer模型Encoder原理精讲及其PyTorch逐行实现_哔哩哔哩_bilibili
- 多模态相关的了解不多，计划了解一下 clip，希望能够在推理加速和 AIGC 这个两个大方向深造一点
THOUGHTS¶
这周不慎被感冒击败，应当是之前的不规律作息和熬夜导致的，清明假期只能好好休息了，希望下周恢复过来，欸，除了打 cf 比赛外再也不能熬夜了。
感觉 AI 的学习上，资料和课程太多，在一个还没有建立足够的能力审视内容的优劣之前尽量先跟着最普遍的路子，再去找一些对应的资料和视频细细学。而且感觉看视频<看博客<写代码，视频的信息密度是最低的。同时自己的输出是最重要的。
下周和校内的导师聊一聊，欸，学校老师做的方向太老旧，也没有什么算力资源，老师要忙的事情也很多，感觉可能不会花时间在校内相关的科研了。现在的本科保研真的是，一眼望过去都是有论文的，搞的好像本科生人人都应该发论文一样，这种急功近利的心态很大程度也是自己焦虑的来源。但还是希望能够做一点又意义的工作，下周投一下西湖大学王欢老师的暑研和 visiting，看看能不能安排一下暑假的计划。
身体是革命的本钱啊！