本周基本已经确定了工作节奏,基本每周保证 2 次 cs336 课程(如果有作业再灵活调整一下),每周 3 篇左右的文献阅读,同步在做一些简单的验证实验。
考虑到实习的方面,可能后续会额外规划一些内容。
CS336 相关课程笔记已经发布个人网站。
这周花了大约三到四天的时间推进实验室的一个项目,写周报的时候突然发现似乎没有安排好时间。
不太应该在这件事上花费太久,不然感觉很容易就把时间浪费掉了,到头来也没什么收获,可能这也是写周报写总结的时候才会意识到的。
关于 CS336 将第一次作业基本完成,仅跳过了部分比较费算力的调超参等,代码撰写已经全部完成。基本上是全部从零开始搭建一个 GPT-2。
虽然说这个已经是好多年前的老古董了,但是也算是好好学一遍底层点的东西。下周继续学 CS336。
这周主要都在捣鼓 CS336 的第一次作业,也就是手搓一个 GPT-2 的架构。
这周已经完成了大部分核心内容,剩一些次要的训练内容,这门课学下来感觉补齐了很多模糊的概念,课程本身质量很高,作业如果认真写的话也是收获颇丰。(唯一就是这个作业量也太大了)
后续应该相当一段时间会继续推进这个课程,然后打算整理一下成果,开个新 repo 来写一些常用的 pytorch 功能函数等,夯实一下基础。
最近结束了毕业收尾以及旅行的一些工作,可以重启一下学习的相关规划。
目前主要在学习 CS336 课程,也就是从零开始实现一个 GPT,这门课程中会涉及到一些 infra 的内容,计划在之后进一步补上infra 的详细的系统流程。
额外跟 ai 一起设计了一个 latex 的模板,后续有的文档可以将格式更加统一了一下
关于个人网站的一些构思,目前感觉可以放上去的太少,或者说还没有很好的框架设计。等有想法了再更新网站的框架,目前只是随缘贴点笔记上去。
进行一些简单的规划,后续继续开展一些学习的工作,稍微指定一下基调。
前几周没有更新主要是在:1. 毕业杂项事宜 2. 期末考试等工作