很复杂的原因导致了进度推进的缓慢,期间做了很多事,但都和这一系列关系不大。
而本系列的推进也并不顺序,尤其是 cs336 的作业量实在是巨大且内容抽象。
Flash Attention 算法需要花时间手动推导,Triton 那一部分更是非常抽象,因此接下来还是写 Assignment2。
中秋回家了,连接内网服务器不太方便,躺平了N天(其实是摸鱼去了)
Assignment2 太多了,还没写完,先端上来一部分,下周手搓重头戏 Flash Attention
Scaling Law 笔记已经推送到个人网站。
撰写 cs336 Assignment 2 中,作业有点多,还没有写完,等写完了再发布整份文件。
认真考虑 Infra 方向,并简单搜集了一些相关工作。
上课,研一学分挺多,比较忙碌
学习 CS336,目前推进到 第8节并行化,下周开始写 Assignment 2
感觉太忙碌了,考虑搞一个项目去做线上的实习?
开学事比较多,所以没有推进很多。
这周正式算作研一了,课程比较多,兼顾一下跑步和骑行,以及实验室的工作,可能时间没那么多。
总之,让我们开始吧。