很复杂的原因导致了进度推进的缓慢,期间做了很多事,但都和这一系列关系不大。
而本系列的推进也并不顺序,尤其是 cs336 的作业量实在是巨大且内容抽象。
Flash Attention 算法需要花时间手动推导,Triton 那一部分更是非常抽象,因此接下来还是写 Assignment2。
碎碎念
主要项目
详细任务