00075-谈谈我对攻读计算机研究生的看法——转载
前言一篇上古年代（04年左右）的关于攻读计算机研究生看法的文章，其中关于如何学习计算机的看法在我看来至今受用，因此特此转载与诸君共勉。 我参考的版本为（参考文档是我在网上
阅读更多
00338 RLOO 公式推导
问题描述：详细推理下面的公式
✅ 推导过程：
原始公式
第一步：展开 $\tilde{A}_{i,t}$假设
即 $\tilde{A}_{i,t}$ 是当前样本的reward减去所有样本reward的平均。
第二步：将 $\tild
2025-05-12
00337 GRPO (论文学习笔记)
前言DeepSeek-AI GRPO论文的学习笔记。
Operating System: Ubuntu 22.04.4 LTS
信息论文题目：DeepSeekMath: Pushing the Limits of Mathematical
2025-05-10
00336 等比数列的无穷和
问题描述：求下面这个无穷级数的和：
$$\sum_{b=0}^{\infty} a^b = 1 + a + a^2 + a^3 + \cdots$$
其中 $ b $ 是从 0 到正无穷的整数，也就是说这是一个等比数列的
2025-05-06
00335 收集的 pytorch 函数——create_completion_mask
前言介绍create_completion_mask函数。
Operating System: Ubuntu 22.04.4 LTS
函数原型def create_completion_mask(completion_ids, eos_to
2025-05-05
00334 accelerator.gather和accelerator.wait_for_everyone
前言介绍accelerator.gather函数和accelerator.wait_for_everyone函数
Operating System: Ubuntu 22.04.4 LTS
accelerator.gatheraccelera
2025-05-05
00333 NLP Course - Training a causal language model from scratch
前言到目前为止，我们主要使用预训练模型，并通过重用预训练的权重来微调它们以适用于新的用例。正如我们在第一章中看到的，这通常被称为迁移学习，这是一种非常成功的策略，用于将Transformer模型应用于大多数现实世界的用例，其中标记数据稀缺。
2025-05-05
00332 NLP Course - Summarization
前言在这一部分，我们将探讨如何使用Transformer模型将长文档浓缩成摘要，这一任务被称为文本摘要。这是自然语言处理中最具挑战性的任务之一，因为它需要多种能力，如理解长篇文章并生成连贯的文本，抓住文档中的主要主题。然而，当做得好时，文本
2025-05-03
00331 NLP Course - Introduction
前言在第3章中，你了解了如何微调文本分类模型。在本章中，我们将探讨以下常见的语言任务，这些任务对于使用传统的NLP模型和现代的LLM都至关重要：
Token classification
Masked language modeling
2025-05-03
00330 NLP Course - Tokenizers, check!
前言完成这一章做得很棒！
在深入研究了令牌化器之后，你应该：
能够使用旧的令牌化器作为模板来训练新的令牌化器。
了解如何使用偏移量来将令牌的位置映射到它们在原始文本中的范围。
了解 BPE、WordPiece 和 Unigram 之间的区
2025-05-03
00329 从零开始编写 GRPO
前言从零开始编写 GRPO：使用 Qwen2.5-1.5B-Instruct 进行分布式实现的指南
在这个教程中，我们展示了如何使用 GRPO（Group Relative Policy Optimization）方法构建一个分布式强化学
2025-04-28
00328 Verilog 组合逻辑和时序逻辑
前言本文介绍了 Verilog 组合逻辑和时序逻辑。
操作系统：Windows 11 家庭中文版
信号时钟信号（Clock Signal）时钟信号的名称
在Verilog设计中，时钟信号一般用作电路的时序驱动，用于触发寄存器、状态机等时序逻
2025-04-27
00327 exec > >(tee -a ) 2>&1 命令
前言exec > >(tee -a ) 2>&1 命令
Operating System: Ubuntu 22.04.4 LTS
介绍这个命令是一个 Bash 的重定向组合，用于将脚本的标准输出（stdout）和标
2025-04-27