ZZC

这里整理了我读过的一些论文笔记,主要集中在机器人腿足运动、模仿学习与基于高斯泼溅的视觉表示等方向。如果你也在做相关方向,欢迎交流。

Chapter 9 把 canonical IR 翻成了 abstract assembly——指令选好了,但用的还是无穷多个 temporary(t1, t2, t3, ...)。真实机器只有几十个寄存器,根本装不下。Chapter 10 接着问:

> 怎么知道哪些 temporary "正在使用",从而把它们挤进有限的寄存器里?

答案是 liveness analysis——一个典型的 dataflow analysis:

> 论文标题:ManiGaussian++: General Robotic Bimanual Manipulation with Hierarchical Gaussian World Model

> 作者:Tengbo Yu, Guanxing Lu, Zaijia Yang 等(清华大学、海南大学、南洋理工)

> 预印本:arXiv:2506.19842 (2025)

​ 这是 DeepMimic 的续作，这次是 "Imitating Animals"（模仿真狗）。

​ 上一篇论文是在完美的模拟环境里做特技，这一篇论文的核心挑战变成了：如何把这些动作部署到真实的、充满摩擦和误差的物理机器人（Laikago 机器狗）上。

​ 可以把这篇论文看作是 “DeepMimic 2.0：从模拟走向现实”。

第 8 章已经做完两件事：

把 IR 树变成规范树。

重新排列规范树，使每个 CJUMP 后面紧跟假分支标签。

AMP 的单一性限制： 原版 AMP 通常一次只学一种风格。如果你把“走路”和“站立”的数据混在一起给它，它可能会学出一个不伦不类的混合动作，或者无法根据指令精确切换风格 。

“坐下”动作极难调参： 让机器人从站立状态“坐下”非常危险。如果用传统 RL（人工设计奖励），机器人往往会直接“砸”在地上，导致膝盖电机过载损坏 。

技能遗忘： 按照顺序一个接一个地学技能，机器人容易学了新的忘了旧的（灾难性遗忘）。

人工调参太累： 以前要让机器狗跑得好，工程师要写几十行复杂的奖励函数（惩罚抖动、奖励抬腿高度、惩罚能耗...），稍微调错一点，狗就抽搐。

动作不自然： 如果只奖励“向前跑”，机器狗可能会学会一种极其怪异、高能耗的震动步态（Jittery behaviors），根本没法在真机上用。

作者引入了 AMP 技术，把奖励函数拆成了两部分：

> 论文标题:ManiGaussian: Dynamic Gaussian Splatting for Multi-task Robotic Manipulation

> 作者:Guanxing Lu, Shiyi Zhang, Ziwei Wang 等(清华大学、CMU、南洋理工)

> 会议:ECCV

这篇论文《MoE-Loco: Mixture of Experts for Multitask Locomotion》解决了一个强化学习领域的长期难题:多任务负迁移。通常一个神经网络如果同时学太多任务,各项任务表现都会下降。

MoE-Loco 通过引入 Mixture of Experts (MoE) 架构,实现了"博而精"。以下是其四个维度的详细创新点解析:

这是论文最底层的核心创新。传统的运动控制通常使用简单的多层感知机（MLP）作为策略网络，所有任务共享同一组参数，导致“有的任务想往左更新梯度，有的想往右”，互相打架。

欢迎来到我的课程笔记！这里记录了我在大学期间学习的部分课程的笔记和总结，主要涉及计算机科学领域。希望这些内容能够帮助到正在学习相关课程的同学们，也欢迎大家交流和讨论。

PIE 旨在解决 低成本四足机器人（如 Deep Robotics Lite3）在仅配备不可靠深度相机的情况下，如何实现高难度的跑酷运动（如跳跃 3倍身长的沟壑、攀爬 3倍身高的台阶） 的问题。

现有的机器人跑酷方法存在以下痛点：

感知不可靠： 跑酷需要极其精准的地形感知（特别是在边缘起跳时）。低成本深度相机存在延迟、噪声和视场限制，直接用它来显式重建地形往往不够可靠。

挑战：

仿真环境难以完美模拟真实世界的物理接触和软地面。

真实环境充满了不可预测性(打滑、负载变化、电机磨损)

挑战：视觉不可靠: 相机和雷达在烟雾、强光、积雪或高草丛中容易失效。

现有方法的局限:

纯本体感知方法容易产生状态估计漂移。

Chapter 4 解决了“parser 之后该产出什么”——答案是 AST。Chapter 5 紧接着回答:

> 拿到 AST 之后,编译器接下来做什么?

答案是 Semantic Analysis(语义分析)。它负责判断程序是不是“语义上合法”,也就是那些 grammar / CFG 本身表达不了的约束。

Chapter 7 把 typed AST 翻成了 IR Tree——ESEQ、CJUMP(o, e1, e2, t, f)、CALL(f, args) 这些节点表达力极强,前端写起来很顺手。但前端方便不等于后端方便:这些节点在真实机器上根本找不到对应物。Chapter 8 接着问:

> 怎么把"前端友好"的 IR Tree 改造成"后端友好"的 IR list,让指令选择能直接落地?

答案是三阶段规整(canonicalization):

[论文链接](https://arxiv.org/abs/1804.02717)

这篇论文提出了一种通过深度强化学习 (Deep RL) 让物理仿真角色（如机器人、恐龙、人类）学会高难度动作（如后空翻、回旋踢）的方法。

纯物理仿真通常动作僵硬、不自然（像僵尸）。

本文演示博客支持的 Obsidian 风格 Callout 语法。它基于标准 blockquote，生态兼容 Obsidian / GitHub / Typora。

> [!note] 标题

> 内容正文

[toc]

这一段测试 高亮文本、H~2~O 下标、E=mc^2^ 上标，以及 emoji :smile: :rocket: :100:。

混合：水的化学式是 H~2~O，光速是 c=3×10^8^ m/s，这是高亮。

Chapter 4 讨论的是：

Semantic Actions（语义动作）

parser 不只是判断输入串是否符合 grammar

Chapter 6 把运行时的样子抽象好了——F_access 告诉你"变量在 frame 还是 reg",Tr_level 帮你管嵌套 scope。但 typed AST 到这里还没有变成可执行的东西。Chapter 7 接着问:

> 怎么把 typed AST 真正翻译成机器无关的 IR?

答案是 IR Tree + Translate 模块——把每个 Tiger 语法结构(变量、数组、条件、循环、函数调用)映射成一棵小小的 Tree。

语法分析（Syntax Analysis）就是 parsing the phrase structure of the program。

它位于前端（front-end）中，位于 词法分析之后、语义分析之前。

flowchart LR

Chapter 5 解决了"AST 是否语义合法"——我们现在有了 typed AST + symbol tables。Chapter 6 紧接着回答:

> 函数调用在机器上到底是怎么跑起来的?局部变量、参数、返回地址都放在哪?

答案是 Activation Record(活动记录),也叫 Stack Frame(栈帧)——它是编译器前端与机器层面真正接轨的第一个概念。

​ 编译器分为前端和后端：

前端（Analysis）

Lexical Analysis: breaking the input into individual words or "tokens";

什么是编译器：编译器实际上就是一个可以将一个语言（source language）转化成另一个语言（target language）的程序（equivalent program）。

两个重要概念：

Phases：one or more modules operating on the different abstract “languages” during compiling process

HW：10分 10次

Quiz 10分 理论课上测试

Lab 30分 五个实验

​ 浊音实际上就是对50音中的某几行的声调进行了变化，同时在平假名/片假名的右上方使用特殊符号进行标识。

​ 这是一种特殊的变化，也就是半浊音。

​ 如上图所示，前四个都是长音，最后一个则不是。

​ Model 通常指“环境的运行规律”，也就是我们前面经常提到的状态转移概率 $P(s' \mid s,a)$ 以及奖励函数 $R(s,a)$。

​ 强化学习有两种，Model-based 和 Model-free。前者先构建出 $P$ 和 $R$，再进行学习；后者则是在真实环境中不断试错。大多数经典的深度强化学习的算法，比如 Q-Learning、DQN、DDPG、PPO 等，全都是 Model-free 的。

​ 举个例子，假如我们投掷硬币，结果记为随机变量 $X$。当硬币面朝上时，$X=+1$；当硬币面朝下时，$X=-1$。我们的目标是要计算 $\mathbb{E}[X]$。

​ 对于书上来说，只标注高音，不标注低音。

第一个音和第二个音不是同音

出现降音就不会再升回去

​ 这一节的数学基础其实就是上节课介绍过的公式：

$$

v_{k+1}=f(v_k)=\max_\pi(r_\pi+\gamma P_\pi v_k)

​ 重点是第一行的“aiueo”以及第一列的“akstnhmyrw”

第一列记忆口诀：我开桑塔纳，蛤蟆也来玩

​ 假名来源：汉字“安”

​ 我们以一个例子作为引入：

​ 于是显然有：

$$

​ 在上一节中我们介绍过了 return，return 之所以很重要，是因为 return 可以帮助我们直观地确定哪一种策略更好。

​ 对于上面的例子，我们可以计算出各个 return 如下：

$$

> 摘要:本讲义以方格世界(Grid-world)为例,系统构建了强化学习的基础数学框架。首先定义了智能体与环境交互的核心要素,包括描述环境状况的状态(State)空间、依赖于当前状态的动作(Action)空间,以及作为人机接口用于引导行为的标量奖励(Reward)。在此基础上,讲义阐述了概率性的状态转移(State transition)机制和智能体选择动作的策略(Policy),并引入轨迹(Trajectory)与回报(Return)来评估策略优劣。为了解决无限视界下的发散问题,进一步提出了引入折扣率 $\gamma$ 的折扣回报(Discount return)概念。最终,这些要素被统一形式化为马尔可夫决策过程(MDP),其核心特征在于具备无记忆性(Memoryless)的马尔可夫性质,即未来的演变仅取决于当前的状态与动作。

​ 假设我们有一个机器人在方格中行走，要从 start 到 target。如下图所示：

​ 其中，方块有三种类型：Accessible/forbidden/target，同时还有一个边界 boundary。

[咸鱼](https://xuan-insr.github.io/%E6%A0%B8%E5%BF%83%E7%9F%A5%E8%AF%86/os/V_storage_management/11_mass_storage/)

[NoughtQ](https://note.noughtq.top/sys/os/11)

感觉现在还是NoughtQ的更适合

I/O control：

翻译高级命令为底层指令

Basic File System：

感觉这一章不需要花费太多的时间，就看看别人的笔记吧：[xyx的笔记](https://xuan-insr.github.io/%E6%A0%B8%E5%BF%83%E7%9F%A5%E8%AF%86/os/VI_file_system/13_fs_interface/)

​ 文件系统的定义如下所示：

The way that controls how data is stored and retrieved in a storage medium.

​ 这一章与上一章有什么区别呢？我的理解如下：

上一张强调的是 virtual address 和 physical address 的映射关系，是在内存分配好了的情况下进行的。

这一章我们的任务是在程序刚开始的时候，我们怎么将程序加载进内存中去。

Program must be brought (from disk) into memory and placed within a process for it to be run

Main memory and registers are only storage CPU can access directly

Register access in one CPU clock (or less)

A set of blocked processes each holding a resource and waiting to acquire a resource held by another process in the set.

Example

System has 2 disk drives.

引入临界区问题，它的解决方案可以用于确保共享数据的一致性。

讨论临界区问题的软件与硬件解决方案。

分析进程同步的多个经典问题。

​ CPU Scheduling 不仅适用于进程调度，也适用于线程的调度。

​ 在系统调用完成并返回用户态时能够进行 CPU 调度。

Maximum CPU utilization obtained with multiprogramming

​ 首先来看几段代码：

代码1:

main(){

在本课程中，我们认为 job 一词和 process 是等价的*

​ 进程运行需要一点东西：

Code/Text section：程序代码，code

​ 以下图片展示了操作系统所能提供的服务：

​ 对于用户来说，操作系统可以提供一系列的服务：

User Interface：基本上所有的操作系统都有用户界面。

本课程原理的部分就是三个 Management

操作系统就是一个运行在电脑用户以及电脑硬件之间的程序，这个程序我们也称为kernal

操作系统的目标：

Bonus只能加到实验分上

注意“实验心得”这一块

严格的代码查重（程序比较厉害）