【转载】Linux RCU原理剖析（一）-初窥门径 - LoyenWang - 博客园

type

status

date

slug

summary

1. 概述

RCU, Read-Copy-Update，是Linux内核中的一种同步机制。

RCU常被描述为读写锁的替代品，它的特点是读者并不需要直接与写者进行同步，读者与写者也能并发的执行。RCU的目标就是最大程度来减少读者侧的开销，因此也常用于对读者性能要求高的场景。

优点：

读者侧开销很少、不需要获取任何锁，不需要执行原子指令或者内存屏障；

没有死锁问题；

没有优先级反转的问题；

没有内存泄露的危险问题；

很好的实时延迟；

缺点：

写者的同步开销比较大，写者之间需要互斥处理；

使用上比其他同步机制复杂；

来一张图片来描述下大体的操作吧：

多个读者可以并发访问临界资源，同时使用rcu_read_lock/rcu_read_unlock来标定临界区；

写者(updater)在更新临界资源的时候，拷贝一份副本作为基础进行修改，当所有读者离开临界区后，把指向旧临界资源的指针指向更新后的副本，并对旧资源进行回收处理；

图中只显示一个写者，当存在多个写者的时候，需要在写者之间进行互斥处理；

上述的描述比较简单，RCU的实现很复杂。本文先对RCU来一个初印象，并结合接口进行实例分析，后续文章再逐层深入到背后的实现原理。开始吧！

2. RCU基础

2.1 RCU基本要素

RCU的基本思想是将更新Update操作分为两个部分：1）Removal移除；2）Reclamation回收。

直白点来理解就是，临界资源被多个读者读取，写者在拷贝副本修改后进行更新时，第一步需要先把旧的临界资源数据移除（修改指针指向），第二步需要把旧的数据进行回收（比如kfree）。

因此，从功能上分为以下三个基本的要素：Reader/Updater/Reclaimer，三者之间的交互如下图：

Reader

使用rcu_read_lock和rcu_read_unlock来界定读者的临界区，访问受RCU保护的数据时，需要始终在该临界区域内访问；

在访问受保护的数据之前，需要使用rcu_dereference来获取RCU-protected指针；

当使用不可抢占的RCU时，rcu_read_lock/rcu_read_unlock之间不能使用可以睡眠的代码；

Updater

多个 Updater 更新数据时，需要使用互斥机制进行保护；

Updater 使用rcu_assign_pointer来移除旧的指针指向，指向更新后的临界资源；

Updater 使用synchronize_rcu或call_rcu来启动Reclaimer，对旧的临界资源进行回收，其中synchronize_rcu表示同步等待回收，call_rcu表示异步回收；

Reclaimer

Reclaimer 回收的是旧的临界资源；

为了确保没有读者正在访问要回收的临界资源，Reclaimer 需要等待所有的读者退出临界区，这个等待的时间叫做宽限期（Grace Period）；

2.2 RCU三个基本机制

用来提供上述描述的功能，RCU基于三种机制来实现。

订阅机制是个什么概念，来张图：

Updater与Reader类似于Publisher和Subsriber的关系；

Updater更新内容后调用接口进行发布，Reader调用接口读取发布内容；

那么这种订阅机制，需要做点什么来保证呢？来看一段伪代码：

乍一看似乎问题不大，Updater进行赋值更新，Reader进行读取和其他处理。然而，由于存在编译乱序和执行乱序的问题，上述代码的执行顺序不见得就是代码的顺序，比如在某些架构（DEC Alpha）中，读者的操作部分，可能在p赋值之前就操作了do_something_with()。

为了解决这个问题，Linux提供了rcu_assign_pointer/rcu_dereference宏来确保执行顺序，Linux内核也基于rcu_assign_pointer/rcu_dereference宏进行了更高层的封装，比如list, hlist，因此，在内核中有三种被RCU保护的场景：1）指针；2）list链表；3）hlist哈希链表。

针对这三种场景，Publish-Subscribe接口如下表：

2.2.1 `Wait For Pre-Existing RCU Readers to Complete`

Reclaimer 需要对旧的临界资源进行回收，那么问题来了，什么时候进行呢？因此RCU需要提供一种机制来确保之前的RCU读者全部都已经完成，也就是退出了rcu_read_lock/rcu_read_unlock标定的临界区后，才能进行回收处理。

图中 Readers 和 Updater 并发执行；

当 Updater 执行Removal操作后，调用synchronize_rcu，标志着更新结束并开始进入回收阶段；

在synchronize_rcu调用后，此时可能还有新的读者来读取临界资源(更新后的内容)，但是，Grace Period只等待Pre-Existing的读者，也就是在图中的Reader-4, Reader-5。只要这些之前就存在的RCU读者退出临界区后，意味着宽限期的结束，因此就进行回收处理工作了；