rcu: Provide rcu_irq_exit_preempt()
authorThomas Gleixner <tglx@linutronix.de>
Sun, 3 May 2020 13:08:52 +0000 (15:08 +0200)
committerThomas Gleixner <tglx@linutronix.de>
Tue, 19 May 2020 13:51:21 +0000 (15:51 +0200)
commit8ae0ae6737ad449c8ae21e2bb01d9736f360a933
tree1143878ecb15a2eeb6790b837da31d14a96c0776
parent9ea366f669ded353ae49754216c042e7d2f72ba6
rcu: Provide rcu_irq_exit_preempt()

Interrupts and exceptions invoke rcu_irq_enter() on entry and need to
invoke rcu_irq_exit() before they either return to the interrupted code or
invoke the scheduler due to preemption.

The general assumption is that RCU idle code has to have preemption
disabled so that a return from interrupt cannot schedule. So the return
from interrupt code invokes rcu_irq_exit() and preempt_schedule_irq().

If there is any imbalance in the rcu_irq/nmi* invocations or RCU idle code
had preemption enabled then this goes unnoticed until the CPU goes idle or
some other RCU check is executed.

Provide rcu_irq_exit_preempt() which can be invoked from the
interrupt/exception return code in case that preemption is enabled. It
invokes rcu_irq_exit() and contains a few sanity checks in case that
CONFIG_PROVE_RCU is enabled to catch such issues directly.

Signed-off-by: Thomas Gleixner <tglx@linutronix.de>
Reviewed-by: Paul E. McKenney <paulmck@kernel.org>
Reviewed-by: Alexandre Chartre <alexandre.chartre@oracle.com>
Acked-by: Peter Zijlstra <peterz@infradead.org>
Link: https://lkml.kernel.org/r/20200505134904.364456424@linutronix.de
include/linux/rcutiny.h
include/linux/rcutree.h
kernel/rcu/tree.c