openEuler 22.03 LTS 版本新增了 Preempt_RT 內(nèi)核實時補丁，提供軟實時特性。該特性由 Industrial-Control SIG 引入，并得到 Kernel SIG、Embedded SIG 和 Yocto SIG 配合與支持，已經(jīng)被集成到openEuler 22.03 LTS Server 和 openEuler 22.03 LTS Embedded 中。

什么是實時系統(tǒng)

實時系統(tǒng)的典型定義如下：“所謂實時系統(tǒng)，就是系統(tǒng)中計算結果的正確性不僅取決于計算邏輯的正確性，還取決于產(chǎn)生結果的時間。如果完成時間不符合要求，則可以認為系統(tǒng)發(fā)生了問題。”也就是說，不管實時應用程序執(zhí)行的是何種任務，它不僅需要正確執(zhí)行該任務而且必須及時完成。當前，Preempt_RT 維護者 Thomas Gleixner 給出的“實時”含義是：它和指定的一樣快。

Linux 作為一種通用操作系統(tǒng)，隨著時間的推移，在功能和時序行為方面一直在發(fā)展，以便適合許多其他更具挑戰(zhàn)性的場景；尤其是實時系統(tǒng)對 Linux 的實時性改造一直從未停止過。

對 Linux 進行實時性改造，通常可從兩個大的方向來著手。一個方向是從 Linux 內(nèi)核內(nèi)部開始，直接修改其內(nèi)核源代碼，其典型代表是 Preempt_RT 實時補丁；另一個方向則是從 Linux 內(nèi)核的外圍開始，實現(xiàn)一個與 Linux 內(nèi)核共存的實時內(nèi)核，即采用雙內(nèi)核方法，其典型實現(xiàn)為 RTAI/Linux，即現(xiàn)在的 Xenomai。

因為 Xenomai 實時內(nèi)核與 Linux 內(nèi)核共存，Xenomai 實時內(nèi)核小而精巧，能夠很好地控制其中的代碼質量。Xenomai 實時內(nèi)核完成了基本的硬件抽象層、任務調(diào)度管理和進程間通信管理模塊等，能夠滿足一些硬實時系統(tǒng)的需求。然而，其上的實時應用通常分為實時和非實時兩部分來完成 ，實時部分必須使用 Xenomai 提供的特有的 API；非實時部分則可以使用 Linux 提供的系統(tǒng)調(diào)用。與 Preempt_RT 實時編程相比，Xenomai 編程實現(xiàn)更為困難，軟件移植難度更大。

與雙內(nèi)核機制方案相比，Preempt_RT 實時補丁最大的優(yōu)勢在于它遵循 POSIX 標準，使用該補丁的實時系統(tǒng)應用程序和驅動程序與非實時系統(tǒng)的應用和驅動程序差異很小。因此，在使用該補丁的平臺上做相應的開發(fā)比雙內(nèi)核機制的方案更容易。另外，該補丁與硬件平臺相關性小，可移植性高。由于 Linux 內(nèi)核過于龐大，有著較多關中斷、關搶占代碼，加上復雜的內(nèi)存管理、調(diào)度器代碼邏輯等眾多不確定性因素，使得 Preempt_RT 雖然具有較好的軟實時性，但在硬實時性方面有所欠缺。

什么是 Preempt_RT

Preempt_RT 補丁開發(fā)始于 2005 年。之后由德國 OSADL 組織贊助，Ingo Molnar、Thomas Gleixner 和 Steven Rostedt 三人共同發(fā)起，旨在將 Linux 內(nèi)核的最大線程切換延遲從無限制的毫秒數(shù)降低到數(shù)十微秒的有界值。2016 年以后成為 Linux 基金會下屬合作項目。目前 Preempt_RT 的贊助者來自 ARM、BMW、CIP、ELISA、Intel、National Instruments、OSADL、RedHat 和 Texas Instruments 等。經(jīng)過 Preempt_RT 和 Linux 內(nèi)核工程師在搶占、實時性方面的努力，Linux 內(nèi)核的搶占延遲降低了幾個數(shù)量級，使其能夠與商業(yè)實時操作系統(tǒng)競爭。業(yè)界知名的 MontaVista Linux、WindRiver Linux、TimeSys Linux 都有 RT 補丁的身影。像 RTJVM、RTKVM、RTDocker、RTAndroid 等曾經(jīng)出現(xiàn)過的 Preempt_RT 衍生用例，響應速度都有著不同程度的提升。

多年來，該補丁的許多部分已被納入主線 Linux，包括高分辨率計時器（2.6.16）、優(yōu)先級繼承（2.6.18）、可搶占的 RCU（2.6.25）、內(nèi)核互斥量和線程中斷處理程序（2.6.30）、完全 Tickless 機制（3.10）、DL 調(diào)度器（EDF 調(diào)度算法）（3.14）、實時搶占鎖（5.15）。然而，該補丁的核心部分仍然在主線之外。從近幾年的 Preempt_RT 補丁來看，當前的主要工作不是開發(fā)新功能，而是專注于增量式引入主線和特定架構的支持。

當前 openEuler 22.03 LTS 主線內(nèi)核版本為 Linux Kernel 5.10，有 180 把鎖無法搶占，其中 8 把鎖在 RT 補丁中強制修改成無法搶占。在最新的 5.17 內(nèi)核中，Preempt_RT 補丁大小為 265KB，有 189 把鎖仍然無法搶占，RT 補丁不再強制修改鎖為無法搶占。

當前 Preempt_RT 主要特性

• 臨界區(qū)可搶占
• 中斷處理程序可搶占
• 關中斷代碼序列可搶占
• 帶有優(yōu)先級繼承機制的內(nèi)核自旋鎖和信號量
• 線程化處理 RCU
• 降低延遲措施

部署方法

二進制部署

二進制部署可以安裝 openEuler 22.03 LTS 官方源中 rpm 包，需要 root 權限，命令如下：

#yuminstallkernel-rt

完成安裝后重啟設備，在 GRUB 引導界面選擇 Preempt_RT 內(nèi)核openEuler (5.10.0-60.18.0.rt62.52.oe2203.aarch64) 22.03 LTS即可。啟動后查看內(nèi)核，即完成 openEuler 22.03 LTS Preempt_RT 二進制部署。

#uname-r
5.10.0-60.18.0.rt62.52.oe2203.aarch64

獲取源碼

openEuler 22.03LTS kernel-rt源碼可以直接從官方源獲取，查詢命令如下：

#yumsearchkernel-rt
...
kernel-rt.src:LinuxKernel

若源里包含 kernel-rt 源碼，則可使用如下方式下載并安裝：

#yumdownloader--sourcekernel-rt.src
#rpm-ivhkernel-rt-5.10.0-60.18.0.rt62.52.oe2203.src.rpm&&cd~/rpmbuild

源碼目錄樹如下：

#tree
.
├──SOURCES
│├──cpupower.config
│├──cpupower.service
│├──extra_certificates
│├──kernel.tar.gz
│├──mkgrub-menu-aarch64.sh
│├──patch-5.10.0-60.10.0-rt62_openeuler_defconfig.patch
│├──patch-5.10.0-60.10.0-rt62.patch
│├──pubring.gpg
│├──sign-modules
│└──x509.genkey
└──SPECS
└──kernel-rt.spec

源碼部署

源碼獲取后，復制以下文件到自定義目錄：

#ll
total186M
-rw-r--r--.1rootroot185MApr214:27kernel.tar.gz
-rw-r--r--.1rootroot4.5KApr214:27patch-5.10.0-60.10.0-rt62_openeuler_defconfig.patch
-rw-r--r--.1rootroot773KApr214:27patch-5.10.0-60.10.0-rt62.patch

補丁合入步驟如下：

#tar-xzfkernel.tar.gz&&cdkernel
#patch-p1
#patch-p1

源碼編譯安裝：

#makeopeneuler_defconfig&&make-j`nproc`
#makemodules_install&&makeinstall
#grub2-mkconfig-o$GRUB_CONFIG_PATH

嵌入式系統(tǒng)部署方法

嵌入式部署 Preempt_RT 方法參見：

https://openeuler.gitee.io/yocto-meta-openeuler/features/preempt_rt.html

實時性能測試

測試環(huán)境

測試結果

基于上述硬件測試環(huán)境，在 CPU 隔離、空負載、CPU 負載、內(nèi)存負載、IO 負載和網(wǎng)卡負載等不同條件下的測試數(shù)據(jù)：

「歸納如下：」

1. 通過表 6 數(shù)據(jù)可以判斷，在五種負載情況下并且 CPU 不隔離，RT 內(nèi)核比非 RT 內(nèi)核實時性要強。非 RT 內(nèi)核與 RT 內(nèi)核在 CPU 不隔離情況下，五種負載對應峰值的比值如表 7(比值數(shù)據(jù)越大表明非 RT 內(nèi)核實時性越差)：

「以上數(shù)據(jù)表明，RT 內(nèi)核的峰值延遲普遍要優(yōu)于非 RT 內(nèi)核。」

2. 結合四種設備的峰值延遲來看，CPU 負載對實時性影響一般小于 IO 和內(nèi)存負載，而網(wǎng)卡負載影響最小。四種設備在兩種內(nèi)核下，CPU、內(nèi)存、IO 和網(wǎng)卡負載與空負載比值如表 8(比值越小越穩(wěn)定)：

「表 8 各項數(shù)據(jù)表明，RT 內(nèi)核在負載情況下，實時性較為穩(wěn)定。」

「為確保 Cyclictest 測試的有效性，經(jīng)過飛騰 2000 平臺空載測試 2 天，最大延遲為 58 微秒。」

實時性對系統(tǒng)影響測試

測試環(huán)境

測試結果

• 飛騰 D2000 平臺 unixbench 測試結果

使用unixbench單個任務測試非 RT 內(nèi)核空負載、RT 內(nèi)核空負載、RT 內(nèi)核負載 cyclictest(cyclictest -m -h 100 -q -i100 -t 1 -p 99 -n)，三種狀態(tài)詳細測試結果如下(表中“RT/非 RT”、“RT 負載/非 RT”為百分比值，數(shù)值越大說明 RT 內(nèi)核性能越好)：

使用unixbench多任務測試非 RT 內(nèi)核空負載、RT 內(nèi)核空負載、RT 內(nèi)核負載 cyclictest(cyclictest -m -h 100 -q -i100 -t 1 -p 99 -n)，三種狀態(tài)詳細測試結果如下(表中“RT/非 RT”、“RT 負載/非 RT”為百分比值，數(shù)值越大說明 RT 內(nèi)核性能越好)：

• 飛騰 D2000 平臺 lmbench 測試結果

  使用lmbench測試非 RT 內(nèi)核空負載、RT 內(nèi)核空負載、RT 內(nèi)核負載 cyclictest(cyclictest -m -h 100 -q -i100 -t 1 -p 99 -n)，三種狀態(tài)詳細，測試十次取平均值，結果如下：

  表14：多任務Lmbench測試結果

• 飛騰 2000 平臺測試結果

  飛騰 2000 平臺測試結果與飛騰 D2000 平臺測試結果相似度較高，具體數(shù)據(jù)不在此處列出。

測試結論

「Preempt_RT 補丁可以有效提高系統(tǒng)實時性，且在多種負載場景下，實時性表現(xiàn)較為穩(wěn)定。」

「Preempt_RT 補丁對本地通訊吞吐率有一定影響，主要提現(xiàn)為管道讀寫、文件拷貝，對系統(tǒng)調(diào)用延遲影響大多在 2 微秒以內(nèi)。」

后續(xù)工作

1. 跟隨內(nèi)核主線發(fā)布、維護 Preempt_RT 補丁

2. 研發(fā)實時性性能分析工具

3. 提升實時性

4. 提升吞吐率

5. 引入 RTLA、RTSL 機制等

主要參與者

特別感謝 Kernel SIG 組XieXiuQi、zhengzengkai，Embedded SIG 組wanming-hu，樹莓派 SIG 組woqidaideshi，QA SIG 組suhang給予我們的幫助。