去年夏天，谷歌研究人員描述了一些創新，這些創新導致了圍繞使用動力學數據集執行人類活動識別(HAR)的最新技術水平。

由于我們想讓開發新的AI 社交應用程序變得更容易，因此我們強調將我們的方法專門用于您的自定義HAR 任務的簡單性。

我們還發現這種方法在為客戶構建資源利用率和活動監控演示“黃色沙發”方面非常有效，因為我們探索了級聯推理以提取有關人員的其他屬性。

姿態估計有助于表征活動并定位到感興趣區域以進行二次推理

。OpenCV就足夠了。對于姿勢估計，我們使用通過流行的深度學習框架（如Tensorflow和Pytorch）實現的Openpose 。

準確識別某些活動需要更高的時間分辨率和更高的幀速率，因此我們使用TensorRT轉換器在 Jetson Nano等 edgeAI 原型設備上優化推理。

ActionAI 的主要編程抽象是一個可追蹤的人類，類似于這個pyimagesearch可追蹤對象。該對象有一種方法可以將 N（14 或 18）個新關鍵點的配置作為長度為 2N 的 numpy 數組放入循環緩沖區中。為了計算效率，我們更喜歡較小的緩沖區，但我們平衡了這一愿望，以提供足夠的信息作為二級模型的輸入。該對象還封裝了 id、邊界框或運行附加推理的結果。

二次推理引擎對通過姿勢估計發現的每個人進行深蹲與旋轉分類

為了跟蹤人物實例，我們使用了 scikit-learn實現Kuhn–Munkres 算法，該算法基于連續時間步之間邊界框并集的交集。這個博客很好地闡述了應用這個算法來執行匹配。

與其他 IVA 框架一樣，我們合并了視覺疊加層以支持 ML 可觀察性和內省以及視覺敘事。

或者，我們可以將 ActionAI 與消息代理集成，以將推理結果流式傳輸到云端以進行日志記錄或其他處理，類似于 Deepstream SDK 的參考應用程序。

在另一個方向上，通過輪詢通過 USB 連接到 Jetson Nano 的 PS3 控制器的按鈕按下情況，我們可以輕松地以交互方式為每個時間步的人物實例注釋活動，就像我們對MuttMentor 所做的那樣。

這為使用 ActionAI、Jetson Nano、USB 攝像頭和 PS3 控制器豐富的輸入接口的人類活動識別、人類對象交互和場景理解任務提供了一個理想的原型設計和數據收集平臺。

在YogAI中，我們發現姿勢估計序列是從相對較少的樣本中識別運動的強大特征。

在這里，我們對面部關鍵點進行了實驗，發現了作為 Kaggle 的 DeepFake Challenge的一部分，用 Deep Fakes 生成的眉毛中的時間不一致。

真正的眉毛不會那樣做！

除了額外的關鍵點模型，我們還可以為每個可跟蹤的人物對象引入圖像紋理和顏色的上下文以及描述符。

雙路徑有助于以較低的頻率有效地處理顏色和紋理特征，同時以更高的頻率分析基于運動的信息。

我們可以通過向配置為以不同頻率運行的跟蹤器添加新方法來引入類似的慢-快建模范例。然后 ActionAI 可以結合額外的緩慢變化的顏色和紋理上下文來執行動作識別。

ActionAI 在運行基于 LSTM 的輔助分類器以及時識別關鍵點特征序列的活動方面表現良好。然而，我們可以在運行基于 CNN 的動作識別模型之前引入方法來渲染頻譜圖以對該序列進行傅立葉平滑。

最后，通過開發 gstreamer 插件，我們可以實現更高的性能并進一步推廣這項工作，同時將這種方法更無縫地集成到使用 Deepstream SDK 開發的應用程序中。