基于視頻分析和邊緣計算的自動扶梯安全使用和乘客防護的思考
作者: 2021-03-06 11:25:50 瀏覽：11072次
摘要：智慧軌道交通是城市軌道交通行業的發展方向，而自動扶梯是城市軌道交通站點管理中重要的特種設備。如何利用軌道交通現有的視頻監控系統，結合最新的視頻分析和邊緣計算技術，在不增加交換機、服務器等PC硬件部署的基礎上，實現對變化中的扶梯乘客行為（包括但不限于摔倒、逆行、出入口擁堵、身體部分超越扶梯邊界和攜帶嬰兒車乘梯等）進行智能感知，供軌道交通運營客戶決策使用。該技術經驗證，可使自動扶梯更便捷、更安全、更智能、更低成本地智能服務到軌道交通運維中。
關鍵詞：智能自動扶梯 人工智能 計算機視覺 嵌入式系統 人數檢測 自動啟停軌道交通車站是軌道交通運營管理和對外服務的基本單元，其管理水平的高低直接決定了整個軌道交通網絡的管理水平。隨著國內各種自動化技術在城市軌道交通機電設備管理上正得到廣泛應用，云存儲、云計算、人工智能、視頻與物聯網融合技術，目前也在越來越多的地鐵線路上運用到了綜合監控系統上。地鐵車站通過車站級綜合監控系統，實現了資源共享，互聯互通，有利于緊急情況下的事件處理，顯示出數據賦能、信息驅動對軌道交通產業發展的強大推動力。軌道交通內的自動扶梯客傷約占系統客傷總數的60%，其中24%為跌倒和墜落，58%為和物體發生碰撞或擠壓。所以，加快扶梯系統的應急自響應速度，進一步提高其安全性，成為研究的當務之急。2.1 海量監控數據的“信息孤島”。自動扶梯能收集海量的圖片及視頻信息并匯總到車控室，但對“即時存在的危險狀況”無法識別和警示，一旦發生乘客“被夾”、跌倒、逆行、擁擠或踩踏等突發事件時，只能被動等待乘客報警、人工巡查或視頻監控巡查，監控數據只能用于“責任追溯”的用途，“信息孤島”效應急待解決。2.2 自動扶梯無法對實時動態客流狀態進行“智能識別及修正”。比如，早晚高峰，客流激增，一旦發生晚點或突發情況，站臺極容易積壓大批乘客，此時如果自動扶梯還在源源不斷向站臺輸送客流，扶梯出入口極易造成擁堵危險；站臺上如發生恐怖襲擊，驚恐人群會四散奔逃，扶梯上會形成短時間集聚客流，做不規則急速運動或摔倒踐踏現象，常速運行的扶梯會使“二次危害”系數倍增；惡劣天氣（如下雨、下雪）或大型社會活動形成的自動扶梯出入口人群積聚和對外仍持續輸送的客流，會形成擠壓或對沖危險。這些異常動態客流，需要實時被“察覺”，自動扶梯運行則被相應“修正”。2.3 自動扶梯的日常管理，耗時費力。扶梯的開啟和關閉，需要操作人員現場確認后實時，耗時費力。考慮到扶梯日常操作安全性，通常會安排一個專職工作人員來值守重點扶梯出入口。自動扶梯是帶有循環運行梯級，用于向上或向下傾斜運輸乘客的固定電力驅動設備，現有的工業化技術條件下，其只能對設備自有故障進行檢測及安全性防護。當自動扶梯上發生乘客跌倒、逆行、擁擠或“夾人”等突發事件，需要有突破性的感知技術進行識別，做到容易部署、感知準確性高的即時異常預警。基于【卷積神經網絡和人體關鍵點算法】能檢測出目標位置與人體骨骼關鍵點結構，再進一步使用SVM分類器進行人體姿態分類，從而實現畫面中行為異常現象（如，跌倒、超大物件等）檢測和報警。與此同時，使用跟蹤算法對監控視頻中的異常現象（如，逆行、擁擠等）檢測和報警。區別于傳統的PC硬件+第三方AI系統構成方案，可通過嵌入式的硬件（利用GPU資源對算法加速）方案，軟硬件一體化設計，實現對原始監控視頻的智能化分類、通過優化神經網絡層數及邊緣算法能進行對象行為預測且快速發現乘梯人的安全問題，提高識別效率。邊緣計算將更多的數據計算和存儲工作，從“核心”下沉到“邊緣”，扶梯人工智能AI模組被部署于接近數據源的“邊緣”（負責扶梯安全區域監控的攝像頭），數據不必再經過網絡達到云端處理，從而降低時延和網絡負荷。所以，基于視頻分析和邊緣計算的技術，具有廣闊的工程實踐價值和應用前景。3.1.1跌倒：指乘客發生突發、不自主的、非故意的體位改變，倒在運行的自動扶梯梯級上。當乘客身體背部或頭部接觸梯級時，則被認定為乘客跌倒事件。Openpose是一種自下而上的人體關鍵點檢測算法，最多可檢測人類軀干、手部、面部、足部共135個關鍵點。同一張視頻圖像中存在多人情況下，實時視頻提取人體姿態關鍵點，構建人體結構。通過SVM對人體姿態（包括但不限于跌倒、越界、側傾和下蹲等）進行分類，進而對扶梯上的行人異常姿態實時警示，且對多人姿態識別具有響應時間不變的特點。該算法需要提前收集不同場景下的人體圖像來擴充分類數據庫，在機器學習過程中，較完整的數據樣本集是得到高準確度模型的必要條件，通過增加樣本數量訓練得到更加有效的模型，從而提升預測準確率。無容置疑，這個“海量數據的自學習成果”是這個技術的絕對競爭門檻。3.2.1擁堵：指在扶梯監控畫面的框定區域內，人員數量超過規定的閾值，則被認定為是乘客擁堵事件。我們設置好ROI區域（扶梯出入臨近區域）和扶梯當前運行方向，利用內置GPU資源進行三位場景重建，通過Openpose算法和網絡引擎 elQ Auto加速，檢測并跟蹤視頻中的運動目標，即時發現擁堵現象。3.3.1逆行：指乘客以超過1m/s 的速度步行，且步行方向與自動扶梯運行方向相反，步行距離超過3個梯級，則被認定發生乘客逆行事件。結合如上定義特征，應用基于相關濾波的KCF跟蹤算法，可有效判斷視頻圖像中行人的前進方向、頻率和幅度，從而對扶梯上的逆行現象進行實時警示。3.4.1嬰兒車，嬰兒車指，乘客攜帶嬰兒車擬進入自動扶梯入口樓層板區域準備搭乘自動扶梯時，則被認定為攜帶嬰兒車搭乘自動扶梯事件。3.4.2 大件行李大件行李指，乘客攜帶體積超過一定體積的大件行李進入自動扶梯入口樓層板區域準備搭乘自動扶梯時，則被認定為攜帶大件行李搭乘自動扶梯事件。應用基于回歸分類的SSD目標檢測及Caffe深度學習算法框架，其通過GPU平臺加速可以達到實時對視頻圖像中的人體和行李等目標進行檢測，當檢測到扶梯上有嬰兒車或大件行李等類似物品時，實時警示。以上邊緣計算結果，可第一時間通過以太網與客戶端進行數據命令交互（語音警告、視頻警告、扶梯降速、停梯）。2019年6月至2020年11月，結合地鐵客戶提供的大容量的視頻（圖像）數據，在扶梯實驗室環境中反復訓練算法，完善SVM分類器模型。
4.3 視頻圖像經AI辨識后的示警、電扶梯聯控及智慧地鐵其他應用設想 4.3.1“海量視頻監控信息孤島“被AI人工智能（如下圖，人體目標檢測流程）打通。車站管理系統能主動識別出乘客摔倒、逆行、頭部或手部越界或多人出入口擁擠等異常行為，將視頻監控系統由“被動儲存、追溯、追責”提升到“主動分析及必要行為干預”，既可語音示警，也可以人工遠程（PESSRAE）控制緊急停車。貫徹保護人民群眾的生命安全之首要原則。 4.3.2“不同品牌電梯和攝像頭的差異化技術能力“被AI人工智能拉平。車站管理系統無須增加額外的服務器，只需分配給負責扶梯區域的安防攝像頭相應的人工智能模組，邊緣計算結果通過TCP網絡和各電梯廠家自定義的通訊協議來傳輸并完成數據、命令的發送和接受。當然，緊急制動用的可編程電子安全相關系統 (PESSRAE) 允許有軟件的參與，但需要取得型式試驗證書（2）。以成都地鐵為例（下圖），同一條線路的1、2期，就涉及至少2家電扶梯品牌，不同的技術背景和對人工智能應用的理解，造成軌道交通營運方在管理手段上難免“顧此失彼“。即使能對扶梯安全做人工智能管理的電梯主機廠，也只能采用”PC硬件（如，交換機、圖像分析服務器等）+第三方AI系統（如，擁堵檢測攝像機、防摔倒檢測攝像機等）“的組成方案，其方案硬件成本和部署維護成本都十分高昂，很難大規模工業化部署。軟硬件一體化設計的扶梯AI人工智能檢測模組，解決了基于物聯網技術，實現了對扶梯運行表征、視頻監控圖像“更深入的感知”的問題，可應用于不同品牌扶梯，最后形成——智能安全警示、出口擁堵警示、智能語音播報和智能開關梯（含自動啟停）四大功能方向（如下圖，系統邏輯框架圖（1））。4.3.3人工智能視頻辨識技術（RHT算法、隨機的Hough算法等）在直梯上的應用設想方向，如下：
| □扶梯轎廂剩余面積計算、超載警示、智能派控、節能減排 |
|
|
4.3.4視頻識別技術在地鐵運營板塊的其他應用——
截至2020年9月30日，我國累計有41個城市開通軌道交通運營，總里程超過7141.55公里。以上海為例，軌道交通運營公里超過700公里，規模位居全球第一，擁有超過4000部自動扶梯，它們每天輸送著超過 3 000 萬人次客流，承擔著上海公共交通超過50％的運量（2）。 以此類推，我國城市軌道交通服務領域，每天至少有4萬部自動扶梯投入營運服務工作中，每天輸送著2-3億次客流。我們通過技術和管理手段來“原位”提升軌道交通站的直扶梯運營管理水平——使得直扶梯在現有車站級監控系統的基礎上，進行智能化“原位改造”，其在使用過程中能對于站內行為的異常變化進行智能感知、決策判斷、修正性調整及符合安規前提下的緊急制動，從而確保扶梯客流運輸更安全、更平穩、更有序和更智能，這對軌道交通行業、監控行業、電梯行業和社會和諧、穩定均有著重大意義。（1） 劉純潔. 上海地鐵自動扶梯智慧管控的創新與實踐 中國市政工程 2019( 6) : 105；（2） 何成，史熙，歐陽惠卿. 基于AI 圖像識別與功能安全的自動扶梯智能監控系統及相關安全標準要求 [J] . 中國電梯，2019（15）：6-8，12.
注：本站招標、擬在建信息為企業單位免費自行發布，投標前請嚴格審查，謹慎交易！
聲明：本網站所登載之內容，如有侵犯他人聲譽、版權或著作權等當事人合法權益的，請來電或來函告之，我們將予以更正。
