一輛正常行駛的自動駕駛汽車，突然駛入了逆行車道；胸前貼一款特殊貼紙，猶如披上隱形斗篷，在監(jiān)控系統(tǒng)中成功遁形；戴上一幅特制眼鏡，輕松騙過人臉識別系統(tǒng)后，用別人的手機也可實現刷臉解鎖或刷臉支付……

小心，這可能是遇上了難纏的AI病毒！

近日，清華大學人工智能研究院孵化企業(yè)推出了針對人工智能算法模型本身安全的RealSafe安全平臺，據介紹，該平臺可快速緩解對抗樣本的攻擊威脅。

人工智能感染的是什么病毒？其安全問題有哪些特點？人工智能時代，殺毒軟件如何修煉才能化作身懷絕技的病毒獵手？

是敵又是友 對抗樣本戴著雙重面具

RealSafe人工智能安全平臺，是針對AI在極端和對抗環(huán)境下的算法安全性檢測與加固的工具平臺，包括模型安全測評、防御解決方案兩大功能模塊。平臺內置AI對抗攻防算法，提供從安全測評到防御加固整體解決方案。

北京理工大學計算機網絡及對抗技術研究所所長閆懷志接受科技日報記者采訪時表示，上述平臺目前側重于模型和算法安全性檢測與加固，可以說是人工智能算法的病毒查殺工具。

閆懷志說，針對人工智能系統(tǒng)實施對抗樣本攻擊的這類惡意代碼，常被稱為“AI病毒”。對抗樣本是指在數據集中通過故意添加細微的干擾所形成的輸入樣本，會導致模型以高置信度給出一個錯誤的輸出。

“其實在實驗室中，使用對抗樣本可以檢測許多訓練學習類人工智能方法的分類有效性，也可以利用對抗樣本來進行對抗訓練，以提升人工智能系統(tǒng)的分類有效性。”閆懷志告訴科技日報記者。也就是說，對抗樣本可以看成是訓練人工智能的一種手段。

“但是在現實世界，攻擊者可以利用對抗樣本來實施針對AI系統(tǒng)的攻擊和惡意侵擾，從而演變成令人頭疼的‘AI病毒’。”閆懷志表示，對抗樣本攻擊可逃避檢測，例如在生物特征識別應用場景中，對抗樣本攻擊可欺騙基于人工智能技術的身份鑒別、活體檢測系統(tǒng)。2019年4月，比利時魯汶大學研究人員發(fā)現，借助一張設計的打印圖案就可以避開人工智能視頻監(jiān)控系統(tǒng)。

在現實世界中，很多AI系統(tǒng)在對抗樣本攻擊面前不堪一擊。閆懷志介紹，一方面，這是由于AI系統(tǒng)重應用、輕安全的現象普遍存在，很多AI系統(tǒng)根本沒有考慮對抗樣本攻擊問題；另一方面，雖然有些AI系統(tǒng)經過了對抗訓練，但由于對抗樣本不完備、AI算法欠成熟等諸多缺陷，在對抗樣本惡意攻擊面前，也毫無招架之力。

對訓練數據投毒 與傳統(tǒng)網絡攻擊存在明顯不同

360公司董事長兼CEO周鴻祎曾表示，人工智能是大數據訓練出來的，訓練的數據可以被污染，也叫“數據投毒”——通過在訓練數據里加入偽裝數據、惡意樣本等破壞數據的完整性，進而導致訓練的算法模型決策出現偏差。

中國信息通信研究院安全研究所發(fā)布的《人工智能數據安全白皮書（2019年）》（以下簡稱白皮書）也提到了這一點。白皮書指出，人工智能自身面臨的數據安全風險包括：訓練數據污染導致人工智能決策錯誤；運行階段的數據異常導致智能系統(tǒng)運行錯誤（如對抗樣本攻擊）；模型竊取攻擊對算法模型的數據進行逆向還原等。

值得警惕的是，隨著人工智能與實體經濟深度融合，醫(yī)療、交通、金融等行業(yè)對于數據集建設的迫切需求，使得在訓練樣本環(huán)節(jié)發(fā)動網絡攻擊成為最直接有效的方法，潛在危害巨大。比如在軍事領域，通過信息偽裝的方式可誘導自主性武器啟動或攻擊，帶來毀滅性風險。

白皮書還提到，人工智能算法模型主要反映的是數據關聯(lián)性和其特征統(tǒng)計，沒有真正獲取數據之間的因果關系。所以，針對算法模型這一缺陷，對抗樣本通過對數據輸入樣例，添加難以察覺的擾動，使算法模型輸出錯誤結果。

如此一來，發(fā)生文章開頭所談到的一類事故就不足為奇了。

此外，模型竊取攻擊也值得注意。由于算法模型在部署應用中需要將公共訪問接口發(fā)布給用戶使用，攻擊者就可以通過公共訪問接口對算法模型進行黑盒訪問，并且在沒有算法模型任何先驗知識（訓練數據、模型參數等）的情況下，構造出與目標模型相似度非常高的模型，實現對算法模型的竊取。

閆懷志在采訪中表示，AI安全更突出功能安全問題（safety），這通常是指人工智能系統(tǒng)被惡意數據（比如對抗樣本數據）所欺騙，從而導致AI輸出與預期不符乃至產生危害性的結果。“AI功能安全問題與傳統(tǒng)的網絡安全強調的保密性、完整性、可用性等信息安全問題（security），存在本質不同。”

預防“中毒”困難重重 AI技術也可構筑網絡安全利器

閆懷志表示，目前種種原因導致了預防人工智能“中毒”困難重重，原因具體表現在三個方面。

一是很多AI研發(fā)者和用戶并沒有意識到AI病毒的巨大風險和危害，重視并解決AI病毒問題根本無從談起；二是由于AI正處于高速發(fā)展階段，很多AI研發(fā)者和生產商“蘿卜快了不洗泥”，根本無暇顧及安全問題，導致帶有先天安全缺陷的AI系統(tǒng)大量涌入應用市場；三是部分AI研發(fā)者和供應商雖然意識到了AI病毒問題，但由于技術能力不足，針對該問題并無有效的解決辦法。

“當然，網絡安全本來就是一個高度對抗、動態(tài)發(fā)展的領域，這也給殺毒軟件領域開辟了一個藍海市場，AI殺毒行業(yè)面臨著重大的發(fā)展機遇。”閆懷志強調，殺毒軟件行業(yè)首先應該具有防范AI病毒的意識，然后在軟件技術和算法安全方面重視信息安全和功能安全問題。

“以現實需求為牽引，以高新技術來推動，有可能將AI病毒查殺這個嚴峻挑戰(zhàn)轉變?yōu)闅⒍拒浖袠I(yè)發(fā)展的重大契機。”閆懷志強調，AI技術既會帶來網絡安全問題，也可以賦能網絡安全。

一方面，人工智能的廣泛應用帶來了許多安全風險。由技術性缺陷導致的AI算法安全風險，包括可導致AI系統(tǒng)被攻擊者控制的信息安全問題；也可導致AI系統(tǒng)輸出結果被攻擊者任意控制的功能安全問題。

但另一方面，人工智能技術也可以成為構筑網絡空間安全的利器，這主要體現在主動防御、威脅分析、策略生成、態(tài)勢感知、攻防對抗等諸多方面。“包括采用人工神經網絡技術來檢測入侵行為、蠕蟲病毒等安全風險源；采用專家系統(tǒng)技術進行安全規(guī)劃、安全運行中心管理等；此外，人工智能方法還有助于網絡空間安全環(huán)境的治理，比如打擊網絡詐騙。”閆懷志說。

中國信息通信研究院安全研究所的專家稱，為有效管控人工智能安全風險并積極促進人工智能技術在安全領域應用，可從法規(guī)政策、標準規(guī)范、技術手段、安全評估、人才隊伍、可控生態(tài)等方面構建人工智能安全管理體系。（實習記者 代小佩）