《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 通信與網(wǎng)絡(luò) > 設(shè)計應(yīng)用 > 聯(lián)邦學(xué)習(xí)中基于NMSS和LoRA的魯棒防御機(jī)制研究
聯(lián)邦學(xué)習(xí)中基于NMSS和LoRA的魯棒防御機(jī)制研究
網(wǎng)絡(luò)安全與數(shù)據(jù)治理
伏欣國1，王龍1,2，劉麗澤3, 王雷4，趙建坤1
1.中國電子信息產(chǎn)業(yè)集團(tuán)有限公司第六研究所； 2.山東大學(xué)網(wǎng)絡(luò)空間安全學(xué)院； 3.西安電子科技大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院； 4.深圳市酷開網(wǎng)絡(luò)科技股份有限公司
摘要： 針對聯(lián)邦學(xué)習(xí)中隱私泄露、數(shù)據(jù)投毒和模型篡改等安全威脅，構(gòu)建了一種融合不可篡改秘密共享與低秩適應(yīng)技術(shù)的防御架構(gòu)。該方案采用三服務(wù)器門限驗證機(jī)制與零知識證明技術(shù)，確保參數(shù)分片在傳輸和恢復(fù)過程中的安全性；同時，利用低秩約束與動態(tài)權(quán)重聚合算法，有效限制惡意攻擊干擾并降低通信開銷。在CIFAR-10和mini-ImageNet等數(shù)據(jù)集上的實驗充分驗證了該方法在提高防御準(zhǔn)確率、降低模型誤差和提升系統(tǒng)魯棒性方面的顯著優(yōu)勢，證明了方案在大規(guī)模場景下的實用性和可擴(kuò)展性。結(jié)論表明，該架構(gòu)為聯(lián)邦學(xué)習(xí)環(huán)境下安全防護(hù)提供了一種高效、可行的技術(shù)路徑。
中圖分類號：TP309文獻(xiàn)標(biāo)識碼：ADOI:10.19358/j.issn.2097-1788.2025.04.004
引用格式：伏欣國，王龍，劉麗澤，等. 聯(lián)邦學(xué)習(xí)中基于NMSS和LoRA的魯棒防御機(jī)制研究［J］.網(wǎng)絡(luò)安全與數(shù)據(jù)治理，2025，44（4）：24-31.
Robust defense mechanisms in federated learning: a study based on NMSS and LoRA
Fu Xinguo1，Wang Long1,2，Liu Lize3，Wang Lei4, Zhao Jiankun1
1. The Sixth Research Institute of China Electronics Corporation; 2. School of Cyberspace Security, Shandong University; 3. School of Computer Science and Technology, Xidian University; 4. Coocaa Network Technology Co., Ltd.
Abstract： This study addresses security threats in federated learning, including privacy leakage, data poisoning, and model tampering. A defense architecture that integrates Non-Malleable Secret Sharing (NMSS) and Low-Rank Adaptation (LoRA) is proposed. The scheme uses a three-server threshold verification mechanism and zero-knowledge proof technology to secure parameter shards during transmission and recovery. In addition, the method applies low-rank constraints and dynamic weighted aggregation to limit malicious interference and reduce communication overhead. Experiments on the CIFAR-10 and mini-ImageNet datasets verify that the method improves defense accuracy, reduces model error, and enhances system robustness. The results show that the scheme is practical and scalable for large-scale scenarios. The study concludes that the architecture offers an efficient and feasible technical solution for secure federated learning.
Key words : federated learning; privacy-preserving; poisoning attack; LoRA

引言

聯(lián)邦學(xué)習(xí)（Federated Learning, FL）［1］作為分布式機(jī)器學(xué)習(xí)的重要范式，通過“數(shù)據(jù)不動模型動”與“數(shù)據(jù)可用而不可見”的機(jī)制有效緩解了數(shù)據(jù)孤島問題，成為隱私保護(hù)領(lǐng)域的關(guān)鍵技術(shù)［2］。然而，其去中心化的架構(gòu)與參數(shù)共享特性，也引入了多重安全威脅：

(1)隱私泄露風(fēng)險：模型的梯度信息可能暴露用戶數(shù)據(jù)特征，如嵌入層泄露、全連接層梯度符號推斷等攻擊手段已被證實可重構(gòu)原始數(shù)據(jù)［3］；

(2)投毒攻擊威脅［4］：惡意客戶端通過注入噪聲、翻轉(zhuǎn)標(biāo)簽或植入后門，顯著降低模型性能（如本文3.2.1節(jié)攻擊強(qiáng)度影響實驗結(jié)果顯示，20%惡意客戶端即可使準(zhǔn)確率下降超過30%）；

(3)服務(wù)器合謀漏洞［5］：傳統(tǒng)安全聚合協(xié)議（如Secure Aggregation）難以抵御多服務(wù)器聯(lián)合篡改，導(dǎo)致全局模型參數(shù)被惡意操控。

面對以上多種安全威脅，現(xiàn)有防御方案存在以下三大瓶頸：

(1)效率與安全性失衡：同態(tài)加密雖可保護(hù)隱私，但會帶來高達(dá)40%的計算開銷［6］，而差分隱私［7］的噪聲添加在一定程度上會削弱模型可用性［8］；

(2)魯棒性不足：基于統(tǒng)計的聚合方法（如Trim-mean［9］、Krum［10］）對高隱蔽性攻擊（如生成對抗網(wǎng)絡(luò)驅(qū)動的投毒［11］）檢測率不足60%；

(3)通信成本高昂：全參數(shù)傳輸在ViT-Base［12］等大模型中需15 MB/輪的通信量，難以適配資源受限場景。

現(xiàn)有的聯(lián)邦學(xué)習(xí)防御機(jī)制主要側(cè)重于隱私保護(hù)與抗攻擊性，但在面對數(shù)據(jù)投毒、模型篡改等復(fù)雜安全威脅時，防御效果仍存在不足。針對這一問題，本文提出了一種基于不可篡改秘密共享（Non-Malleable Secret Sharing, NMSS）［13］與低秩適應(yīng)（Low-Rank Adaptation, LoRA）［14］的融合防御架構(gòu)，具有以下創(chuàng)新點(diǎn)：

(1)三服務(wù)器門限驗證機(jī)制：首次將NMSS與LoRA相結(jié)合，提出了一種新型的三服務(wù)器門限驗證機(jī)制，通過結(jié)合零知識證明（Zero-Knowledge Succinct Transparent ARguments of Knowledge, zk-STARK）［15］，實現(xiàn)分片不可篡改性與拜占庭容錯［16］，理論證明合謀攻擊下僅需1臺誠實服務(wù)器即可保障參數(shù)完整性［17］；

(2)低秩約束的魯棒性增強(qiáng)：利用LoRA將參數(shù)更新壓縮至低維子空間（秩r=8），限制投毒攻擊的擾動空間，實驗表明可減少32%的準(zhǔn)確率下降；

(3)動態(tài)權(quán)重聚合算法：結(jié)合客戶端行為可信度評估與自適應(yīng)范數(shù)裁剪，在CIFAR-10數(shù)據(jù)集實現(xiàn)96.8%的篡改分片檢測率，同時通信開銷降低至1.7 MB/輪，有效提升了防御能力，并大幅降低了通信開銷。

本文工作為聯(lián)邦學(xué)習(xí)安全領(lǐng)域提供三方面貢獻(xiàn)：首先在理論層面，首次將NMSS的可驗證性與LoRA的低秩特性結(jié)合，構(gòu)建信息論安全框架；其次在技術(shù)層面，設(shè)計分層式三服務(wù)器驗證鏈，支持高效分片恢復(fù)（<10 ms/客戶端）與動態(tài)惡意節(jié)點(diǎn)隔離；最后在應(yīng)用層面，在miniImageNet非獨(dú)立同分布場景下驗證方案有效性，為醫(yī)療、金融等高敏感領(lǐng)域提供可落地的解決方案［18］。


本文詳細(xì)內(nèi)容請下載：

http://theprogrammingfactory.com/resource/share/2000006409


作者信息：

伏欣國1，王龍1,2，劉麗澤3, 王雷4，趙建坤1

（1.中國電子信息產(chǎn)業(yè)集團(tuán)有限公司第六研究所，北京102209；

2.山東大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，山東青島266237；

3.西安電子科技大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院，陜西西安710071；

4.深圳市酷開網(wǎng)絡(luò)科技股份有限公司，廣東深圳518000）


Magazine.Subscription.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。