打开购物软件，“猜你喜欢”总能精准出现；点开视频平台，算法似乎早已读懂你的兴趣。当推荐系统越来越“懂”我们，如何让它既保护隐私，又不被恶意操纵？
近日，温州肯恩大学理工学院副教授Waqar Ali申报的“基于抗攻击联邦学习的负责任推荐服务研究”（Responsible Recommendation Services with Attack-Resilient Federated Learning）获国家自然科学基金外国青年学者研究基金项目资助。
项目聚焦人工智能安全与治理，旨在为推荐系统筑起一道安全防线，让个性化推荐更加安全、公平、可信。
Waqar Ali教授曾主持四川省科技计划项目，研究基于联邦学习的隐私保护推荐算法。此次国家自然科学基金项目则进一步聚焦攻击与防御，推动研究从“保护用户数据”走向“保障整个推荐系统安全”。
多年来，Waqar Ali教授的研究成果发表于 ACM Computing Surveys、IEEE Transactions on Knowledge and Data Engineering、ACM Transactions on Recommender Systems、Information Sciences、IEEE Internet of Things Journal 等国际学术期刊，并拥有3项专利。
既要“懂你”，也要保护你
推荐系统要了解用户喜好，通常需要分析浏览、点击、购买等数据。如何在利用这些数据的同时保护个人隐私？联邦学习提供了一种解决思路。
它允许用户数据保留在手机、电脑等本地设备中，各设备分别训练模型，再汇总学习成果，共同完善推荐系统。简单来说，就是“数据不出门，也能一起训练AI”。
但Waqar Ali教授关注到了一个容易被忽视的问题：数据没有被直接共享，并不意味着训练出来的模型天然安全。
如果参与训练的设备中出现“恶意参与者”，对方仍可能提交经过操纵的信息，悄悄影响AI的判断。
这就像一群人共同“教”一个AI判断哪些商品值得推荐。大多数人提供正常信息，但如果其中有人持续输入精心设计的虚假内容，就可能让某些商品获得不正常的曝光，甚至破坏整个推荐系统。
“当人们使用网上购物、娱乐或旅行服务平台时，他们期待的是真正符合自身需求的高质量推荐，而不是具有误导性或被操纵的结果。”Waqar Ali教授表示。
这种风险的影响并不止于“推荐错一件商品”。随着推荐技术逐渐进入金融、医疗、教育、电商等领域，一旦系统受到攻击或出现严重偏差，还可能干扰重要决策。
因此，此次项目希望回答一个关键问题：当多个参与者共同训练推荐模型时，如何及时发现其中的恶意行为，并阻止它们影响最终结果？
梳理攻击类型，筑牢系统防御基础
面对不同类型的攻击，首先要弄清楚“对手”可能如何行动。
项目计划系统梳理联邦推荐系统中不同攻击的定义、特征、实施方式及其潜在影响，构建一套攻击识别与防御知识库，为研究人员发现潜在威胁、检测恶意行为和制定防御策略提供参考。
在此基础上，团队将研究恶意客户端检测机制。通过分析不同客户端的数据分布、模型更新和训练行为，寻找异常迹象，识别可能正在操纵系统的参与者。
项目还将探索更安全的联邦学习框架，提升推荐系统在复杂对抗环境中的稳定性。同时，团队将关注生成式AI可能带来的新型攻击，以及攻击行为对推荐公平性的影响。
例如，热门内容通常会因为获得更多关注而被不断优先推荐。如果攻击者利用这一机制操纵结果，原本较少被看见的内容可能进一步失去曝光机会。由此产生的影响，不只是推荐是否准确，还涉及系统能否公平地服务不同用户和内容提供者。
从梳理攻击类型、发现恶意参与者，到设计防御机制、降低算法偏差，项目将形成一条较为完整的研究路径，最终推动构建更加安全、公平、负责任的推荐服务。
从保护隐私走向可信AI
此次项目是Waqar Ali教授长期研究方向的延续。
大约十年前，一场关于搜索引擎性能优化的学术讨论，让他开始关注推荐系统。此后，他的研究逐步从情境感知推荐延伸至隐私保护、联邦学习和负责任推荐系统。
“这对我意义重大。”谈及此次项目获批，他表示，这既是对其研究工作的认可，也意味着一份新的责任。他希望以此为基础，推动人工智能研究进一步转化为可信、具有社会意义和现实影响的技术。
项目启动后，温肯学生将有机会参与相关研究，在实践中接触人工智能前沿问题。Waqar Ali教授还计划加强与美国肯恩大学的科研合作，并拓展与国内外高校及科研机构的合作网络。
当AI越来越懂我们，如何让我们也能更加信任AI？这场关于可信人工智能的科研追问，将在温肯继续寻找新的答案。
文字 | 尚蕊
图片 | 鲁添毅
一审 | 陈慧
二审 | 项温蔚
三审 | 吕卓环
责编 | 传播与公共关系部
