CVPR 2022:微笑识别也带性别歧视?浙大武大联合蚂蚁Adobe搞了个公平性提升框架
作者:董小威
武汉大学
AI模型存在偏见怎么办?
近年来,AI在多个领域展现出卓越的性能,给人类生活带来便捷和改善。
与此同时,不少AI系统被发现存在对特定群体的偏见或者歧视现象。
犯罪预测系统COMPAS在美国被广泛使用,通过预测再次犯罪的可能性来指导判刑。
研究者发现,相比于白人,黑人被预测为高暴力犯罪风险的可能性竟然高 77% 。这里就存在一个严肃的问题:犯罪与否难道能由肤色来决定?
我们经常使用的搜索引擎也普遍存在偏见。如果搜索 “护士” 的图片,返回的结果中大部分都是女性。
亚马逊的员工招聘系统,被曝出倾向于给男性打高分,给女性打低分。
为什么AI系统存在偏见?它是如何学会的?多半是数据教会了它。
例如,在亚马逊的雇员数据中,男性远多于女性,导致AI学到了性别和录用间的虚假关联,误以为男性更有资格被录用。
针对这一问题,研究者提出了多种公平性提升方案,但它们本质上都要修改已部署的深度学习模型。
“如果已部署上线的深度学习模型存在偏见,如何在不修改模型的情况下提升公平性呢?”浙江大学王志波教授提出了这个问题。
针对该问题,浙大王志波和任奎团队联合武汉大学、蚂蚁集团与Adobe公司,提出了一种基于对抗性扰动的深度学习模型公平性提升方案,在无须改变已部署模型的情况下提升系统的公平性。
该方案的基本思想是: 通过自适应地对输入数据添加对抗性扰动,阻止模型提取出敏感属性相关信息,保留目标任务相关信息,从而使得模型公平地对待不同敏感属性的群体,给出公平的预测结果。
公平性提升方案FAAP
FAAP框架包含 已部署的模型 、 扰动生成器 和 判别器 三个部分:
首先,用 扰动生成器 对图像添加对抗性扰动,扰动后的图像会输入到部署模型的特征提取器,获得图像的隐空间表示,并分别输入到标签预测器和判别器。
接着衡量扰动后的图像中包含的 敏感属性 的信息,训练判别器从隐空间表示中预测敏感属性,并对判别器进行更新。
之后对扰动生成器进行更新,欺骗判别器,使扰动后的图像在隐空间表示中不包含敏感属性的信息,同时使标签预测器的预测结果准确。
对以上步骤进行迭代,获得最终的扰动生成器,作为数据预处理单元,为已有的AI系统提升公平性。
模型预测真的变公平了吗?
使用 T-SNE 处理模型特征空间的输出,可以发现,带有性别偏见的模型,在特征空间能分辨出原始图像中不同性别的样本,因而区别对待不同性别的人群。相比之下,该方案让具有不同敏感属性的样本在特征空间发生混淆,使得它们被模型公平对待:
该项研究首次考虑在不改变深度学习模型的前提下提升公平性,提出的方案更贴合真实应用场景。
对于一般的部署模型,在基本不影响准确率的情况下,该方案可以大幅提升公平性,例如,在公平性指标DP和DEO上平均能够获得27.5%和66.1%的提升。
目前,该研究成果的相关论文“Fairness-aware Adversarial Perturbation Towards Bias Mitigation for Deployed Deep Models”已被CVPR 2022录用。
论文地址:
http://arxiv.org/abs/2203.01584
— 完 —
「人工智能」、「智能汽车」 微信社群邀你加入!
欢迎关注人工智能、智能汽车的小伙伴们加入我们,与AI从业者交流、切磋,不错过最新行业发展&技术进展。
ps.加好友请务必备注您的姓名-公司-职位哦~
点这里 :point_down: 关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见~ 返回搜狐,查看更多
责任编辑:
- QQ影音被下架,一代看片神器面临谢幕
- 搜狐不是唯一,6000多域名被用于“钓鱼邮件”诈骗
- 搜狐24名员工被诈骗,盗贼冒充财务部发内部信,损失金额不到5万
- 佛系张朝阳:搜狐全体员工被诈骗
- 搜狐2022年Q1营收1.93亿美元 净利900万美元超预期
- 贵圈|张朝阳:曾梦想当物理老师,关屋里解题一天只吃一个冷馒头
- 一年后的“碳中和”:互联网大厂都做了啥?
- 四年亏了29亿!江西富豪二次创业要翻车?
- 互联网教父的尽头是老师
- 腾讯高级副总裁谈元宇宙:现在讨论细节还太早,2030年才有望迎来质变
- 传滴滴推进无人驾驶卡车,由CTO韦峻青带队
- 腾讯“混元”AI大模型刷新CLUE分类榜历史记录
- 入选AI华人青年学者榜单的这些学者,最小的竟然是95后?
- 百度的司机,今天干了件轰动中外的大事
- 短短一个月近百款产品排队入局,B站上又冒出个意想不到的蓝海
- 一年被处罚20余次!豆瓣需实名注册,已告别“私密小组”时代
- 字节跳动开源 CowClip :推荐模型单卡训练最高加速72倍
- 教英语、讲物理,“钻石老大爷”张朝阳终于找到舒适区
- 亚马逊的新产业创新基金都投资了哪些初创公司?
- 四年失去近 8% 的全球市场!Android 丢失的市场,被谁拿走了?