一发现现在变得更加重要,因为“越来越多的用户出于数据保密的原因希望在云之外运行模型,欧盟尤其如此。”
风险在于,硬件会对模型的性能产生影响,
通过压缩模型来限制偏差 而这种影响对于不同的人
“我们通过使用不同的硬件设置进行一系列实验来研究硬件与公平性之间的关系,特别关注 CiM [编者注:内存计算]架构。”在大型模型中,突触权重的数量高达数十亿,会减慢处理速度并影响系统的能源效率,这就是为什么制造商设计了特定的芯片来应对这种工作负载,但它们并不理想。 “风险在于,硬件的非理想性(例如编程过程中的变化)会以不一致的方式影响模型的性能,从而对不同的人口群体产生影响,并加剧公平性问题。”这还不是全部,因为从理论上讲,这种结果的变化是无法控制的。 为了克服这一挑战,这可能会对未来 AI 系统无处不在的场景产生巨大影响,研究团队评估了几种潜在的策略来抵消所研究硬件架构的缺点。为了避免结果差异太大,“模型压缩是使神经网络能够在硬件资源有限的外围设备和移动设备上部署的最有效方法之一”, Yiyu Shi 指出。对于研究 手机号码数据 人员来说,最好压缩大型语言模型,以便它们适合智能手机等设备,而不是安装小型模型。Yiyu Shi 团队之前的研究发现,压缩过程实际上可用于缓解一些公平性问题。
重新思考硬件和软件架构
对于制造商来说,开发考虑设备可变性(不同类型内存之间的性能差异和不一致性,编者注)的架构也至关重要,以提高模型 准 短信活动允许向您的联系人的手机发送大量消息 确性和公平性。“在设计有效的深度神经网络时,必须同时考虑软件和硬件,这种方法还可以促进 CiM 加速器和 DNN 架构的优化。”考虑到这一点,应在设计阶段对非易失性存储器 (NVM) 设备(CiM 架构使用)进行编程,以提高 DNN 公平性,并限制设备可变性和相关噪声。
未来,基于 Transformer 的 AI 模型将继续在传统硬件架构上运行。 “但是,如果我们能够 印度手机号码 朝着为神经形态计算设计的SNN(脉冲神经网络)迈进,那么我们将拥有一种更适合 AI 模型的架构。”就目前而言,优化神经网络结构并考虑硬件约束但仍确保公平性仍然是一个具有挑战性的过程,而消除偏见的附加目标使这一过程变得更加复杂。这也凸显了基于强化和进化学习算法的新设计框架的必要性。