国内科技企业和机构发力AI研发,50余篇论文入选顶会ICML2024

近日,国际机器学习大会披露了2024国际机器学习大会(ICML2024)收录的论文。本届会议共有9473篇有效论文投稿,创历史新高,组委会最终录用了2609篇,接收率为27.5%。

国际机器学习大会是全球机器学习领域的权威会议,迄今举办了41次会议。组委会成员来自卡内基梅伦大学、剑桥大学、谷歌、苹果等世界名校及全球知名科技企业。今年的国际机器学习大会将于7月9 \ = v / [ 5 5 ?21日~27日在奥地利维也纳举办。

据了解,蚂蚁集团此次有11篇论文入选,覆盖图机器学习、网络/信息安全、人工智能、计算机视觉等多个人工智能和机器学习领域的前沿主题。论1 0 M 5 % ;文试图改进和优化的技术问题,则聚焦在提高AI的经济性和可靠性上。

提高AI的经济性,主要看是否能把大模型做“小”,是否能持续工程提效,以及是否能持续度量和优化绿色指标,这决定{ L o S P大模型应用能y A T A U 1 ~否能成为主流。

《基于关键点的渐进式思维链蒸馏方法在大语言模型(LLMs)中的应% V A X 7 y c X用》正是一个把大模型做“小”的研究。该文提出了一种名为KPOD的新蒸馏方法,这是一种机器学习技术,能将大而复杂的模型(5 f S 4 W \教师模型)所学到的# U 3 – p d I g %知识迁移到一个小而简单E C !的模型(学生模型)中,以大大减少模型的规模和计算成本,同时尽可能保留s # F h & = /原始模型t p Q 7 ) F C | c的性能。研究团队以GPT-3.5-Turbo作为教师S 4 )模型,以LLaMA-7B和Flan-T5系列模型作为学生模型进行思维链蒸馏,结果表明J ( w k,相较现有模型蒸馏技术,KPOD能将推理准确率提升5%。

《关注边界:基于重构决策V m H r边界的核心集选取》提出了一种新的核心集构建方法,首次在ImageNet-1K数据集上实现了使用50%的数据训* H $ A Y N练,但是精度损失不超过1%。

还有几篇论文就如何提高AI在计算、训练、推理等过程中的效率,提出了新的技术解决方案。

《Ditto: 量化感知的Transformer模型安全推理》一文针对大模型密态推理场景展开了研究,以更高的效率实现密态数据类型的切换,进而带来更优的密态推理性能。实验结果表明,Ditto可以在不显著降低模型可用性的情况下实现推理效率的提升,性能相较最新工作提升约2~4倍。

《多源噪声标签下的自感知去噪方法》一文,从理论上分析了神经网络在面对多源噪声标记时具备的对样本级噪a z j m Z O声和源级标注质量的感知能力,进一步提出5 u C / & { 1 g了一种名为自感知去噪的多源噪声标签学习方法,利用神经网络的自我认知能力在训练期间进3 6 7 I v \ P % x行去噪;并构建了一个z x D选择性蒸馏模块以优化计算效率。

《通过随机微分方程统一贝叶斯流网络与扩散模型》一文提出了一种新采样方法 BFN-Solver,相比] , ` y t @原始BFN采样器实现了5-20倍的速度提升。

提高AI的可信性,则是要让AI更准确专业、真实严谨、可控透明及安全可靠,终极目标是解决控制和“对齐”比人类聪明的模型。这对于AI在金融、医疗等严谨行业的落地应用尤为必要与重要。

《基于强化学) R W g w L V习的检索增强大语言模型可信对齐》一文针对检索增强的大语言模型仍然会遭受幻觉困扰的问题,提出一种基! v @ P Y & 4 \ |于强化N T s学习的算法“可信对齐”, 从理论上和实验上证明了大型语言模型可以通过这种方@ U 1法对齐到可信状态,并将对齐的应用场景从满足人类偏好扩展到创建可信的Agent等场合。结果表明,基于“可信对齐”的检索增强大语言模型,无需人工标注,即可在nat? * k 0 } % v sural question问答任务上带来平均55%的EM提升和53%的记忆率降低。

公开信息显示,此次被会议收录论文的还有清华大学、复旦大学、上海交通大学、中国人民大学、腾讯、联想等国内知名高校及企业。

    © 版权声明

    相关文章

    暂无评论

    暂无评论...

    网址卡片按钮

    显示

    布局设置

    左侧边栏菜单

    展开

    页面最大宽度

    1750

    搜索框设置

    自定义搜索框背景

    • 静图

      R星

    • 静图

      粉嫩少女

    • 静图

      眼镜御姐

    • 静图

      变形金刚

    • 静图

      鬼刀女王No.1

    • 静图

      鬼刀女王No.2

    • 静图

      蜘蛛侠No.1

    • 静图

      蜘蛛侠No.2

    • 静图

      赛博朋克

    • 静图

      海边

    自定义搜索框高度

    • 聚焦
    • 信息
    • 默认
    个性化设置
    TAB栏自定义颜色

    背景颜色

    文字颜色

    随便看看