AI新闻-0213-每周前沿观念速递 (AI新闻播报)

文章编号：11252 更新时间：2024-03-16 分类：互联网资讯 阅读次数：次

资讯内容

本周OpenDILAb为大家整顿了包括计算机视觉、机器学习、强化学习、生成模型四个方向的AI前沿观念，请大家参考。

本文内容摘自咱们在OpenDILab交换社群中颁布的 每日AI新闻 AI新闻0213每周前沿观念速递AI新，想要了解AI行业最新前沿灵活的好友，欢迎增加小助手微信（），小助手会约请您参与交换群。

计算机视觉

论文题目：

ATimeSeriesisWorth64Words:Long-termForecastingwithTransformers

论文链接：

摘要：

咱们提出了一种高效的基于Transformer的模型设计，用于多变量期间序列预测和自我监视的示意学习。此模型设计基于两个部分：1）将期间序列分红若干个期间段，每一个期间段视为一个token，输入Transformer；2）通道独立，每个通道蕴含一个单变量期间序列，且在一切序列中共享相反的embedding和Transformer权重。

这样的Patching设计有三个好处：部分语义消息得以保管在embedding中；在相反的回视窗口下，attentionmap的计算和存储量大幅度降低；模型可以处置更长的历史。与基于SOTATransformer的模型相比，咱们的PatchTST（PatchTimeSeriesTransformer）可以提高常年预测的准确性。咱们将模型运行于自我监视的预训练义务，取得了杰出的微调功能，在大数据集上的体现优于在大数据集上的监视训练。将一个数据集上的屏蔽式预训练表征转移到其余数据集上也能发生SOTA的预测精度。

论文题目：

ScalingVisionTransformersto22BillionParameters

论文链接：

摘要：

Transformers的扩展推进了言语模型的打破性才干。目前，最大的大型言语模型（LLMs）蕴含超越100B的参数。ViT将雷同的架构引入了图像和视频建模，但这些还没有成功地扩展到简直相反的水平；最大的密集型ViT蕴含4B的参数。

咱们提出了一个高效、稳固地训练22B参数的ViT（ViT-22B）的技巧，并对所得模型启动了多种试验。当对下游义务启动评价时（理论经常使用解冻特色的轻量级线性模型），ViT-22B体现出随着规模的扩展而始终提高的功能。咱们进一步观察到规模带来的其余幽默的好处，包括偏心性和功能之间更好的掂量，在形态/纹理偏向方面与人类视觉感知的最先进的分歧性，以及改良的持重性。ViT-22B展现了视觉中"相似LLM"扩展的后劲，并提供了成功这一目的的主要步骤。

机器学习

论文题目：

OpenProblemsinAppliedDeepLearning

论文链接：

摘要：

这项上班将机器学习机制制订为一个双级提升疑问。内层的提升循环须要最小化一个在训练数据上评价的适入选用的损失函数。这只不过是为谋求最佳模型参数而启动的钻研良好的训练环节。外层提升环路的钻研较少，它触及在验证数据上评价的适入选用的功能目的的最大化。这就是咱们所说的"迭代环节"，谋求最佳的模型超参数。

在许多其余自在度中，这个环节须要模型工程（如神经网络架构设计）和治理、试验跟踪、数据集版本和增强。迭代环节可以经过智能机器学习（AutoML）成功智能化，也可以留给机器学习的在校生、工程师和钻研人员的直觉。无论咱们采取何种路径，都须要缩小迭代步骤的计算老本，并间接造成缩小开发人工智能算法的碳足迹。虽然迭代步骤的数学表述洁净而一致，是一个双档次的提升疑问，但其处置打算是详细而复杂的。

这项上班将思考这样的状况，同时将复杂水平从监视学习提高到半监视、自监视、无监视、少数听从少数、联结、强化和物理消息学习。作为这项上班的结果，这项倡导显现了该畛域少量的放开疑问，其中许多疑问可以并行处置。

强化学习

论文题目：

RedeemingIntrinsicRewardsviaConstrainedOptimization

论文链接：

摘要：

最先进的强化学习（RL）算法理论经常使用随机抽样（例如ϵ-greedy）启动探求，但这种方法在艰巨的探求义务中失败了，如蒙特祖马的复仇。为了处置探求义务的应战，先前的上班会应用探求处罚来处罚agent探求新的形态，这样的方法可以在艰巨的探求义务上取得优秀的体现，但与只经常使用外在处罚训练的agent相比，或者会遭到外在处罚的影响而体现不佳。且与只经常使用义务处罚的agent相比，功能体现较差。这种功能降低出当初agent寻觅外在处罚（义务处罚短缺），过于猎奇形成不用要的探求的状况下。

生成模型

文章题目：

ToolssuchasChatGPTthreatentransparentscience：hereareourgroundrulesfortheiruse

文章链接：

摘要：

近几年来，人工智能畛域的言语生成技术越来越成熟。人们分辨文本作者的难度也随之升高。去年，《Nature》杂志报道称，一些迷信家曾经在经常使用聊天机器人作为钻研助理——以协助组织他们的思想，生成对其上班的反应，协助编写代码并总结钻研文献。ChatGPT的颁布将大型言语模型的工具功能带给公众受众。

学术界对此的最大的担心是，在校生和学者或者会应用ChatGPT诈骗性地将AI撰写的文本视为自己的文本，并以此发生学术成绩。对此，《Nature》杂志和其余期刊一同制订了经常使用消费大模型技术的基本规定。

标签： AI技术、互联网新闻、新闻、

本文地址： https://yihaiquanyi.com/article/a24c6d02e932674cfac4.html

上一篇：值得关注的优质信息源值得关注的优秀设计作...
下一篇：新闻速递新闻速递怎么写...