自动化机器学习研究现状分析及未来展望作者:周兰迪来源:《科学与信息化》2019FOS
年第19陈佳丽人体期 摘 要 随着网络和大数据的发展,机器学习成为这几年较为热门的话题,但在机器学习的研究过程中,研究人员通常需要将大量的时间和精力放在设计网络、调整网络参数等方面。试想,如果可以自动的确定哪些模型结构会产生更好的效果,而无须使用人力去尝试繁杂的超参数和网络结构参数,这无疑会增进研究的效率。基于这样的想法,自动化机器学习逐渐称为成为目前热点研究方向。本文将从自动化机器学习的概念入手,给读者提供关于目前自动化机器学习领域较为常用的一些搜索方法。文学社会学
关键词 自动化机器学习;机器学习;强化学习;贝叶斯优化;进化计算
1 自动化机器学习问题的定义
在介绍关于自动化机器学习算法之前,我们需首先明确自动化机器学习一词的意义和其目标。从它的词义上看,很显然它与机器学习有着密不可分的关系,但实际上“自动化”一词 早在公元前就曾出现过[1],“机器学习”则是在20世纪90年代才进入人们的眼球,而将他们两个结合起来的“自动化机器学习”也仅是近几年才提出的理念。
新名词的提出总是由于人们对其的需求,自动化机器学习也不例外。虽然机器学习目前已经拥有了许多性能良好的算法和模型,但不可否认的是,它仍旧是个相对很困难的问题,因为机器学习的模型基本很难调试,在调试的时候经常会遇到算法失去作用或者效用较差两种情况。当发现一个算法遇到以上两种情况的时候,我们需要对其进行迭代。这种对算法进行再选择和再定义的需求,带来了自动化机器学习的理念。
自动化机器学习,顾名思义是构建一个网络结构、使其可以自动的测试网络模型的性能。从Tom Mitchell对机器学习的定义:“那年的江水机器学习是对能通过经验自动改进的计算机算法的研究”[2]美容牙科中,我们可以将自动化机器学习看作一个具有良好泛化性能学习工具,它更看重机器学习的性能和使用的简单程度。Randy Olson曾提出一个高效的机器学习网络模型的设计方案必须包括以下几点:①始终调整我们模型的参数;②匡吉始终尝试不同的模型;③始终对我们的数据进行大量的特征探索。基于以上内容,我们可以大概的得出一个结论,即自动化机器学习的目标是在有限人力参与和计算资源的情况下,尽可能地去最大化模型的
性能。为了达成这一目标,自动化机器学习需具备以下几点,即它可以自动调整参数、选择算法、迭代建模以及模型评价。