一种人工智能数据服务系统

本发明属于人工智能领域，尤其涉及一种人工智能数据服务系统。

在研究机器学习的过程中，需要大量的数据资源配合高效的计算能力来进行反复的模型训练。数据集的搜集需要花费大量的时间同时也具有一定的难度再加上计算资源的不足也就变相的加大了机器学习研究的成本。并且由于数据集的质量参差不齐而导致的模型训练结果差异太大的情况也在研究过程中屡见不鲜。人工智能数据平台系统的出现解决了数据难，训练资源匮乏等关键性问题。

同时，机器学习或人工智能的大多数算法或者应用模型对于数据的标注、数据的质量都有一定的要求，数据的可用性无法通过简短的介绍或者少数示例数据进行体现。系统提供数据试用功能等一系列方法，为算法的验证或构建更优的模型，提供一个良好的起点。

本发明目的在于，克服现有人工智能领域大多数算法或者应用模型开发所需要的数据集难于收集，适用性差的问题。

为实现上述目的，本发明提供了一种人工智能数据服务系统，包括前端交互平台和人工智能数据平台；其中，前端交互平台包括：

数据检索服务模块，用于用户通过输入关键字或者根据数据领域划分来快速的检索并定位到自己所需的数据；所述数据包括数据集、API接口、数据模型；

数据集服务模块，用于提供数据集的在线使用和下载功能，用户可以通过检索服务模块定位到所需数据集，通过数据集中的数据试用来进行在线的数据模型训练，也可通过申请将原始数据或者训练所产生的数据通过平台下载到本地；

数据接口服务模块，用于用户申请获取密钥然后再进行参数填写加传递的形式来在线获取对应的数据；

模型/算力服务模块，用于用户进行在线的便捷式的模型训练。

进一步地，前端交互平台还包括：数据共享模块，用于用户将产生的包括数据集、API接口、数据模型，上传到人工智能数据平台，人工智能数据平台通过相应地过滤算法，筛选数据。

进一步地，数据共享模块的数据共享步骤包括：

步骤一，数据提供方上传发布数据集至人工智能数据平台数据中心；

步骤二，数据提供方发布数据集信息并保存，生成用于展示的页面；

步骤三，数据获取方查询/浏览数据集信息。

进一步地，在所述步骤三的基础上，当数据获取方需要进行数据验证时，包括以下步骤；

步骤四，选定典型的算法或应用模型；

步骤五，选定运行软/硬件环境；

步骤六，对数据进行验证，观察算法或模型的输出，验证数据的适用性。

进一步地，在所述步骤三的基础上，当数据获取方不需要进行数据验证时，包括以下步骤；

步骤七，数据获取方提出下载申请；

步骤八，系统后台审核后，根据申请提供的方式，反馈给数据获取方相关数据的访问方式；

步骤九，数据获取方依据系统提供的下载地址获取数据。

进一步地，在所述步骤三的基础上，当数据获取方不需要进行数据验证，并进行数据定制请求时，包括以下步骤；

步骤十，数据获取方提交数据定制需求，说明数据的进一步要求；

步骤十，系统根据数据处理的进度，反馈用户，提供服务。

进一步地，所述数据接口服务模块，具体用于用户通过API接口进行密钥的申请，以及参数设置，通过参数传递的方式来获取对应的结果，用户可定义数据的返回格式为XML或者JSON。

本发明为人工智能，尤其是强化学习研究者提供领域内相关数据集的信息，以及常见的算法、应用模型库。同时，系统提供一定范围的数据及算法的试用，便于使用者观察数据集或者算法在特定场景的表现，更轻松的构建人工智能系统。

下面结合附图和实施例对本发明进一步说明。

图1为本发明实施例提供的一种人工智能数据服务系统结构示意图；

图2为数据共享方法步骤示意图；

图3为错误码参照表和示例代码表界面。

本发明实施例提供的人工智能数据服务系统主要是汇聚人工智能领域相关数据集，并将其按照不同维度，进行分类显示，方便用户进行快速检索；用户上传或申请相关的数据集、算法以及应用模型。应用方向包括计算机视觉、自然语言等；存储媒介包括图像、视频、语音、图表等。系统汇聚包括机器学习、统计分析、数据处理等方面的算法和模型，形成人工智能算法库和模型库。算法库包括BP神经网络、ART1神经网络、移动平均模型、单位根检验等常用的算法和模型。

系统维护人员对数据、算法进行适配，提供试运行服务。系统提供的试运行服务是为用户提供一种针对特定数据集、算法或者应用模型的在线体验。用户根据网页的提示，按照向导所示，选择数据源，相关变量设置完成之后，启动运行。运行结束后，界面上显示输出结果，包括目标变量训练表(目标变量训练结果)以及目标变量预测表(目标变量预测结果)。

本发明实施例提供的人工智能数据服务系统主要是通过JAVA语言+Spring框架搭配前端的Vue+JavaScript+Html来搭建前端展示网站。后端试运行平台采用Docker容器，封装相关运行环境。网站根据用户的操作，通过任务调度系统，通过Web访问Docker内的程序。该系统基于B/S架构以及云的概念，仅通过浏览器便可在线获取想要数据资源。用户也可以通过API接口的方式快速获得自己想要的数据。平台同时也配置了高效的GPU计算集，用户可以通过数据+模型的方式在平台进行相关的模型训练工作。用户可以将自己训练过程中产生的优秀数据集通过上传功能传到平台进行数据分享，平台通过高效的过滤算法，不断的筛选、重生数据，从而形成一个可循环的数据生态系统。

图1为本发明实施例提供的一种人工智能数据服务系统结构示意图。如图1所示，人工智能数据服务系统，包括前端交互平台和人工智能数据平台；其中，前端交互平台包括：数据检索服务模块、数据集服务模块、数据接口服务模块和数据接口服务模块。

数据检索服务模块用于用户通过输入关键字或者根据数据领域划分来快速的检索并定位到自己所需的数据；所述数据包括数据集、API接口、数据模型；

具体地，当用户登陆人工智能数据服务系统后，通过数据检索服务模块进行检索，如在首页的API检索框进行数据的检索，或输入用户想要搜的内容来检索相应的API。

数据集服务模块用于提供数据集的在线使用和下载功能，用户可以通过检索服务模块定位到所需数据集，通过数据集中的数据试用来进行在线的数据模型训练，也可通过申请将原始数据或者训练所产生的数据通过平台下载到本地；

具体地，数据集页面展示的是现有的全部数据集以及数据领域分类，用户可以通过此页面申请和使用数据。

数据接口服务模块用于用户申请获取密钥然后再进行参数填写加传递的形式来在线获取对应的数据；

具体地，数据接口服务模块可用于用户通过API接口进行密钥的申请，以及参数设置，通过参数传递的方式来获取对应的结果，用户可定义数据的返回格式为XML或者JSON，同时页面包含错误码参照表和示例代码表(如图3所示)。

模型/算力服务模块用于用户进行在线的便捷式的模型训练。

具体地，在模型/算力服务模块页面，用户可以通过选择数据夹配置计算参数的形式业进行模型训练，结果会在页面CMD窗口展示给用户查看。

在模型运行页面，用户可以先选择适合的数据集，这里我们选择Googlenet数据集；接着用户可以选择设置参数，这里的设置参数是选择对应参数的运行主机，默认选择第一种配置的主机运行。参数选择完成了，有三种按钮可以点击，分别为：提供全部结果、训练和验证三种按钮，点击后运行训练集模型，用户可以关闭，稍后通过个人中心查看。点击验证运行按钮，点击后运行验证集模型，用户可以关闭，稍后通过个人中心查看。

用户可以将运行的比较完善的模型进行发布，将训练、验证通过的模型发布出去，提供一个接口供其他用户使用。比如说图像识别是否为鸟的模型，发布出去后，系统生成一个用于访问的API URL(例如http://159.226.226.111/model/bird/)。用户通过发送post请求，参数附带一个文件(压缩包、图片等)来进行验证，并返回结果。用户可以上传一张图片，并点击测试按钮，就能通过模型自动判断该图片是否为一只鸟。

进一步地，前端交互平台还包括：数据共享模块，用于用户将产生的包括数据集、API接口、数据模型，上传到人工智能数据平台，人工智能数据平台通过相应地过滤算法，筛选、重生数据，提高数据集对于数据获取者的适用性。该数据共享的方法步骤如图2所示：

步骤一，数据提供方上传发布数据集至人工智能数据平台数据中心；

步骤二，数据提供方发布数据集信息并保存，生成用于展示的页面；

步骤三，数据获取方查询/浏览数据集信息。

在步骤三的基础上，当数据获取方需要进行数据验证时，包括以下子步骤1：

步骤四，选定典型的算法或应用模型；

步骤五，选定运行软/硬件环境；

步骤六，对数据进行验证，观察算法或模型的输出，验证数据的适用性。

在步骤三的基础上，当数据获取方不需要进行数据验证时，包括以下子步骤2：

步骤七，数据获取方提出下载申请；

步骤八，系统后台审核后，根据申请提供的方式，反馈给数据获取方相关数据的访问方式；

步骤九，数据获取方依据系统提供的下载地址获取数据。

在步骤三的基础上，当数据获取方不需要进行数据验证，并进行数据定制请求时，包括以下子步骤3：

步骤十，数据获取方提交数据定制需求，说明数据的进一步要求；

步骤十，系统根据数据处理的进度，反馈用户，提供服务。

本发明实施例将大量优质的数据资源搭配高效的GPU计算集，用户可通过在网站上简单的操作来完成一次完整的机器学习的模型训练任务。用户不仅可以试运行、申请下载平台上现有算法、数据，还可将自行研发的算法上传，将自己的知识产品分享给别人，共创可循环的数据生态系统。

显而易见，在不偏离本发明的真实精神和范围的前提下，在此描述的本发明可以有许多变化。因此，所有对于本领域技术人员来说显而易见的改变，都应包括在本权利要求书所涵盖的范围之内。本发明所要求保护的范围仅由所述的权利要求书进行限定。