训练好的模型的建立方法、推定方法、演奏代理的推荐方法、演奏代理的调整方法、训练好的模型的建立系统、推定系统、训练好的模型的建立程序及推定程序与流程

阅读: 评论:0



1.本发明涉及训练好的模型的建立方法、推定方法、演奏代理的推荐方法、演奏代理的调整方法、训练好的模型的建立系统、推定系统、训练好的模型的建立程序及推定程序。


背景技术:



2.以往,开发有评价由演奏者进行的演奏的各种各样的演奏评价方法。例如,在专利文献1中提出有从被演奏的乐曲整体之中选择性地将一部分作为对象而对演奏操作进行评价的技术。
3.专利文献1:日本专利第3678135号公报


技术实现要素:



4.根据由专利文献1提出的技术,能够对由演奏者进行的演奏的准确度进行评价。但是,本件发明人发现在以往的技术中存在如下述的问题点。即,通常,大多是演奏者与其他演奏者(例如,其他人、演奏代理等)一起进行演奏(进行合演)。在合演中,由演奏者进行的第1演奏及由其他演奏者进行的第2演奏并行地进行。由其他演奏者进行的第2演奏基本上与第1演奏不相同。因此,难以根据演奏的准确性对演奏者针对合演或合演者的满足度进行推定。
5.本发明在一个方面是鉴于以上情况而提出的,其目的在于提供用于适当地推定第1演奏的演奏者针对与由演奏者进行的第1演奏一起进行的第2演奏的满足度的技术、以及用于对利用了该技术的演奏代理进行推荐的技术、及对演奏代理进行调整的技术。
6.为了实现上述目的,本发明的一个方式涉及的通过1个或多个计算机实现的训练好的模型的建立方法具有如下处理:取得由演奏者进行的第1演奏的第1演奏数据、与所述第1演奏一起进行的第2演奏的第2演奏数据、及构成为表示所述演奏者的满足度的满足度标签的组合分别构成的多个数据集,使用所述多个数据集,实施满足度推定模型的机器学习。所述机器学习构成为,针对所述各数据集,以使得根据所述第1演奏数据及所述第2演奏数据推定出所述演奏者的满足度的结果适合于由所述满足度标签表示的满足度的方式对所述满足度推定模型进行训练。
7.另外,本发明的一个方式涉及的通过1个或多个计算机实现的推定方法具有如下处理:取得由演奏者进行的第1演奏的第1演奏数据及与所述第1演奏一起进行的第2演奏的第2演奏数据,使用通过机器学习而生成的训练好的满足度推定模型,根据所取得的所述第1演奏数据及所述第2演奏数据对所述演奏者的满足度进行推定,输出与推定出所述满足度的结果相关的信息。
8.另外,本发明的一个方式涉及的通过计算机实现的演奏代理的推荐方法具有如下处理:通过针对多个演奏代理分别供给所述第1演奏涉及的第1演奏者数据,从而生成多件
的第2演奏的第2演奏数据,通过上述推定方法,使用训练好的满足度推定模型,对所述演奏者针对所述多个演奏代理各自的满足度进行推定,基于针对所推定出的所述多个演奏代理各自的所述满足度,从所述多个演奏代理之中选择所要推荐的演奏代理。
9.另外,本发明的一个方式涉及的通过计算机实现的演奏代理的调整方法具有如下处理:通过对所述演奏代理供给所述第1演奏涉及的第1演奏者数据,从而生成第2演奏的第2演奏数据,通过上述推定方法,使用所述满足度推定模型,对所述演奏者针对所述演奏代理的满足度进行推定,对在生成所述第2演奏数据时使用的所述演奏代理的内部参数的值进行变更。进行所述生成的处理是通过迭代执行进行所述推定及进行所述变更,从而以所述满足度变高的方式对所述内部参数的值进行调整。
10.发明的效果
11.根据本发明,能够提供用于适当地对第1演奏的演奏者针对与由演奏者进行的第1演奏一起进行的第2演奏的满足度进行推定的技术、以及用于对利用了该技术的演奏代理进行推荐的技术、及对演奏代理进行调整的技术。
附图说明
12.图1示出第1实施方式涉及的信息处理系统的结构的一个例子。
13.图2示出第1实施方式涉及的演奏控制装置的硬件结构的一个例子。
14.图3示出第1实施方式涉及的推定装置的硬件结构的一个例子。
15.图4示出第1实施方式的信息处理系统的软件结构的一个例子。
16.图5是示出第1实施方式涉及的满足度推定模型的训练处理的一个例子的流程图。
17.图6是示出第1实施方式涉及的推定处理的一个例子的流程图。
18.图7是示出第2实施方式涉及的推荐处理的一个例子的时序图。
19.图8是示出第3实施方式涉及的调整处理的一个例子的时序图。
具体实施方式
20.以下,参照附图详细地说明本发明的实施方式。以下所说明的各实施方式不过是能够实现本发明的结构的一个例子。以下的各实施方式能够根据应用本发明的装置的结构、各种条件而适当进行修正或变更。另外,以下的各实施方式所包含的要素的全部组合并非都是实现本发明所必须的,可以适当地省略要素的一部分。因此,本发明的范围并不由以下的各实施方式所记载的结构限定。另外,只要彼此不矛盾,则还可以采用将实施方式中所记载的多个结构组合而得到的结构。
21.<1.第1实施方式>
22.图1示出第1实施方式涉及的信息处理系统s的结构的一个例子。如图1所示,第1实施方式涉及的信息处理系统s具有演奏控制装置100及推定装置300。第1实施方式涉及的信息处理系统s是训练好的模型的建立系统的一个例子。另外,第1实施方式涉及的信息处理系统s还是推定系统的一个例子。演奏控制装置100及推定装置300例如可以通过个人计算机、服务器、平板终端、移动终端(例如,智能手机)等信息处理装置(计算机)而实现。演奏控制装置100及推定装置300可以构成为能够经由网络nw或直接进行通信。
23.第1实施方式涉及的演奏控制装置100是构成为具有对自动演奏钢琴等演奏装置
200进行控制而演奏乐曲的演奏代理(agent)160的计算机。演奏装置200也可以适当构成为,按照表示第2演奏的第2演奏数据进行第2演奏。第1实施方式涉及的推定装置300是构成为通过机器学习而生成训练好的满足度推定模型的计算机。另外,推定装置300是构成为使用训练好的满足度推定模型,对演奏者针对演奏者及演奏代理160的合演的满足度(好感度)进行推定的计算机。此外,生成训练好的满足度推定模型的处理、及使用训练好的满足度推定模型而对演奏者的满足度进行推定的处理可以通过同一计算机而执行,或者也可以通过不同的计算机而执行。本发明的“满足度”是指某个特定的演奏者的个人满足度(personal satisfaction)。
24.本实施方式涉及的演奏者在代表情况下使用与演奏控制装置100连接的电子乐器em进行演奏。本实施方式的电子乐器em例如可以是电子键盘乐器(电子钢琴等)、电子弦乐器(电吉他等)、电子管乐器(电吹管合成器等)等。但是,演奏者在演奏时使用的乐器可以不限于电子乐器em。在另一个例子中,演奏者可以使用原声乐器进行演奏。在其他一个例子中,本实施方式涉及的演奏者也可以是不使用乐器的乐曲的歌唱者。在该情况下,由演奏者进行的演奏也可以不使用乐器而进行。以下,将由演奏者进行的演奏称为“第1演奏”,将由不是进行第1演奏的演奏者的主体(演奏代理160、其他人等)进行的演奏称为“第2演奏”。
25.概略地,第1实施方式的信息处理系统s在训练阶段取得由演奏者所进行的训练用的第1演奏的第1演奏数据、与第1演奏一起进行的训练用的第2演奏的第2演奏数据、及构成为表示演奏者的满足度(真值/正确)的满足度标签的组合而分别构成的多个数据集,使用所取得的多个数据集而实施满足度推定模型的机器学习。满足度推定模型的机器学习由如下处理构成:针对各数据集,以使得根据训练用的第1演奏数据及第2演奏数据推定出演奏者的满足度的结果适合于由满足度标签表示的满足度(真值/正确)的部分方式对满足度推定模型进行训练。
26.另外,第1实施方式的信息处理系统s在推定阶段中取得由演奏者进行的第1演奏的第1演奏数据及与第1演奏一起进行的第2演奏的第2演奏数据,使用通过机器学习而生成的训练好的满足度推定模型,根据所取得的第1演奏数据及第2演奏数据对演奏者的满足度进行推定,输出与推定出满足度的结果相关的信息。此外,根据第1演奏数据及第2演奏数据对演奏者的满足度进行推定的处理也可以由如下处理构成:基于第1演奏数据及第2演奏数据对合演特征量进行计算,根据计算出的合演特征量对演奏者的满足度进行处理。
27.<2.硬件结构例>
28.(演奏控制装置)
29.图2示出本实施方式涉及的演奏控制装置100的硬件结构的一个例子。如图2所示,演奏控制装置100是cpu 101、ram 102、储存器103、输入部104、输出部105、收音部106、拍摄部107、收发部108及驱动器109由总线b1电气性地连接的计算机。
30.cpu 101由用于执行演奏控制装置100的各种运算的1个或多个处理器过程。cpu 101是处理器资源(processor resources)的一个例子。处理器的种类可以根据实施方式而适当选择。ram 102是易失性的存储介质,作为对在cpu 101使用的设定值等信息进行保存,并且供各种程序展开的工作存储器而进行动作。储存器103是非易失性的存储介质,对由cpu 101使用的各种程序及数据进行存储。ram 102及储存器103是对由处理器资源执行的程序进行保存的存储器资源(memory resource)的一个例子。
31.在本实施方式中,储存器103对程序81等各种信息进行存储。程序81是用于使演奏控制装置100执行如下信息处理的程序:生成表示与由演奏者进行的乐曲的第1演奏并行地进行的第2演奏的第2演奏数据的信息处理;以及对演奏代理160的内部参数的值进行调整的信息处理。程序81包含该信息处理的一系列的命令。
32.输入部104由用于接受针对演奏控制装置100的操作的输入装置构成。输入部104例如可以由与演奏控制装置100连接的键盘、鼠标等1个或多个输入装置构成。
33.输出部105由用于输出各种信息的输出装置构成。输出部105例如可以由与演奏控制装置100连接的显示器、扬声器等1个或多个输出装置构成。信息的输出例如可以通过影像信号、声音信号等进行。
34.此外,输入部104及输出部105也可以由接受用户针对演奏控制装置100的操作并且输出各种信息的触摸面板显示器等输入输出装置一体地构成。
35.收音部106构成为将收音到的声音变换为电信号而供给至cpu 101。收音部106例如也可以由传声器构成。收音部106可以内置于演奏控制装置100,也可以经由未图示的接口与演奏控制装置100连接。
36.拍摄部107构成为将拍摄到的影像变换为电信号而供给至cpu 101。拍摄部107例如由数字照相机构成。拍摄部107可以内置于演奏控制装置100,也可以经由未图示的接口与演奏控制装置100连接。
37.收发部108构成为以无线或有线的方式与其他数据收发数据。在本实施方式中,演奏控制装置100经由收发部108与作为控制对象的演奏装置200、演奏者在演奏乐曲时使用的电子乐器em、及推定装置300连接,对数据进行收发。收发部108可以包含多个模块(例如、bluetooth(注册商标)模块、wi-fi(注册商标)模块、usb(universal serial bus)端口、专用端口等)。
38.驱动器109是用于读入存储介质91所存储的程序等各种信息的驱动器装置。存储介质91是以计算机、其他装置、机器等能够读取所存储的程序等各种信息的方式,将该程序等信息通过电、磁、光学、机械或化学的作用而积蓄的介质。存储介质91例如可以是软盘、光盘(例如,压缩盘、数字多功能盘、蓝光光盘)、光磁盘、磁带、非易失性的存储卡(例如,闪存)等。驱动器109的种类可以与存储介质91的种类相对应地任意选择。上述程序81可以存储于存储介质91,演奏控制装置100也可以从该存储介质91读出上述程序81。
39.总线b1是将演奏控制装置100的上述硬件的结构要素相互且电气性地连接的信号传输路。此外,关于演奏控制装置100的具体的硬件结构,能够与实施方式相对应地适当进行结构要素的省略、置换及追加。例如,可以省略输入部104、输出部105、收音部106、拍摄部107、收发部108及驱动器109中的至少任意者。
40.(推定装置)
41.图3是本实施方式涉及的推定装置300的硬件结构的一个例子。如图3所示,推定装置300是将cpu 301、ram 302、储存器303、输入部304、输出部305、收音部306、拍摄部307、收发部309及驱动器310通过总线b3进行电气性地连接的计算机。
42.cpu 301由用于执行推定装置300的各种运算的1个或多个处理器构成。cpu 301是处理器资源的一个例子。处理器的种类也可以与实施方式相对应地适当选择。ram 302是易失性的存储介质,作为保存在cpu 301使用的设定值等各种信息并且供各种程序展开的工
作存储器而进行动作。储存器303是非易失性的存储介质,对由cpu 301使用的各种程序及数据进行存储。ram 302及储存器303是保存由处理器资源执行的程序的存储器资源的一个例子。
43.在本实施方式中,储存器303对程序83等各种信息进行存储。程序83是用于使推定装置300执行如下信息处理的程序:实施满足度推定模型的机器学习的信息处理(后述的图5);以及使用训练好的满足度推定模型对满足度进行推定的信息处理(后述的图6)。程序83包含该信息处理的一系列的命令。实施满足度推定模型的机器学习的程序83的命令部分是训练好的模型的建立程序的一个例子。另外,对满足度进行推定的程序83的命令部分是推定程序的一个例子。建立程序及推定程序可以包含于同一文件,或者也可以由不同的文件保存。
44.输入部304至拍摄部307、驱动器310及存储介质93可以与演奏控制装置100的输入部104至拍摄部107、驱动器109及存储介质91相同地构成。程序83可以存储于存储介质93,推定装置300也可以从存储介质93读出程序83。
45.生物体传感器308构成为时序性地取得表示演奏者的生物体信息的生物体信号。演奏者的生物体信息例如可以由心率、出汗量、血压等1种或多种的数据构成。生物体传感器308例如可以由心率计、出汗计、血压计等传感器构成。
46.收发部309构成为,以无线或有线的方式与其他装置收发数据。在本实施方式中,推定装置300可以经由收发部309与演奏者在演奏乐曲时使用的电子乐器em及演奏控制装置100连接,对数据进行收发。收发部309也可以与收发部108相同地包含多个模块。
47.总线b3是将推定装置300的上述硬件的结构要素相互且电气性地连接的信号传输路。此外,关于推定装置300的具体的硬件结构,能够与实施方式相对应地适当进行结构要素的省略、置换及追加。例如,也可以省略输入部304、输出部305、收音部306、拍摄部307、生物体传感器308、收发部309及驱动器310中的至少任意者。
48.<3.软件结构例>
49.图4示出本实施方式涉及的信息处理系统s的软件结构的一个例子。
50.演奏控制装置100具有控制部150及存储部180。控制部150构成为,通过cpu 101及ram 102综合地对演奏控制装置100的动作进行控制。存储部180构成为,通过ram 102及储存器103对在控制部150中使用的各种数据进行存储。演奏控制装置100的cpu 101将储存器103所存储的程序81展开至ram 102,执行在ram 102展开的程序81所包含的命令。由此,演奏控制装置100(控制部150)作为计算机而进行动作,该计算机具有认证部151、演奏取得部152、影像取得部153及演奏代理160作为软件模块。
51.认证部151构成为,与推定装置300等外部装置协同动作而对用户(演奏者)进行认证。在一个例子中,认证部151构成为,将用户使用输入部104而输入的用户标识符及密码等认证数据发送至推定装置300,基于从推定装置300接收到的认证结果,对用户的访问进行许可或拒绝。此外,对用户进行认证的外部装置也可以是推定装置300以外的认证服务器。认证部151也可以构成为,将得到认证的(许可了访问的)用户的用户标识符供给至其他软件模块。
52.第1演奏者数据可以构成为包含由演奏者进行的第1演奏的演奏音、第1演奏数据及图像中的至少任意者。在上述中,演奏取得部152构成为,取得与由演奏者进行的第1演奏
的声音相关的第1演奏者数据。在一个例子中,演奏取得部152也可以取得由收音部106对第1演奏的声音进行收音而输出的电信号表示的演奏音的数据,作为第1演奏者数据。另外,演奏取得部152例如也可以将从电子乐器em供给来的表示第1演奏的第1演奏数据(例如,带时间戳的midi数据列)作为第1演奏者数据而取得。第1演奏者数据可以由表示演奏所包含的音的特性(例如,发音时刻及音高)的信息构成,也可以是表现出由演奏者进行的第1演奏的高维的时间序列数据的一种。演奏取得部152构成为,将与取得的声音相关的第1演奏者数据供给至演奏代理160。演奏取得部152也可以构成为将与声音相关的第1演奏者数据发送至推定装置300。
53.影像取得部153构成为取得与由演奏者进行的第1演奏的影像相关的第1演奏者数据。影像取得部153构成为,取得表示进行第1演奏的演奏者的影像的影像数据作为第1演奏者数据。在一个例子中,影像取得部153也可以作为第1演奏者数据而取得基于表示由拍摄部107拍摄到的第1演奏的演奏者的影像的电信号的影像数据。或者,影像数据可以由表示演奏的演奏者的动作的特征的动作数据构成,也可以是表现出由演奏者进行的演奏的高维的时间序列数据的一种。动作数据例如是时序性地取得了演奏者的整体像或骨骼(骨架)等的数据。此外,第1演奏者数据所包含的图像不限于影像(动态图像),也可以是静止图像。影像取得部153构成为,将所取得的与影像相关的第1演奏者数据供给至演奏代理160。影像取得部153也可以构成为将所取得的与影像相关的第1演奏者数据发送至推定装置300。
54.演奏代理160构成为,生成表示与演奏者的第1演奏并行地进行的第2演奏的第2演奏数据,基于所生成的第2演奏数据对演奏装置200的动作进行控制。演奏代理160也可以构成为基于演奏者的第1演奏涉及的第1演奏者数据而自动地进行第2演奏。演奏代理160例如也可以构成为,执行基于国际公开2018/070286号所公开的方法、“音響信号
によるリアルタイム
楽譜追跡

能動的演奏支援
システムに

する
研究(关于音响信号的实时乐谱追踪与主动演奏辅助系统的研究)”(酒向慎司(名古屋工业大学)、電気通信普及財団“研究調査助成報告書”第31号、2016年度)所公开的方法等任意方法的自动演奏控制。自动演奏(第2演奏)例如可以是针对第1演奏的伴奏,也可以是对旋律(counter-melody)。
55.在一个例子中,演奏代理160由具有根据当时的状态(例如,“两者(演奏者及演奏代理)的音量差”、“演奏代理的音量”、“演奏代理的节拍”、“两者的定时差”等)而决定所要执行的行动(例如,“将节拍提高1”、“将节拍降低1”、“将节拍降低10”、
···
、“将音量提高3”、“将音量提高1”、“将音量降低1”等)的多个内部参数的运算模型构成。演奏代理160也可以适当地构成为,基于上述多个内部参数决定与当时的状态相对应的行动(action),按照所决定的行动对当时进行的演奏进行变更。在本实施方式中,演奏代理160构成为,通过该运算模型而包含演奏解析部161及演奏控制部162。以下例示出非限定且概略的自动演奏控制。
56.演奏解析部161构成为,基于从演奏取得部152及影像取得部153供给的第1演奏涉及的第1演奏者数据,对演奏者当前正在演奏的乐曲上的位置即演奏位置进行推定。对由演奏解析部161进行的演奏位置的推定也可以与由演奏者进行的演奏并行地持续(例如,周期性地)执行。
57.在一个例子中,演奏解析部161也可以构成为,通过对第1演奏者数据表示的一系列的声音、和用于自动演奏的乐曲数据表示的一系列的音符进行比较,对演奏者的演奏位
置进行推定。乐曲数据包含与由演奏者进行的第1演奏(演奏者声部)对应的参照声部数据、和表示由演奏代理160进行的第2演奏(自动演奏声部)的自动声部数据。对于由演奏解析部161进行的演奏位置的推定,也可以适当采用任意的音乐解析技术(分数对齐(score alignment)技术)。
58.演奏控制部162构成为,以与由演奏解析部161推定出的演奏位置的进行(时间轴上的移动)同步的方式,基于乐曲数据内的自动演奏数据而自动生成表示第2演奏的第2演奏数据,将已生成的第2演奏数据供给至演奏装置200。由此,演奏控制部162也可以构成为,以与由演奏解析部161推定出的演奏位置的进行(时间轴上的移动)同步的方式,使演奏装置200执行与乐曲数据内的自动声部数据相对应的自动演奏。更具体而言,演奏控制部162也可以构成为以如下方式对演奏装置200进行控制,即,对自动声部数据表示的一系列的音符之中的、乐曲的推定出的演奏位置附近的音符赋予任意表现而生成第2演奏数据,执行按照所生成的第2演奏数据的自动演奏。即,演奏控制部162作为演奏数据变换器进行动作,该演奏数据变换器对自动声部数据(例如,带时间戳的midi数据列)赋予表现而对演奏装置200进行供给。这里的赋予表现与人类的演奏表现相类似,例如,可以将某个音符的定时稍微向前或向后移动、对某个音符赋予强音、在多个音符范围进行渐强或渐弱等。此外,演奏控制部162可以构成为,将所生成的第2演奏数据还供给至推定装置300。演奏装置200也可以适当构成为,与从演奏控制部162供给的第2演奏数据相对应地进行乐曲的自动演奏即第2演奏。
59.此外,演奏代理160(演奏解析部161及演奏控制部162)的结构不限定于上述例子。在另一个例子中,演奏代理160也可以构成为,不使用已有的乐曲数据,基于演奏者的第1演奏涉及的第1演奏者数据而即兴地生成第2演奏数据,将所生成的第2演奏数据供给至演奏装置200,由此使演奏装置200执行自动演奏(即兴演奏)。
60.(推定装置)
61.推定装置300具有控制部350及存储部380。控制部350构成为,通过cpu 301及ram 302综合地对推定装置300的动作进行控制。存储部380构成为,通过ram 302及储存器303对在控制部350中使用的各种数据(特别是,后述的满足度推定模型及感情推定模型)进行存储。推定装置300的cpu 301将储存器303所存储的程序83展开至ram 302,执行在ram 302展开的程序83所包含的命令。由此,推定装置300(控制部350)作为计算机而进行动作,该计算机具有认证部351、演奏取得部352、反应取得部353、满足度取得部354、数据前处理部355、模型训练部356、满足度推定部357及满足度输出部358作为软件模块。
62.认证部351构成为,与演奏控制装置100协同动作而对用户(演奏者)进行认证。在一个例子中,认证部351构成为,对从演奏控制装置100提供来的认证数据是否与存储部380所储存的认证数据是否一致进行判定,将认证结果(许可或拒绝)发送至演奏控制装置100。
63.演奏取得部352构成为,取得(接收)由演奏者进行的演奏的第1演奏数据及由被演奏代理160控制的演奏装置200进行的演奏的第2演奏数据。第1演奏数据及第2演奏数据分别是表示音符列的数据,也可以构成为对各音符的发音定时、音长、音高及强度进行规定。在本实施方式中,第1演奏数据可以是包含由演奏者进行的实际演奏的演奏数据、或包含从由演奏者进行的实际演奏提取出的特征的演奏数据(例如,是通过将提取出的特征赋予给简单的演奏数据而生成的演奏数据)。在一个例子中,演奏取得部352例如可以构成为,将从
电子乐器em供给的表示第1演奏的第1演奏数据从电子乐器em直接或经由演奏控制装置100而取得。在另一个例子中,演奏取得部352也可以构成为,使用收音部306或经由演奏控制装置100而取得表示第1演奏的演奏音,基于所取得的演奏音的数据而生成第1演奏数据。在其他一个例子中,演奏取得部352也可以构成为,从由演奏者进行的实际演奏提取出特征,针对没有赋予表现的演奏数据赋予所提取出的特征,由此生成第1演奏数据。对于生成该第1演奏数据的方法,例如可以使用国际公开2019/022118号所公开的方法。另外,在一个例子中,演奏取得部352例如也可以构成为,从演奏控制装置100或演奏装置200取得通过演奏代理160而生成的表示第2演奏的第2演奏数据。在另一个例子中,演奏取得部352也可以构成为,使用收音部306而取得表示第2演奏的演奏音,基于所取得的演奏音的数据而生成第2演奏数据。演奏取得部352也可以构成为,将所取得的第1演奏数据及第2演奏数据在共用的时间轴上进行关联而存储于存储部380。由某个时刻的第1演奏数据表示的第1演奏、及由与其相同时刻的第2演奏数据表示的第2演奏是同时进行的2个演奏(即,合奏)。演奏取得部352也可以构成为,将由认证部351认证的演奏者的用户标识符与上述第1演奏数据及第2演奏数据关联起来。
64.反应取得部353构成为取得表示进行第1演奏的演奏者的反应的反应数据。演奏者的反应也可以构成为包含合演的演奏者的语音、图像及生物体信息中的至少任意者。在一个例子中,反应取得部353可以构成为,基于由拍摄部307拍摄的、反映出合演中的演奏者的反应(表情等)的演奏者影像而取得反应数据。演奏者影像是演奏者的图像的一个例子。另外,反应取得部353也可以构成为,基于反映出演奏者的反应的演奏(第1演奏)及生物体信息中的至少任意者而取得反应数据。为了取得反应数据所使用的第1演奏例如可以是由演奏取得部352取得的第1演奏数据。为了取得反应数据所使用的生物体信息可以由在演奏者进行第1演奏时由生物体传感器308取得的1个或多个生物体信号(例如,心率、出汗量、血压等)构成。
65.满足度取得部354构成为,取得表示与演奏代理160(演奏装置200)的合演的演奏者的个人满足度(真值/正确)的满足度标签。在一个例子中,由满足度标签表示的满足度也可以根据由反应取得部353取得的反应数据而进行推定。在一个例子中,存储部380也可以预先保存表示由反应数据表示的值及满足度之间的对应关系的对应表数据,满足度取得部354也可以构成为,基于该对应表数据,根据由反应数据表示的演奏者的反应而取得满足度。在另一个例子中,对于满足度的推定,可以使用感情推定模型。感情推定模型可以适当构成为,具有根据演奏者的反应对满足度进行推定的能力。感情推定模型也可以由通过机器学习而生成的训练好的机器学习模型构成。对于感情推定模型例如可以采用神经网络等任意的机器学习模型。上述训练好的感情推定模型例如能够通过使用了由表示演奏者的反应的训练用的反应数据及表示满足度的真值的正确标签的组合分别构成的多个学习数据集的机器学习而生成。在该情况下,满足度取得部354构成为,将向表示演奏者的反应的反应数据输入至训练好的感情推定模型,执行训练好的感情推定模型的运算处理,由此取得从训练好的感情推定模型推定出满足度的结果。训练好的感情推定模型可以存储于存储部380。满足度取得部354也可以构成为,通过将满足度标签与由演奏取得部352取得的第1演奏数据及第2演奏数据相关联而生成数据集,将所生成的各数据集存储于存储部380。
66.数据前处理部355构成为,将向对演奏者的满足度进行推定的满足度推定模型输
入的数据(第1演奏数据、第2演奏数据等)以使得其成为适合于满足度推定模型的运算的方式进行前处理。数据前处理部355也可以构成为,通过任意方法(例如,基于和弦进行的乐句检测、使用了神经网络的乐句检测等),将第1演奏数据及第2演奏数据在共用的位置(时刻)分解为多个乐句。在此基础上,数据前处理部355也可以构成为对合演涉及的第1演奏数据及第2演奏数据进行解析而对合演特征量进行计算。合演特征量也可以是与由演奏者进行的第1演奏和由演奏代理160进行的第2演奏的合演相关的数据,例如由表现出如下特征的值构成。
67.-第1演奏和第2演奏之间的音高、音量及发音定时中的至少任意者的和谐性(或非和谐性)
68.-第1演奏及第2演奏的对应乐句的开头部、中间部、结尾部的音符定时的一致度或偏移倾向
69.-第1演奏及第2演奏的对应乐句的强拍位置及弱拍位置的一致度或偏移倾向
70.-第1演奏及第2演奏的对应乐句(特别是,减缓位置及渐快位置)的节奏变化曲线的一致度或偏移倾向
71.-第1演奏及第2演奏的对应乐句(特别是,渐强位置及渐弱位置)的音量变化曲线的一致度或偏移倾向
72.-与第1演奏及第2演奏的演奏记号(强、钢琴等)相对应的变化曲线(节奏、音量等)的一致度或偏移倾向
73.-由演奏代理进行的第2演奏的节奏相对于由演奏者进行的第1演奏的节奏的追随度
74.-由演奏代理进行的第2演奏的音量相对于由演奏者进行的第1演奏的音量的追随度
75.-第2演奏为即兴演奏或自动伴奏的情况下的第1演奏及第2演奏的音程列直方图
76.关于以上的合演特征量,与音符定时相关的“一致度”是在第1演奏和第2演奏中共用定时的拍子中的音符的开始定时的偏移的平均及方差。与变化曲线相关的“一致度”是被分类为变化类型(例如,渐缓、渐快、其他)并被标准化的变化曲线的形状的每个变化类型的相似度(例如,欧几里得距离)的平均。“追随度”例如是与国际公开2018/016637号所公开的“追随系数”或“耦合系数”相当的值。“音程列直方图”示出对每个音高的音符数进行计数的度数分布。
77.在训练阶段中,数据前处理部355构成为,将进行了前处理后的数据供给至模型训练部356。在推定阶段中,数据前处理部355构成为,将进行了前处理后的数据供给至满足度推定部357。
78.模型训练部356构成为,将从数据前处理部355供给的各数据集的第1演奏数据及第2演奏数据作为训练数据(输入数据)而使用,将满足度标签作为教师信号(正确数据)而使用,实施满足度推定模型的机器学习。训练数据可以由合演特征量构成,该合演特征量是通过第1演奏数据及第2演奏数据而计算的。在各数据集中,第1演奏数据及第2演奏数据也可以以预先变换为合演特征量的状态取得。满足度推定模型可以由具有多个参数的任意的机器学习模型构成。对于构成满足度推定模型的机器学习模型,例如可以使用由多层感知器构成的前馈型神经网络(ffnn)、隐马尔可夫模型(hmm)等。除此以外,对于构成满足度推
定模型的机器学习模型,例如也可以使用适合于时间序列数据的循环神经网络(rnn)、其衍生结构(长短期存储(lstm)、门控循环单元(gru)等)、卷积神经网络(cnn)等。
79.机器学习由如下处理构成:针对各数据集,使用满足度推定模型,以使得根据第1演奏数据及第2演奏数据推定出演奏者的满足度的结果适合于由满足度标签表示的满足度(真值/正确)的方式,对满足度推定模型进行训练。在本实施方式中,机器学习也可以由如下处理构成:针对各数据集,以使得根据基于第1演奏数据及第2演奏数据计算出的合演特征量推定出演奏者的满足度的结果适合于由满足度标签表示的满足度的方式,对满足度推定模型进行训练。机器学习的方法可以根据所采用的机器学习模型的种类而适当选择。通过机器学习而生成的训练好的满足度推定模型也可以以学习结果数据的形式适当保存于存储部380等存储区域。
80.满足度推定部357具有由模型训练部356生成的训练好的满足度推定模型。满足度推定部357构成为,使用训练好的满足度推定模型,根据推论时所取得的第1演奏数据及第2演奏数据,对演奏者的满足度进行推定。在本实施方式中,进行推定的处理可以由如下处理构成:使用训练好的满足度推定模型,根据基于第1演奏数据及第2演奏数据计算出的合演特征量,对演奏者的满足度进行推定。在一个例子中,满足度推定部357将从数据前处理部355供给的合演特征量作为输入数据而输入至训练好的满足度推定模型,执行训练好的满足度推定模型的运算处理。通过该运算处理,满足度推定部357从训练好的满足度推定模型取得与根据所输入的合演特征量推定出演奏者的满足度的结果相对应的输出。所推定出的满足度(满足度的推定结果)被供给至满足度输出部358。
81.满足度输出部358构成为,输出与由满足度推定部357推定出满足度的结果(所推定出的满足度)相关的信息。输出目标及输出形式可以根据实施方式而适当选择。在一个例子中,输出与满足度的推定结果相关的信息的处理例如可以由如下处理构成:向输出部305等输出装置单纯地输出表示推定结果的信息。在其他一个例子中,输出与满足度的推定结果相关的信息的处理可以由如下处理构成:基于推定出满足度的结果而执行各种控制处理。对于由满足度输出部358进行的具体控制例,将后述。
82.(其他)
83.在本实施方式中,说明了演奏控制装置100及推定装置300的各软件模块都通过通用的cpu实现的例子。但是,上述软件模块的一部分或全部可以通过1个或多个专用的处理器实现。上述各模块也可以作为硬件模块而实现。另外,关于演奏控制装置100及推定装置300各自的软件结构,也可以根据实施方式而适当进行软件模块的省略、置换及追加。
84.<4.动作例>
85.(满足度推定模型的训练处理)
86.图5是示出由本实施方式涉及的信息处理系统s进行的满足度推定模型的训练处理的一个例子的流程图。以下的处理流程是训练好的模型的建立方法的一个例子。但是,以下的处理流程不过是一个例子,各步骤只要可能则可以变更。另外,关于以下的处理流程,可以根据实施方式而适当地进行步骤的省略、置换及追加。
87.在步骤s510中,推定装置300的cpu 301取得多个数据集,该多个数据集分别由演奏者所进行的第1演奏的第1演奏数据、与第1演奏一起进行的第2演奏的第2演奏数据、及构成为表示演奏者的满足度的满足度标签的组合构成。cpu 301可以将所取得的各数据集储
存于存储部380。
88.在本实施方式中,cpu 301可以作为演奏取得部352而进行动作,取得由演奏者进行的第1演奏的第1演奏数据及第2演奏的第2演奏数据。在本实施方式中,第2演奏也可以是由与演奏者合演的演奏代理160(演奏装置200)进行的演奏。演奏控制装置100的cpu 101可以作为演奏解析部161及演奏控制部162而进行动作,从而通过演奏代理160自动地进行基于演奏者的第1演奏涉及的第1演奏者数据的第2演奏。cpu 101也可以作为演奏取得部152及影像取得部153中的至少任意者而进行动作,取得第1演奏者数据。所取得的第1演奏者数据可以构成为包含由演奏者进行的第1演奏的演奏音、第1演奏数据及图像中的至少任意者。图像可以以拍摄出第1演奏时的演奏者的方式适当取得。图像可以是动态图像(影像),或者也可以是静止图像。
89.另外,cpu 301可以适当取得满足度标签。在一个例子中,cpu 301也可以通过演奏者经由输入部304等输入装置的输入而直接取得满足度标签。在另一个例子中,cpu 301可以根据由训练用的第1演奏数据表示的第1演奏时的演奏者的反应而取得满足度。在该情况下,cpu 301作为反应取得部353而进行动作,取得表示第1演奏时的演奏者的反应的反应数据,将所取得的反应数据供给至满足度取得部354。cpu 301也可以根据反应数据以任意方法(例如,基于规定算法的运算)取得满足度。cpu 301可以通过使用上述感情推定模型,从而根据由反应数据表示的演奏者的反应对满足度进行推定。满足度标签可以构成为表示所推定出的满足度。此外,“第1演奏时”可以包含第1演奏期间及第1演奏结束后的余音残留期间。演奏者的反应可以包含合演的演奏者的语音、图像及生物体信息中的至少任意者。
90.取得第1演奏数据、第2演奏数据及满足度标签的顺序及定时可以不特别限定,也可以根据实施方式而适当决定。取得的数据集的件数也可以适当决定为对于满足度推定模型的机器学习而充分。
91.在步骤s520中,cpu 301作为数据前处理部355而进行动作,针对从演奏取得部352供给的各数据集的第1演奏数据及第2演奏数据执行前处理。该前处理包含基于各数据集的第1演奏数据及第2演奏数据对合演特征量进行计算。cpu 301将前处理后的合演特征量及满足度标签供给至模型训练部356。此外,在步骤s510中得到的各数据集的第1演奏数据及第2演奏数据被预先变换为合演特征量的情况下,也可以省略步骤s520的处理。
92.在步骤s530中,cpu 301作为模型训练部356而进行动作,使用所取得的各数据集,实施满足度推定模型的机器学习。在本实施方式中,cpu 301可以针对各数据集,以使得根据基于第1演奏数据及第2演奏数据计算出的合演特征量推定出演奏者的满足度的结果适合于由满足度标签表示的满足度的方式,对满足度推定模型进行训练。作为该机器学习的结果,生成获得了根据第1演奏数据及第2演奏数据(合演特征量)对演奏者的满足度进行推定的能力的训练好的满足度推定模型。
93.在步骤s540中,cpu 301对上述机器学习的结果进行保存。在一个例子中,cpu 301也可以生成表示训练好的满足度推定模型的学习结果数据,将所生成的学习结果数据保存于存储部380等存储区域。在该机器学习是追加学习或再学习的情况下,cpu 301可以通过新生成的学习结果数据,对在存储部380等存储区域保存的学习结果数据进行更新。
94.通过上述,本动作例涉及的满足度推定模型的训练处理结束。上述训练处理可以定期地执行,或者也可以根据来自用户(演奏控制装置100)的请求而执行。此外,在执行步
骤s510的处理之前,演奏控制装置100的cpu 101及推定装置300的cpu 301分别作为认证部(151、351)而进行动作,对演奏者进行认证。由此,也可以对得到认证的演奏者的数据集进行收集,生成训练好的满足度推定模型。
95.(推定处理)
96.图6是示出由本实施方式涉及的信息处理系统s进行的推定处理的一个例子的流程图。以下的处理流程是推定方法的一个例子。但是,以下的处理流程不过是一个例子,各步骤只要可能则可以变更。另外,关于以下的处理流程,可以根据实施方式而适当地进行步骤的省略、置换及追加。
97.在步骤s610中,推定装置300的cpu 301作为演奏取得部352而进行动作,取得由演奏者进行的第1演奏的第1演奏数据及与第1演奏一起进行的第2演奏的第2演奏数据,将所取得的第1演奏数据及第2演奏数据供给至数据前处理部355。与训练阶段相同地,推定阶段的第2演奏也可以是由与演奏者合演的演奏代理160(演奏装置200)进行的演奏。
98.在步骤s620中,cpu 301作为数据前处理部355而进行动作,针对从演奏取得部352供给的第1演奏数据及第2演奏数据而执行前处理。该前处理包含基于所取得的第1演奏数据及第2演奏数据对合演特征量进行计算。cpu 301将前处理后的数据(合演特征量)供给至满足度推定部357。此外,合演特征量的计算也可以由其他计算机预先执行。在该情况下,可以省略步骤s620的处理。
99.在步骤s630中,cpu 301作为满足度推定部357而进行动作,使用通过上述机器学习而生成的训练好的满足度推定模型,根据基于所取得的第1演奏数据及第2演奏数据计算出的合演特征量,对演奏者的满足度进行推定。在一个例子中,cpu 301针对存储部380所保存的训练好的满足度推定模型,将从数据前处理部355供给来的合演特征量作为输入数据而输入,执行训练好的满足度推定模型的运算处理。作为该运算处理的结果,cpu 301从训练好的满足度推定模型取得与根据合演特征量推定出演奏者的个人满足度的结果对应的输出。所推定出的满足度从满足度推定部357被供给至满足度输出部358。
100.在步骤s640中,cpu 301作为满足度输出部358而进行动作,输出与推定出满足度的结果相关的信息。输出目标及输出形式可以根据实施方式而适当选择。在一个例子中,cpu 301可以将表示推定结果的信息直接向输出部305等输出装置输出。在另一个例子中,cpu 301也可以基于推定出满足度的结果而执行各种控制处理,作为该输出处理。对于控制处理的具体例,通过其他实施方式详细说明。
101.通过上述,本动作例涉及的推定处理结束。上述步骤s610~步骤s640的处理可以与演奏者进行合演相对应地,与将第1演奏数据及第2演奏数据输入至推定装置300并行地实时执行。或者,上述步骤s610~步骤s640的处理也可以在进行了合演之后,针对推定装置300等所存储的第1演奏数据及第2演奏数据而事后执行。
102.(特征)
103.根据本实施方式,能够通过上述训练处理,生成训练好的满足度推定模型,该训练好的满足度推定模型能够适当地对第1演奏的演奏者针对与由演奏者进行的第1演奏一起进行的第2演奏的满足度进行推定。另外,在上述推定处理中,能够通过使用如上所述生成的训练好的满足度推定模型,适当地对演奏者的满足度进行推定。
104.另外,通过步骤s520及步骤s620的前处理将针对满足度推定模型的输入数据(第1
演奏数据及第2演奏数据)变换为合演特征量,从而能够减小输入数据的信息量,并且满足度推定模型能够可靠地捕捉合演的特征。因此,能够更适当地对满足度进行推定,并且降低满足度推定模型的运算处理的负荷。
105.另外,在本实施方式中,第2演奏也可以基于由演奏者进行的第1演奏涉及的第1演奏者数据,通过演奏代理160而自动地进行。另外,第1演奏者数据也可以包含由演奏者进行的第1演奏的演奏音、演奏数据及图像中的至少任意者。由此,能够通过演奏代理160自动地生成适合于第1演奏的第2演奏数据,因此能够削减生成第2演奏数据的工时,并且能够生成能够经由第2演奏对演奏者针对演奏代理160的满足度进行推定的训练好的满足度推定模型。
106.另外,在本实施方式中,由满足度标签表示的满足度可以根据演奏者的反应而取得。对于满足度的取得,可以使用感情推定模型。由此,能够削减取得上述多个数据集的工时。因此,能够实现满足度推定模型的机器学习所涉及的成本的降低。
107.<5.第2实施方式>
108.以下,对本发明的第2实施方式进行说明。在以下所例示的各实施方式中,对于作用、动作与第1实施方式相同的结构要素,沿用以上说明中参照的标号,有时适当省略各自的说明。
109.上述第1实施方式涉及的信息处理系统s构成为,通过机器学习而生成训练好的满足度推定模型,使用所生成的训练好的满足度推定模型,对演奏者针对演奏代理160的个人满足度进行推定。在第2实施方式中,信息处理系统s构成为,对演奏者针对多个演奏代理的满足度进行推定,基于所推定出的满足度,从多个演奏代理之中对适合于演奏者的演奏代理进行推荐。
110.即,在第2实施方式中,使用具有各不相同的演奏表现特性(节奏、音量相对于第1演奏的追随性等)的、即至少一部分的内部参数的值不同的多个演奏代理。在一个例子中,1台演奏控制装置100可以具有多个演奏代理160。在另一个例子中,多个演奏控制装置100各自也可以具有1个以上的演奏代理160。在本实施方式的以下例子中,为了便于说明,设想为采用1台的演奏控制装置100具有多个演奏代理160的结构。除了上述方面,第2实施方式也可以与上述第1实施方式相同地构成。
111.图7是表示由第2实施方式涉及的信息处理系统s进行的推荐处理的一个例子的时序图。以下的处理流程是演奏代理的推荐方法的一个例子。但是,以下的处理流程不过是一个例子,各步骤只要可能则可以变更。另外,关于以下的处理流程,可以根据实施方式而适当地进行步骤的省略、置换及追加。
112.在步骤s710中,演奏控制装置100的cpu 101针对多个演奏代理160各自,供给由演奏者进行的第1演奏涉及的第1演奏者数据,由此生成与各演奏代理160分别对应的多件的第2演奏的第2演奏数据。更具体而言,cpu 101与上述第1实施方式相同地,作为各演奏代理160的演奏解析部161及演奏控制部162而进行动作,根据第1演奏者数据而生成与各演奏代理160对应的第2演奏数据。cpu 101可以通过将各演奏代理160的第2演奏数据适当供给至演奏装置200,从而针对演奏装置200执行自动演奏(第2演奏)。所生成的各演奏代理160的第2演奏数据被供给至推定装置300。
113.在步骤s720中,推定装置300的cpu 301作为演奏取得部352而进行动作,取得由演
301作为满足度输出部358而进行动作,将表示推定出满足度的结果的信息供给至演奏控制装置100。
124.在步骤s840中,演奏控制装置100的cpu 101对在生成第2演奏数据时使用的演奏代理160的内部参数的值进行变更。第3实施方式涉及的信息处理系统s迭代执行上述生成的处理(步骤s810)、进行推定的处理(步骤s830)、及进行变更的处理(步骤s840),从而以使得所推定的满足度变高的方式对演奏代理160的内部参数的值进行调整。在一个例子中,在迭代执行的步骤s840的处理中,cpu 101也可以使演奏代理160的多个内部参数各自的值随机地逐渐推移。由此,在通过步骤s830的处理推定出的满足度高于在之前的迭代处理中推定出的满足度的情况下,cpu 101可以将在之前的迭代处理中使用的内部参数的值废弃,采用该处理的内部参数的值。除此以外,信息处理系统s也可以通过任意方法(例如,价值迭代法、策略迭代法等),迭代进行上述一系列的处理,由此以使得所推定的满足度变高的方式对演奏代理160的内部参数的值进行调整。
125.根据第3实施方式,使用通过上述机器学习而生成的训练好的满足度推定模型,由此能够对演奏者针对演奏代理160的满足度进行推定。而且,通过使用该满足度的推定结果,从而能够以演奏者针对由演奏代理160进行的第2演奏的满足度提高的方式,对该演奏代理160的内部参数的值进行调整。由此,能够削减生成适合于演奏者的演奏代理160的工时。
126.<7.变形例>
127.以上,对本发明的实施方式详细进行了说明,但前述的说明在所述方面不过是本发明的例示。当然可以在不脱离本发明的范围的前提下进行各种改良或变形。例如,可以如以下那样变更。此外,以下的变形例可以适当组合。
128.在上述实施方式中,第2演奏可以由演奏代理160自动进行。但是,第2演奏可以不限定于上述例子。在另一个例子中,第2演奏也可以由进行第1演奏的演奏者以外的其他人(第2演奏者)进行。根据本变形例,能够生成对演奏者针对实际的由其他演奏者进行的第2演奏的满足度进行推定的训练好的满足度推定模型。另外,能够使用所生成的训练好的满足度推定模型,适当地对演奏者针对实际的由其他演奏者进行的第2演奏的满足度进行推定。
129.另外,在上述实施方式中,满足度推定模型构成为,接受基于第1演奏数据及第2演奏数据计算出的合演特征量的输入。但是,满足度推定模型的输入形式也可以不限定于上述例子。在另一个例子中,对于满足度推定模型,也可以输入作为时序数据的第1演奏数据及第2演奏数据。在其他一个例子中,对于满足度推定模型,也可以输入对第1演奏数据和第2演奏数据进行对比而导出的时序数据(例如,差分时序)。在该情况下,在上述各处理流程中,也可以省略步骤s520及步骤s620。
130.在上述实施方式中,信息处理系统s具有演奏控制装置100、演奏装置200、推定装置300及电子乐器em,作为单独的装置。但是,上述装置之中的至少任意多个装置也可以一体地构成。在另一个例子中,演奏控制装置100及演奏装置200可以一体地构成。或者,演奏控制装置100及推定装置300也可以一体地构成。
131.另外,在上述实施方式中,推定装置300构成为,执行训练处理及推定处理这两者。但是,训练处理及推定处理也可以分别由单独的计算机执行。在该情况下,也可以在任意定
时从执行训练处理的第1计算机向执行推定处理的第2计算机提供训练好的满足度推定模型(学习结果数据)。第1计算机及第2计算机的数量可以根据实施方式适当地决定。第2计算机能够使用从第1计算机提供的训练好的满足度推定模型而执行推定处理。
132.此外,上述各存储介质(91、93)可以由计算机可读取的非暂时性的记录介质构成。另外,程序(81、83)可以经由传输介质等进行供给。此外,“计算机可读取的非暂时性的记录介质”例如在经由互联网、电话线路等通信网络而发送了程序的情况下,还可以包含例如如构成服务器、客户端等的计算机系统内部的易失性存储器(例如dram(dynamic random access memory))那样将程序保存一定时间的记录介质。
133.标号的说明
134.100

演奏控制装置,150

控制部,180

存储部,200

演奏装置,300

推定装置,350

控制部,380

存储部,em

电子乐器,s

信息处理系统

技术特征:


1.一种训练好的模型的建立方法,其是通过计算机实现的,具有如下处理:取得由演奏者进行的第1演奏的第1演奏数据、与所述第1演奏一起进行的第2演奏的第2演奏数据、及构成为表示所述演奏者的满足度的满足度标签的组合分别构成的多个数据集,使用所述多个数据集,实施满足度推定模型的机器学习,所述机器学习由如下处理构成:针对各所述数据集,以使得根据所述第1演奏数据及所述第2演奏数据推定出所述演奏者的满足度的结果适合于由所述满足度标签表示的满足度的方式对所述满足度推定模型进行训练。2.根据权利要求1所述的训练好的模型的建立方法,其中,所述第2演奏是由与所述演奏者合演的演奏代理进行的演奏,所述机器学习由如下处理构成:针对各所述数据集,以使得根据基于所述第1演奏数据及所述第2演奏数据计算出的合演特征量推定出所述演奏者的满足度的结果适合于由所述满足度标签表示的满足度的方式对所述满足度推定模型进行训练。3.根据权利要求2所述的训练好的模型的建立方法,其中,所述第2演奏是所述演奏代理基于所述演奏者的所述第1演奏涉及的第1演奏者数据而自动地进行的。4.根据权利要求3所述的训练好的模型的建立方法,其中,所述第1演奏者数据包含由所述演奏者进行的第1演奏的演奏音、演奏数据及图像中的至少任意者。5.根据权利要求1至4中任一项所述的训练好的模型的建立方法,其中,所述满足度标签构成为,表示通过使用感情推定模型而根据所述演奏者的反应推定出的满足度。6.根据权利要求5所述的训练好的模型的建立方法,其中,所述演奏者的反应包含所述合演的演奏者的语音、图像及生物体信息中的至少任意者。7.一种推定方法,其是通过计算机实现的,具有如下处理:取得由演奏者进行的第1演奏的第1演奏数据及与所述第1演奏一起进行的第2演奏的第2演奏数据,使用通过机器学习而生成的训练好的满足度推定模型,根据所取得的所述第1演奏数据及所述第2演奏数据对所述演奏者的满足度进行推定,输出与推定出所述满足度的结果相关的信息。8.根据权利要求7所述的推定方法,其中,所述第2演奏是由与所述演奏者合演的演奏代理进行的演奏,进行所述推定的处理由如下处理构成:使用所述训练好的满足度推定模型,根据基于所述第1演奏数据及所述第2演奏数据而计算出的合演特征量,对所述演奏者的满足度进行推定。9.根据权利要求8所述的推定方法,其中,
所述第2演奏是由所述演奏代理基于由所述演奏者进行的第1演奏涉及的第1演奏者数据而自动进行的。10.根据权利要求9所述的推定方法,其中,所述第1演奏者数据包含由所述演奏者进行的第1演奏的演奏音、演奏数据及图像中的至少任意者。11.根据权利要求7至10中任一项所述的推定方法,其中,所述第1演奏数据是由所述演奏者进行的实际演奏的演奏数据、或者包含从由所述演奏者进行的实际演奏提取出的特征的演奏数据。12.一种演奏代理的推荐方法,其是通过计算机实现的,具有如下处理:通过针对多个演奏代理分别供给所述第1演奏涉及的第1演奏者数据,从而生成多件的第2演奏的第2演奏数据,通过权利要求8至11中任一项所述的推定方法,使用训练好的满足度推定模型对所述演奏者针对所述多个演奏代理各自的满足度进行推定,基于针对所推定出的所述多个演奏代理各自的所述满足度,从所述多个演奏代理之中选择所要推荐的演奏代理。13.一种调整方法,其是通过计算机实现的,具有如下处理:通过对所述演奏代理供给所述第1演奏涉及的第1演奏者数据,从而生成第2演奏的第2演奏数据,通过权利要求8至11中任一项所述的推定方法,使用所述满足度推定模型,对所述演奏者针对所述演奏代理的满足度进行推定,对在生成所述第2演奏数据时使用的所述演奏代理的内部参数的值进行变更,进行所述生成的处理是通过迭代执行进行所述推定及进行所述变更,从而以所述满足度变高的方式对所述内部参数的值进行调整。14.一种训练好的模型的建立系统,其是训练好的模型生成系统,具有处理器资源和存储器资源,该存储器资源对通过所述处理器资源执行的程序进行保存,在该训练好的模型的建立系统中,所述处理器资源构成为,通过执行所述程序而取得由演奏者进行的第1演奏的第1演奏数据、与所述第1演奏一起进行的第2演奏的第2演奏数据、及构成为表示所述演奏者的满足度的满足度标签的组合分别构成的多个数据集,使用所述多个数据集,实施满足度推定模型的机器学习,所述机器学习由如下处理构成:针对各所述数据集,以使得根据所述第1演奏数据及所述第2演奏数据推定出所述演奏者的满足度的结果适合于由所述满足度标签表示的满足度的方式对所述满足度推定模型进行训练。15.一种推定系统,其是训练好的模型生成系统,具有处理器资源和存储器资源,该存储器资源对通过所述处理器资源执行的程序进行保存,在该推定系统中,
所述处理器资源构成为,通过执行所述程序而取得由演奏者进行的第1演奏的第1演奏数据及与所述第1演奏一起进行的第2演奏的第2演奏数据,使用通过机器学习而生成的训练好的满足度推定模型,根据所取得的所述第1演奏数据及所述第2演奏数据对所述演奏者的满足度进行推定,输出与推定出所述满足度的结果相关的信息。16.一种训练好的模型的建立程序,其用于使计算机执行如下处理:取得由演奏者进行的第1演奏的第1演奏数据、与所述第1演奏一起进行的第2演奏的第2演奏数据、及构成为表示所述演奏者的满足度的满足度标签的组合分别构成的多个数据集,使用所述多个数据集,实施满足度推定模型的机器学习,所述机器学习由如下处理构成:针对各所述数据集,以使得根据所述第1演奏数据及所述第2演奏数据推定出所述演奏者的满足度的结果适合于由所述满足度标签表示的满足度的方式对所述满足度推定模型进行训练。17.一种推定程序,其用于使计算机执行如下处理:取得由演奏者进行的第1演奏的第1演奏数据及与所述第1演奏一起进行的第2演奏的第2演奏数据,使用通过机器学习而生成的训练好的满足度推定模型,根据所取得的所述第1演奏数据及所述第2演奏数据对所述演奏者的满足度进行推定,输出与推定出所述满足度的结果相关的信息。

技术总结


本发明的一个方面涉及的通过计算机实现的训练好的模型的建立方法具有如下处理:取得由演奏者进行的第1演奏的第1演奏数据、与第1演奏一起进行的第2演奏的第2演奏数据、及表示演奏者的满足度的满足度标签的组合分别构成的多个数据集,使用多个数据集,实施满足度推定模型的机器学习。在机器学习中,满足度推定模型针对各数据集,以使得根据第1演奏数据及第2演奏数据推定出演奏者的满足度的结果适合于满足度标签的方式进行训练。于满足度标签的方式进行训练。于满足度标签的方式进行训练。


技术研发人员:

前泽阳 石川克己

受保护的技术使用者:

雅马哈株式会社

技术研发日:

2021.03.09

技术公布日:

2022/11/4

本文发布于:2022-11-29 10:36:40,感谢您对本站的认可!

本文链接:https://patent.en369.cn/patent/4/12841.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:演奏者   数据   所述   装置
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 369专利查询检索平台 豫ICP备2021025688号-20 网站地图