解码装置、解码方法、程序、编码装置和编码方法与流程

阅读：评论：0

1.本技术涉及用于对编码的触觉信号进行解码的解码装置及其方法、以及用于解码装置的程序和用于对触觉信号进行编码的编码装置及其方法和用于编码装置的程序。

背景技术：

2.现在正在开发其中由用户佩戴的设备振动以向用户施加触觉刺激的技术。在这种技术中，触觉刺激是指使用振动现象等使用户感受触感的物理现象。此外，产生触觉刺激被称为触觉呈现。
3.使用这样的触觉呈现的技术被不同领域中的各种设备利用。在一个实例中，设置有触摸面板的终端设备(诸如，智能电话)响应于用户的触摸操作而使触摸面板振动以向用户的手指施加触觉刺激，从而允许呈现与显示在触摸面板上的按钮等接触时的触摸感觉。此外，例如，用于听音乐的设备(诸如耳机)可以在播放音乐时施加触觉刺激，以强调正在播放的音乐中的深低音声音。此外，例如，提供计算机游戏、虚拟现实(vr)等的设备可以使控制器等振动以响应于控制器的操作或内容的场景施加触觉刺激，增强用户对内容的沉浸体验。
4.此外，已开发出用于基于从外部设备接收的触觉信号将触觉刺激施加给用户的技术。在一个实例中，下面提到的专利文献1公开了在基于接收的信号改变振动的频率和振幅的同时向用户施加触觉刺激的技术。
5.引用列表
6.专利文献
7.专利文献1：日本专利申请公开号2016-202486

技术实现要素：

8.本发明要解决的问题
9.在该参考文献中，设想为再现触觉信息的触觉再现系统提供多个触觉呈现设备，并且触觉刺激被施加至人体的多个部位。
10.然而，触觉刺激被施加至的部位的增加的数量将增加用于触觉信号的通道的数量，从而导致数据量的增加。触觉信号数据量的增加不期望地引起与触觉再现相关的处理负荷、传输延迟等的增加。
11.本技术是考虑到上述情况而做出的，并且旨在增强触觉再现性的同时减少触觉信号的数据量。
12.问题的解决方案
13.根据本技术的解码装置包括：第一解码单元，被配置为对于通过对触觉信号进行编码而获得的编码数据，解码作为触觉信号中的第一频带的信号的第一频带信号，编码数据包括通过对第一频带信号进行编码而获得的数据以及触觉强度信息，触觉强度信息指示触觉信号中不同于第一频带的第二频带的触觉强度，第二解码单元，被配置为基于编码数
据中的触觉强度信息解码作为触觉信号中的第二频带的信号的第二频带信号；以及合成单元，用于合成第一解码单元解码后的第一频带信号和第二解码单元解码后的第二频带信号。
14.对于由根据本技术的编码装置产生的编码数据，该配置使得可以解码与第二频带有关的触觉信号，同时减少或防止触觉再现性的劣化。
15.在上述根据本技术的解码装置中，可以设想，第一频带被设置为低于第二频带的频率范围中的频带。
16.对于预定频率或更大的频带中的触觉信号，人体相对容易地感知触觉强度的变化，但是相对困难地感知频率的变化。
17.在上述根据本技术的解码装置中，可以设想，针对第二频带中的每个频率计算触觉强度信息，并且第二解码单元基于由为每个频率计算的触觉强度信息指示的触觉强度的总值来解码第二频带信号。
18.该配置使得可以基于编码之前的第二频带信号中的每个频率的触觉强度来再现适当的触觉强度作为第二频带的触觉强度。
19.在上述根据本技术的解码装置中，可以设想，为第二频带中的一个或多个主频率计算触觉强度信息，并且第二解码单元基于由为主频率计算的触觉强度信息指示的触觉强度来解码第二频带信号。
20.该配置使得可以基于编码之前的第二频带信号中的主频率的触觉强度来再现适当的触觉强度作为第二频带的触觉强度。
21.在上述根据本技术的解码装置中，可以设想，第二解码单元将触觉强度信息指示的触觉强度转换为信号振幅并且产生具有转换后的信号振幅的周期信号作为第二频带信号的解码信号，周期信号的信号频率被设置为第二频带中的频率。
22.对于由根据本技术的编码装置产生的编码数据，该配置使得可以解码第二频带信号以减少或防止触觉再现性的劣化。
23.在上述根据本技术的解码装置中，可以设想，周期信号具有与触觉呈现设备的谐振频率基本匹配的频率。
24.该配置使得能够提高驱动触觉呈现设备的效率。此外，本文中的触觉呈现设备是指基于由根据本技术的解码器获得的触觉信号执行触觉呈现的设备。
25.在上述根据本技术的解码装置中，可以设想，周期信号具有基于人体的触觉敏感度特性设置的频率。
26.该配置使得可以将周期信号的频率设置为人体具有高触觉敏感度的频率，提高驱动触觉呈现设备的效率。
27.在上述根据本技术的解码装置中，可以设想，周期信号具有基于人体的听觉敏感度特性设置的频率。
28.该配置使得可以将周期信号的频率设置为人体具有低听觉敏感度的频率，从而减少通过驱动触觉呈现设备出现的噪声。
29.在上述根据本技术的解码装置中，可以设想，第二解码单元基于操作设置周期信号的频率。
30.该配置使得用户可以可选地选择周期信号的频率。
31.此外，根据本技术的解码方法包括：第一解码步骤，对于通过对触觉信号进行编码而获得的编码数据，解码作为触觉信号中的第一频带的信号的第一频带信号，编码数据包括通过对第一频带信号进行编码而获得的数据以及触觉强度信息，触觉强度信息指示触觉信号中不同于第一频带的第二频带的触觉强度；第二解码步骤，基于编码数据中的触觉强度信息对作为触觉信号中的第二频带的信号的第二频带信号进行解码；以及合成步骤，合成在第一解码步骤中解码的第一频带信号和在第二解码步骤中解码的第二频带信号。
32.甚至这种解码方法也可实现与通过根据上述本技术的解码器获得的操作类似的操作。
33.此外，根据本技术的第一程序是使信息处理设备实现如下的程序：第一解码功能，对于通过对触觉信号进行编码而获得的编码数据，对作为触觉信号中的第一频带的信号的第一频带信号进行解码，编码数据包括通过对第一频带信号进行编码而获得的数据和指示触觉信号中的与第一频带不同的第二频带的触觉强度的触觉强度信息；第二解码功能，基于编码数据中的触觉强度信息对作为触觉信号中的第二频带的信号的第二频带信号进行解码；以及合成功能，合成通过第一解码功能解码的第一频带信号和通过第二解码功能解码的第二频带信号。
34.根据本技术的这种第一程序允许实现上述根据本技术的解码装置。
35.根据本技术的编码装置包括：频带分割单元，被配置为将触觉信号分割为作为第一频带的信号的第一频带信号和作为与第一频带不同的第二频带的信号的第二频带信号；第一编码单元，其被配置为对第一频带信号进行编码；触觉强度计算单元，其被配置为基于第二频带信号计算指示第二频带的触觉强度的触觉强度信息，和编码数据产生单元，被配置为产生包括触觉强度信息和通过对第一频带信号进行编码而获得的数据的编码数据。
36.该配置使得可以使用人体的敏感度特性来提高触觉信号信息的压缩效率。敏感度特性是指易于感知预定频带中的触觉强度变化和频率变化两者，但是在另一频带中，触觉强度变化易于感知，并且频率变化难以感知。
37.在上述根据本技术的编码装置中，可以设想，第一频带被设置为低于第二频带的频率范围中的频带。
38.对于预定频率或更大的频带中的触觉信号，人体相对容易地感知触觉强度的变化，但是相对困难地感知频率的变化。
39.在上述根据本技术的编码装置中，可以设想，第一频带和第二频带具有在第一频带和第二频带之间可变的分割频率。
40.使分割频率可变使得可以调整由于编码引起的数据减少的效果与减小或防止触觉再现性的降低的效果之间的平衡。
41.在上述根据本技术的编码器中，可以设想，频带分割单元根据与外部设备通信的稳定性改变分割频率。
42.该配置使得可以在与编码数据传输至的外部设备的通信不稳定时，改变分割频率以增强数据减少效果，即，降低通信数据的比特速率。相反，在稳定通信时，可以改变分割频率以改善触觉再现性。
43.在上述根据本技术的编码装置中，可以设想，在通信稳定性较低的情况下而不是在通信稳定性较高的情况下，频带分割单元降低分割频率。
44.该配置使得能够改变分割频率以增强数据减少效果，即，在不稳定通信时降低通信数据的比特速率。相反，在稳定通信时，可以改变分割频率以改善触觉再现性。
45.在上述根据本技术的编码装置中，可以设想，触觉强度计算单元计算针对第二频带中的每个频率的触觉强度信息。
46.该配置使得可以基于编码之前的第二频带信号中的每个频率的触觉强度来再现适当的触觉强度作为第二频带的触觉强度。
47.在上述根据本技术的编码装置中，可设想，触觉强度计算单元计算第二频带中的仅一个或多个主频率的触觉强度信息。
48.该配置使得可以基于编码之前的第二频带信号中的主频率的触觉强度来再现适当的触觉强度作为第二频带的触觉强度。
49.此外，根据本技术的编码方法包括：频带分割步骤，将触觉信号分割为作为第一频带的信号的第一频带信号和作为与第一频带不同的第二频带的信号的第二频带信号；第一编码步骤，对第一频带信号进行编码；触觉强度计算步骤，基于第二频带信号计算指示第二频带的触觉强度的触觉强度信息；以及编码数据产生步骤，产生包括触觉强度信息和通过编码第一频带信号获得的数据的编码数据。
50.甚至这种编码方法也可实现与通过根据上述本技术的编码装置获得的操作类似的操作。
51.此外，根据本技术的第二程序是使信息处理设备实现如下的程序：频带分割功能，将触觉信号分成作为第一频带的信号的第一频带信号和作为与第一频带不同的第二频带的信号的第二频带信号；第一编码功能，对第一频带信号进行编码；触觉强度计算功能，基于第二频带信号计算指示第二频带的触觉强度的触觉强度信息；以及编码数据产生功能，产生包括触觉强度信息和通过编码第一频带信号获得的数据的编码数据。
52.根据本技术的这种第二程序允许实现上述根据本技术的编码器。
附图说明
53.图1示出了根据本技术的实施方式的包括编码器和解码器的触觉再现系统的示例性配置。
54.图2为示出描述作为实施方式的编码器的示例性内部配置的示图。
55.图3是示出了作为第一实施方式的播放设备的示例性内部配置的示图。
56.图4为示出描述作为实施方式的解码器的示例性内部配置的示图。
57.图5是示出描述触觉再现系统的使用实例的示图。
58.图6是示出描述振动检测阈值曲线的示图。
59.图7为示出实施方式中的编码单元的功能的功能框图。
60.图8是示出人体的每个感觉接收体的触觉敏感度特性的示图。
61.图9是示出描述触觉强度的示图。
62.图10是示出描述主频率的示图。
63.图11为示出描述编码数据格式的实例的示图。
64.图12是示出描述触觉强度信息的示例性数据结构的示图。
65.图13是示出用于实现根据实施方式的编码技术的示例性处理过程的流程图。
66.图14是示出描述在使用dnn模型来指定主频率的情况下的机器学习技术的示例的示图。
67.图15是示出根据实施方式的解码单元的功能的功能框图。
68.图16是示出用于实现根据实施方式的解码技术的示例性处理过程的流程图。
69.图17是示出描述响应于操作设置周期信号的频率的实例的示图。
70.图18是示出描述取决于通信稳定性的分割频率的控制实例的示图。
具体实施方式
71.现在参考附图按照以下顺序描述根据本技术的实施方式。
72.《1.触觉再现系统的概述》
73.《2.编码器的配置》
74.《3.播放设备的配置》
75.《4.解码器的配置》
76.《5.触觉再现系统的使用实例》
77.《6.根据实施方式的触觉再现技术》
78.[6-1.与触觉信号传输相关的挑战]
[0079]
[6-2.编码技术]
[0080]
[6-3.解码技术]
[0081]
[6-4.根据通信稳定性的分割频率的控制]
[0082]
《7.实施方式的概述》
[0083]
《8.本技术》
[0084]
本文中使用的术语现在定义如下：
[0085]-触觉刺激：引起人感知触感的物理现象，如振动现象。
[0086]-触觉呈现：产生触觉刺激。
[0087]-触觉信息：由触感感知的信息，诸如振动信息。
[0088]-触觉信号：表示触觉刺激的模式的信号，诸如表示振动波形的信号。
[0089]-触觉接收者：经受触觉呈现的人。
[0090]-触觉敏感度：指示触觉刺激的强度的主观感知程度的敏感度。它取决于人体上的接收体和部位。
[0091]-触觉敏感度特性：与人的触觉敏感度相关的特性。它们取决于身体部位(手、脸、脚等)
[0092]-编码数据：通过编码信号产生的数据。其具有流和帧作为更具体的概念。
[0093]-编码的触觉数据：通过编码触觉信号产生的数据。
[0094]
《1.触觉再现系统的概述》
[0095]
图1示出了根据本技术的实施方式的包括编码器(编码器2)和解码器(解码器3)的触觉再现系统1的示例性配置。
[0096]
根据本实施例的用于实现触觉再现的环境可分类为记录环境和再现环境。记录环境对通过感测作为目标的触觉信息(触觉刺激)而获得的触觉信号进行编码并记录通过编码而获得的编码的触觉数据dc。再现环境基于通过对编码的触觉数据dc进行解码而获得的
触觉信号来再现触觉信息。
[0097]
如图所示，触觉再现系统1在记录环境中包括多个触觉传感器5和编码器2，并且在再现环境中还包括播放设备4、解码器3和多个触觉呈现设备6。编码器2与触觉传感器5连接。播放设备4可以获取编码的触觉数据dc。解码器3可与播放设备4无线通信。多个触觉呈现设备6与解码器3连接。
[0098]
触觉传感器5感测触觉刺激，并且在该示例中，使用振动传感器，诸如压电拾取或加速度传感器。触觉传感器与待感测的目标对象(即，在该实例中，人体)接触，以输出电压变化形式的振动或运动。
[0099]
在该实例中，各个触觉传感器5通过线路连接至编码器2并且附接至作为目标对象的人体的不同部位，感测在每个部位发生的触觉刺激。
[0100]
编码器2包括例如计算机处理器，诸如中央处理单元(cpu)或数字信号处理器(dsp)。编码器2根据预定数据格式对由每个触觉传感器5获得的检测信号(触觉信号)进行编码并且将所得的编码的触觉数据dc存储在例如内部存储设备中。
[0101]
播放设备4包括诸如cpu或dsp之类的计算机处理器，并且向解码器3发送所获取的编码的触觉数据dc。在一个示例中，由播放设备4通过诸如互联网、家庭网络、局域网(lan)和卫星通信网络之类的所需网络来获取记录在记录环境中的编码的触觉数据dc。编码的触觉数据dc还可以由播放设备4以被记录在便携式记录介质上的形式获取。
[0102]
解码器3对从播放设备4接收的编码的触觉数据dc进行解码，并且基于通过解码获得的触觉信号来驱动每个触觉呈现设备6。
[0103]
触觉呈现设备6产生触觉刺激，并且在该示例中，采用诸如振动器或致动器之类的振动设备。
[0104]
在此实例中，相应触觉呈现设备6附接到触觉接收者的人体的不同部位且再现由相应对应触觉传感器5感测到的触觉刺激。
[0105]
在这一点上，在该实例中，每个触觉呈现设备6有线连接至解码器3。在图中由虚线包围的部分(即，包括解码器3和触觉呈现设备6的部分)附接至触觉接收者。
[0106]
触觉再现系统1可以是这样的配置，其中播放设备4具有解码器3的功能，并且播放设备4通过有线连接到相应的触觉呈现设备6。然而，在这种情况下，存在对佩戴触觉呈现设备6的触觉接收者造成烦恼的可能性。这种烦恼易于随着受到触觉刺激的部位数量的增加而增加。
[0107]
图1中所示的触觉再现系统1的配置使得可以防止对触觉接收者的这种烦扰。
[0108]
在图1中示出的触觉再现系统1将由佩戴触觉传感器5的人所感知的每个身体部位的触感再现给触觉接收者，因此即使在两个人彼此分开的情况下也是可用的。
[0109]
此外，在本实施例中，触觉传感器5和触觉呈现设备6的数量(即，感知和再现触觉刺激的人体部位的数量)为至少三个或更多个。
[0110]
《2.编码器的配置》
[0111]
图2为示出描述编码器2的示例性内部配置的示图。此外，除了编码器2的示例性内部配置之外，图2还示出了图1的触觉传感器5。
[0112]
如图所示，编码器2包括多个放大器21、多个模数(a/d)转换器22、预处理器23、编码单元24、控制单元25、存储单元26、通信单元27和总线28。预处理器23、编码单元24、控制
单元25、存储单元26和通信单元27经由总线28连接，使得可彼此数据通信。
[0113]
由触觉传感器5检测的信号被输入到相应的对应放大器21，其中检测信号被调整为具有适当的动态范围。然后，得到的信号被输入到各个对应的a/d转换器22，在该a/d转换器22中，对信号进行模数(a/d)转换。
[0114]
将经过a/d转换的检测信号(即，从每个身体部位获得的触觉信号)输入到预处理器23。预处理器23执行各种数字信号处理，诸如降噪或触觉传感器5的传感器特性的校准。
[0115]
经过在预处理器23中的信号处理而获得的每个触觉信号被输入到编码单元24。
[0116]
编码单元24包括例如dsp。编码单元24根据预定的数据格式对输入的触觉信号进行编码以获得上述编码的触觉数据dc。
[0117]
此外，稍后描述根据本实施方式的触觉信号的编码。
[0118]
控制单元25包括例如具有cpu、只读存储器(rom)、随机存取存储器(ram)等的微型计算机。控制单元25根据存储在rom中的程序执行处理，以控制整个编码器2。
[0119]
在一个示例中，控制单元25经由通信单元27与外部设备通信数据。
[0120]
通信单元27能够通过诸如因特网的网络与外部设备通信数据。控制单元25能够经由通信单元27与连接到网络的外部设备通信数据。具体地，由编码单元24获得的编码的触觉数据dc经由通信单元27可传输至外部设备。
[0121]
存储单元26包括诸如硬盘驱动器(hdd)或固态驱动器(ssd)的存储设备，并且被布置在编码器2中以用于存储各种数据。在一个示例中，存储单元26存储由控制单元25进行控制所需的数据。此外，在控制单元25的控制下，由编码单元24获得的编码的触觉数据dc可被存储在存储单元26中。
[0122]
《3.播放设备的配置》
[0123]
图3是示出了播放设备4的示例性内部配置的示图。
[0124]
如图所示，播放设备4包括控制单元41、通信单元42、介质驱动器43、存储单元44和无线通信单元45，并且还包括总线46，总线46连接这些部件以彼此通信。
[0125]
控制单元41包括例如具有cpu、rom、ram等的微型计算机，并且控制整个播放设备4。
[0126]
通信单元42能够通过诸如因特网的网络与外部设备通信数据。控制单元41能够经由通信单元42与连接到网络的外部设备通信数据。具体地，编码的触觉数据dc可以由通信单元42从外部设备(如网络上的服务器设备)接收。
[0127]
介质驱动器43是可拆卸便携式记录介质并且能够将数据写入所附接的记录介质或从所附接的记录介质读取数据的读取器/写入器单元。由介质驱动器43支持的记录介质的实例可以包括存储卡(例如，便携式闪存)、光盘记录介质等。
[0128]
介质驱动器43使得可以读出记录在便携式记录介质上的编码的触觉数据dc。
[0129]
存储单元44包含诸如hdd或ssd的存储设备，并且被布置在播放设备4中以用于存储各种数据。在一个示例中，存储单元44存储控制单元41执行控制所需的数据。此外，在控制单元41的控制下，由介质驱动器43读取的编码的触觉数据dc或由通信单元42从外部设备接收的编码的触觉数据dc可被存储在存储单元44中。
[0130]
无线通信单元45使用诸如蓝牙(注册商标)的预定通信方案执行短程无线通信。
[0131]
就此而言，为上述整个控制的一部分，控制单元41作控制通信单元42，使得通信单
元42接收编码的触觉数据dc，或者控制介质驱动器43，使得介质驱动器43读取编码的触觉数据dc。此外，控制单元41控制无线通信单元45，使得无线通信单元45将由通信单元42或介质驱动器43获得的编码的触觉数据dc传输至解码器3。
[0132]
《4.解码器的配置》
[0133]
图4为示出描述解码器3的示例性内部配置的示图，并且除了解码器3的示例性内部配置之外还示出了每个触觉呈现设备6。
[0134]
如图所示，解码器3包括多个放大器31、多个数-模(d/a)转换器32、后处理器33和解码单元34。解码器3还包括控制单元35、无线通信单元36、存储单元37、操作单元38、显示单元39和总线30。后处理器33、解码单元34、控制单元35、无线通信单元36和存储单元37经由总线30连接，允许数据可相互通信。
[0135]
控制单元35包括例如具有cpu、rom、ram等的微型计算机，并且控制整个解码器3。
[0136]
无线通信单元36使用诸如蓝牙的可通信方案与播放设备4的无线通信单元45进行短程无线通信。无线通信单元36接收从播放设备4发送的编码的触觉数据dc。
[0137]
存储单元37例如是与存储单元26、存储单元44等类似的存储设备，存储控制单元35等所使用的各种数据。
[0138]
操作单元38包含设置在解码器3中的诸如按钮、键和触摸面板(触摸传感器)的各种操作元件或操作子，并且将与操作输入对应的操作输入信息输出至控制单元35。
[0139]
显示单元39包括诸如液晶显示器(lcd)或有机电致发光(el)显示器的显示设备，并且基于来自控制单元35的指令显示诸如图像信息的各种类型的信息。
[0140]
解码单元34使用稍后描述的技术对通过无线通信单元36输入的编码的触觉数据dc进行解码以获得每个身体部位的触觉信号。由解码单元34获取的每个部位的触觉信号被输入到后处理器33。
[0141]
后处理器33对每个身体部位的输入触觉信号执行信号处理，诸如对触觉呈现设备6的校准或预定滤波(根据需要)。
[0142]
后处理器33处理的触觉信号被输入到各个对应的d/a转换器32，在该d/a转换器32中，对信号进行数模(d/a)转换。然后，信号在各个相应的放大器31中被调整为具有适当的动态范围并且被输出到相应的触觉呈现设备6。
[0143]
该配置使得可以基于触觉信号来驱动相应的触觉呈现设备6，从而将要被感测的触觉刺激施加到检测环境中的触觉接收者(即，可再现的触觉信息)。
[0144]
此外，虽然仅触觉信号是上述描述的主题，但是还可以将音频信号或视频信号与触觉信号一起记录以将声音或图像与触觉信息一起提供给触觉接收者。
[0145]
《5.触觉再现系统的使用实例》
[0146]
可以设想除了视频之外还再现执行触觉呈现的内容。
[0147]
图5是示出描述触觉再现系统1的使用实例的示图。
[0148]
在图5中，通过与视频同步记录来将编码数据记录为内容cnt。该编码数据由编码器2获得，编码器2编码附接至人hm1的触觉传感器5(在图中，躯干的触觉传感器5b、手指的触觉传感器5h、以及脚的触觉传感器5f)中记录的触觉信号，除了产生内容时的视频之外还记录触感。在播放时，使用例如无线通信将所记录的内容cnt发送到解码器3，并且解码器3的解码单元34对接收到的内容cnt进行解码。该配置允许通过由作为触觉接收者的人hm2佩
戴的触觉呈现设备6(在图中，躯干的触觉呈现设备6b、手指的触觉呈现设备6h和脚的触觉呈现设备6f)基于相应的触觉信号来执行触觉呈现。
[0149]
在视频中实际呈现触感的场景的实例包括角打击(被击打)、用打(被击中)、受暴风雨打击或感觉地面晃动的场景。
[0150]
在图中，示出躯干、手和脚的触觉信号的波形作为内容中的触觉信号的实际实例。以时间序列描述该实例，首先，在人hm1用射击对手的场景中，由子弹发送引起的反冲产生的振动发生在手指上。然后，在对手也用在躯干(他的身体)中射击人hm1的场景中，在躯干中产生由已被射击的躯干的冲击引起的振动。此后，在发生地震的场景中，地面的振动逐渐传播到脚、躯干和手指。
[0151]
在一个实例中，除了视频和音频之外，播放这种内容还通过振动再现触感，使得作为触觉接收者的人hm2能够体验高质量现实。
[0152]
《6.根据实施方式的触觉再现技术》
[0153]
[6-1.与触觉信号传输相关的挑战]
[0154]
现在给出根据实施例的触觉再现技术的描述。
[0155]
要描述的第一件事是集中于人的触觉特性的根据实施例的的触觉再现技术。
[0156]
图6中示出的振动检测阈值曲线已知为人的触觉敏感度的参考。而且，在图6中，水平轴表示频率，并且垂直轴表示触觉刺激的振幅(在该实例中，振动表示为位移)。图6中的振动检测阈值曲线是基于题为“four cahnnesl mediate the mechanical aspects of touch”，s.j.，bolanowski，1988的文章中描述的实验结果。
[0157]
在图6中示出的振动检测阈值曲线是实验地检查人是否感觉到振动作为触感(即，触感敏感度)的实例。人未能将比该曲线中示出的振动更小的振动感知为触感。
[0158]
图6示出了人的具有最高触觉敏感度的频率通常为约200赫兹(hz)。因此，产生振动的设备或应用常常被设计为产生高达约200hz的振动。
[0159]
另一方面，虽然在图6的结果中未示出，但是众所周知人可以感知具有高达约1千赫(khz)的频率的振动作为触感。人可将具有大约1khz的频率分量的振动和无大约1khz的频率分量的振动感知为不同的触感。
[0160]
在一个实例中，在拔掉瓶子的软木塞时产生的振动包括具有高达几khz的频率的振动。在这种振动作为来自呈现触感的设备的具有高达几百hz的频率的振动而传递至用户的情况下，当拔掉瓶的软木塞时，用户不能感觉到令人满意的真实感的触感的振动。
[0161]
因此，有必要使用具有高达约1khz的频率的振动来呈现触感以向用户提供更真实的触感。
[0162]
然而，加宽包括在信号中的频率的带宽增加了信号中的数据量，所以更有可能发生在信号的发送或接收中的延迟。换言之，触感的改善质量可以引起触感不能在适当的定时呈现的情形。
[0163]
用特定实例描述信号发送或接收和触觉呈现中的延迟。
[0164]
首先给出触觉信号数据量的描述。在设备之间传输触觉信号的情况下，首先，将触觉信号转换成数字数据。数字数据的容量表示为每时间单位传送或处理的位深度，即，比特速率b。在这一点上，触觉敏感度不仅取决于振动频率，还取决于振幅。在一个实例中，上述图6的实验结果显示，人类感知的振动的振幅为约50分贝(db)(-20db至30db的范围)或更
大，并且频率为约1000hz。此外，考虑到人类实际感受到的触觉信息的分布，认为振动的振幅大约为70db。
[0165]
在使用线性脉冲编码调制(lpcm)将触觉信号ts转换成数字数据的情况下，可由1位表示的振动的振幅为6db。换言之，70db的振动振幅需要12比特。另一方面，在1000hz的振动频率的情况下，采样频率加倍到2000hz，并且比特速率b0由下面的公式(1)给出：
[0166]
b0＝12比特/样本
×
2000样本/秒＝24kb/s...公式(1)
[0167]
该值本身相对非常小，小于，例如，压缩光盘(cd)的每个通道的比特速率＝700kbps(kbps/ch)，压缩光盘(cd)是音频信号的代表性格式，所以此触觉信号另外并入任何系统似乎不会引起显著问题。
[0168]
然而，如上文所提及，已知人类可感知的触觉信号的带宽延伸高达几khz。在一个实例中，在再现高达2000hz的触觉信号的情况下，比特速率变成48kb/s，这是公式(1)的两倍。
[0169]
此外，与视觉(双眼)和听觉(双耳)不同，触感分布在人体的整个表面上。在仅考虑双手的指尖时，存在要感测的十个部位，并且如果要处理来自所有指尖的触觉信号，则比特速率将进一步增加十倍至480kb/s。在手掌和手指的关节中待感测的身体部位的增加的数目将显著地增加比特速率。
[0170]
此外，触觉信号基本上是一维信号。然而，可以在三个轴(x，y，z)上捕捉振动的物理现象。为了处理所有这些，必需是1440kb/s的比特速率，即，三倍，并且这个值大到超过音频cd的1411kb/s的比特速率。
[0171]
以此方式，待使用的触觉信号数据的总量随着触觉刺激的再现性改善且施加触觉刺激的用户的部位数目增加而增加。然后，总数据量的增加导致发送触觉信号的网络系统上的重负载。
[0172]
此外，除了如上所述的数据总量之外的其他因素可考虑作为延迟的因素。
[0173]
在一个实例中，在使用无线通信传输触觉信号的情况下，触觉信号的编码数据可能由于传输线上的干扰等而丢失。如果发生数据丢失，则从发送侧的设备重发数据，并且在接收侧完成数据的接收所花费的时间中可能发生延迟。换句话说，待重新发送的增加的数据量增加了响应于数据丢失而重新发送数据所花费的时间，从而导致进一步延迟时间直到正常完成触觉信号的发送或接收为止。
[0174]
以这种方式，如果在直到触觉信号的传输完成的时间中发生延迟，则在一些情况下，触感再现性降低。具体地，可能发生触觉刺激与和其他感觉相关的内容(诸如，图像和声音)不同步的情况，这是因为触觉刺激未在适当时间提供给用户。
[0175]
现在给出考虑上述情形的特定无线通信模式的应用的描述。
[0176]
执行触觉呈现的设备被安装，与用户接触，并且从设备的重量的观点来看通常期望与其他设备无线地通信。然而，在使用诸如wi-fi(注册商标)的宽带无线通信的情况下，从功耗的角度来看，设备的电池将增大，因此用户的便利性可能降低。此外，在使用wi-fi(注册商标)的情况下，通常花费从发送侧的设备的信号发送请求到接收侧的设备中的接收信号的处理的处理时间，因此容易发生比其他无线通信更大的延迟。
[0177]
另一方面，诸如蓝牙(注册商标)的短距离无线通信与其他无线通信相比能够以低功耗和低延迟执行通信，因此认为其适合于触觉信号的传输。然而，与其他无线通信相比，
短程无线通信一次可发送的可允许数据量更少。在一个示例中，在与视频或声音同步的同时向用户施加触觉刺激的内容的传输中，可以想到分配给触觉信号的传输的通信容量不足的情形。
[0178]
此外，除了用于经由互联网流式传输视频或音频的服务之外，在旨在将触觉感觉传输至用户的情况下，例如，由于与网络的线路条件对应的服务质量(qos)功能，被分配用于触觉信号的传输的通信容量易于不足。
[0179]
鉴于上述情况，本实施例旨在通过减少发送数据量而尽可能不损害触觉再现性来实现触觉信号的延迟的减小和防止触觉再现性的劣化。
[0180]
[6-2.编码技术]
[0181]
图7是示出编码单元24的功能的功能框图。
[0182]
如图所示，编码单元24包括信号输入单元24a、频带分割单元24b、低频信号编码单元24c、触觉强度计算单元24d、复用器24e和信号输出单元24f。
[0183]
信号输入单元24a针对每个信号通过固定数量的采样来接收预定数量通道的触觉信号作为输入。以下描述给出了对于各个通道执行类似处理的情况。此外，将要输入的触觉信号被设置为具有2khz的频带和4khz的采样频率。
[0184]
信号输入单元24a将输入的触觉信号分割成适当的处理块(例如，在5毫秒(ms)的时间段内的采样的数量)。
[0185]
这个分割的处理块在下文中被称为“帧”。以帧为单位进行信号输入单元24a之后的各处理。
[0186]
频带分割单元24b对来自信号输入单元24a的输入信号执行频带分割处理。具体地，输入信号被分成低频信号和高频信号。此外，稍后描述与这种频带分割处理相关的分割频率。
[0187]
低频信号编码单元24c接收通过在频带分割单元24b中经历频带分割处理而获得的低频信号作为输入，并且使用预定编码技术对低频信号执行编码处理。
[0188]
对此，低频信号的编码技术可采用常用于对音频信号进行编码的各种方法，音频信号是与触觉信号相同的一维信号。示例可包括mpeg-1音频层-iii(mp3)、高级音频编码(aac)等，以及作为无损编码技术的无损音频压缩编码(flac)。此外，考虑到算术运算的资源，可以采用自适应差分脉冲编码调制(adpcm)等。
[0189]
如上所述，如果可能，低频信号的编码技术采用保持信号波形的编码技术。
[0190]
触觉强度计算单元24d接收通过频带分割单元24b获得的高频信号作为输入并且基于高频信号计算触觉强度。
[0191]
此外，稍后描述触觉强度。
[0192]
复用器24e接收由低频信号编码单元24c获得的低频信号的编码数据(以下称为“编码的低频数据”)和由触觉强度计算单元24d计算的触觉强度作为输入。复用器24e根据稍后描述的图11的编码数据格式将诸如编码的低频数据或者触觉强度的各种类型的信息编码为比特流。此编码导致获得编码的触觉数据dc。
[0193]
信号输出单元24f输出在复用器24e中获得的编码的触觉数据dc。
[0194]
详细说明频带分割单元24b。
[0195]
图8是示出人体的每个感觉接收体的触觉敏感度特性的示图。
[0196]
如图8所示，已知允许人体感觉触感的四种类型的感觉受体。其中，迈斯纳小体被称为速度检测受体，并且对频率的低变化高度敏感。由此，从几赫兹(hz)到大约100hz的频率分量(其中迈斯纳小体最有可能被激励)被编码以尽可能地保持其波形。因而，频带分割单元24b将触觉信号频带分割为小于100hz的低频带和100hz以上的高频带。
[0197]
此外，在低频带和高频带之间使用的分割频率可以根据情况分割为任率。稍后描述细节。
[0198]
现在描述触觉强度计算单元24d。
[0199]
对于人体触感，从图6中示出的振动检测阈值可以看出，人体感受的强度随着频率而变化。这种强度被量化并建模为触觉强度模型，这在本领域中已有报道。
[0200]
在本说明书中，触觉强度(触觉强度)是指在施加给定幅度(振幅)的触觉刺激时人体感受到的触感的强度。
[0201]
图9是示出描述触觉强度的示图，其中图9的(a)是t(f)的曲线图，并且图9的(b)是a(f)的曲线图。在该图中，t(f)表示相对于频率f的振动检测阈值t(例如，阈值t是参照图6描述的振动检测阈值)，并且a(f)表示相对于频率f的系数a。
[0202]
根据触觉信号的频率f处的t(f)、a(f)和振幅a(f)，频率f处的触觉强度i(f)由以下公式(2)给出：
[0203]
[数学式1]
[0204][0205]
a(f)是频率f处的信号的振幅。
[0206]
在触觉强度i是相同信号的情况下，即使它们的频率不同，振动强度也被同等地感觉到。此外，在图8中示出的触觉接收者中，与响应于振动强度的变化相比，主要已知帕西尼氏小体对振动频率的变化较不敏感。因此，通过遵循触觉强度i的变化可以获得相当于100hz或更高的高频率的感知，其中，最可能刺激帕西尼氏小体。
[0207]
因此，对于100hz或更高的高频信号，记录每个频率的触觉强度i(f)的值而不是波形本身。
[0208]
此外，可以根据上述频带分割来确定计算其触觉强度的较低截止频率。
[0209]
在计算和记录一个帧的触觉强度i时，通过以下公式(3)给出一个帧的触觉信号中的高频信号的触觉强度i作为频率f的有限积分：
[0210]
[数学式2]
[0211][0212]
考虑上面提到的处理作为数字信号处理，首先，输入信号经历离散傅立叶变换以获取频谱，然后，通过公式(4)给出每个频率窗口fbin的触觉强度i(fbin)，
[0213]
其中，as(fbin)是相对于fbin的振幅谱值，并且ffbin是fbin的中心频率，如下：
[0214]
[数学式3]
[0215][0216]
然后，通过使用如下公式(5)在触觉强度计算范围内将从频率bin的最小值fbinmin的i(fbin)至频率bin的最大值fbinmax求和来获得高频信号的触觉强度i：
[0217]
[数学式4]
[0218][0219]
此外，在以上实例中，针对从100hz至2khz的所有频率获得代表性的触觉强度，但是如果在输入信号之中对于触觉再现重要的主频率是已知的，则可以仅针对这种主频率的分量获得触觉强度i。
[0220]
本文中使用的术语“主频率”是指可以获得主频谱的频率。主频谱是指至少不包括作为噪声的频谱的频谱。
[0221]
给出使用频率分析获得主频率的实例的描述。
[0222]
首先对输入的触觉信号进行离散傅立叶变换以获取频谱，然后通过检查100hz以上的振幅频谱的峰值来确定主频率。
[0223]
在一个实例中，如果峰值出现在500hz、800hz和1000hz的频率分量处，如图10所示，通过执行傅立叶变换，500hz、800hz和1000hz的这些频率分量被指定为主频率。
[0224]
在这点上，例如，作为振幅谱是否等于或高于预定阈值的确定，可检测峰值。此外，检测峰值的方式不限于该示例，并且可采用例如各种已知技术。
[0225]
如果指定主频率，则基于主频率的振幅a计算高频信号的触觉强度i。在一个实例中，在如图10中所示指定主频率的情况下，触觉强度i由以下公式(6)给出：
[0226]
[数学式5]
[0227][0228]
另一方面，如果未指定主频率，则通过公式(5)给出高频信号的触觉强度i。
[0229]
图11是示出编码的触觉数据dc的数据格式的实例的示图。具体地，图11示出编码的触觉数据dc的一个帧的数据格式。
[0230]
在这种格式中，同步字是用于表示帧的开始的识别码，并且为同步字存储尽可能不包括在其他数据中的模式(pattern)。
[0231]
对于采样频率id，记录触觉信号的采样频率的模式id。
[0232]
对于通道数目，记录触觉信号的总数。
[0233]
对于帧大小，以字节记录针对一个帧的编码的触觉数据dc的大小。
[0234]
对于第一通道数据，存储与第一通道的触觉信号相关的编码数据。对于第一通道数据，存储分割频率、编码的低频数据和触觉强度信息。
[0235]
分割频率是由频带分割单元24b使用的频率，并且例如，指示频率[hz]的数值被存
储用于分割频率。
[0236]
对于编码的低频数据，存储由低频信号编码单元24c编码的低频信号的编码数据。
[0237]
触觉强度信息在图12中详细示出。
[0238]
如图所示，标志具有用于存储触觉强度信息的存储区域。
[0239]
在一个示例中，在基于上述峰值检测指定主频率的情况下，即，限制计算触觉强度所在的频率的情况下，将标志设置为“1”。在标志之后的区域存储以成对的方式包括计算触觉强度所在的频率的标识符(在图中指示为频率a的标识符和频率b的标识符)和针对该频率的触觉强度i的信息。
[0240]
另一方面，在未指定主频率并且计算触觉强度所在的特定频率不受限的情况下，标志被设置为“0”。在随后的区域中，存储高频区域(在该实例中，从分割频率至奈奎斯特频率：100hz至2khz)中的每个频率(每个频率窗口)的触觉强度i。此外，对于在标志＝0的情况下的触觉强度i，可以存储用于每个频率的值，或者可以存储在上述公式(5)中计算的每个频率的总值。
[0241]
对于第二通道数据，以与第一通道数据相同的规格存储与第二通道的触觉信号相关的编码数据。
[0242]
其他通道(如果有的话)被添加，并且信息被类似地存储。
[0243]
参考图13中的流程图，描述了用于实现根据上述实施方式的编码技术的示例性处理过程。
[0244]
此外，该过程示出了编码单元24执行用于实现根据实施方式的编码技术的处理作为软件处理的实例，但是以下描述的处理的全部或一部分可通过硬件来实现。
[0245]
在图13中示出针对一个帧产生编码的触觉数据dc的处理，并且针对每个帧重复执行该处理。
[0246]
在步骤s101中，首先，编码单元24接收通过将待编码的一个通道的触觉信号切分为一个帧的采样的数量而获得的信号作为输入。
[0247]
在步骤s101之后的步骤s102中，编码单元24使用分割频率对输入信号执行频带分割处理，以获得低频信号和高频信号。
[0248]
在步骤s102之后的步骤s103中，编码单元24使用预定编码技术(诸如上述的mp3、aac、flac或adpcm)对通过步骤102中的频带分割处理获得的低频信号进行编码，以产生编码的低频数据。
[0249]
在步骤s103之后的步骤104中，编码单元24确定触觉强度范围是否是整个高频带。换言之，确定是否针对高频信号的整个频带计算了触觉强度，具体地，如上所述是否指定主频率。该确定基于通过分析在步骤102中的频带分割处理所获得的高频信号而获得的结果。
[0250]
在步骤104中，例如，如果未指定主频率，并且获得触觉强度范围是整个高频带的肯定结果(是)，则处理进行到步骤105。在该步骤中，编码单元24计算整个高频信号频带的触觉强度(参见以上表达的公式(5))，然后处理进行至步骤s107。
[0251]
另一方面，在步骤104中，例如，如果指定主频率并且获得触觉强度范围不是整个高频带的否定结果(否)，则处理进行到步骤106。在该步骤中，编码单元24计算主频率的触觉强度(参见以上表达的公式(6))，然后处理进行到步骤s107。同时，如果指定了主频率，则编码单元24存储指定的主频率的标识符。
[0252]
在步骤s107中，编码单元24存储当前通道(当前正在处理的通道)的标志。具体地，如果在步骤s104中获得触觉强度范围是整个高频带的肯定结果，则编码单元24存储“0”作为当前通道的标志，如果否，则编码单元24存储“1”作为当前通道的标志。
[0253]
在步骤s107之后的步骤s108中，编码单元24确定所有通道的处理是否完成，即，对于触觉信号的所有通道是否完成从步骤s101至s107的处理。
[0254]
如果针对所有通道的处理未完成，则编码单元24中的处理返回到步骤s101。该返回允许对下一通道执行一个帧的类似处理。
[0255]
另一方面，如果完成所有通道的处理，编码单元24在步骤s109中执行比特流产生处理，然后结束在图13中示出的一系列处理步骤。
[0256]
在步骤s109的比特流产生处理中，根据参考图11和图12描述的编码数据格式进行多路复用以产生用于编码的触觉数据dc的比特流。
[0257]
此外，尽管给出了通过峰值检测来指定主频率的以上示例，但是主频率也可以通过使用深度神经网络(dnn)来指定。
[0258]
参照图14描述其具体实例。
[0259]
图14示出了其中预先使用学习数据集来执行受监督学习的dnn模型。对于学习数据集，使用学习输入数据集作为学习输入信号。
[0260]
学习输入数据集是触觉信号的幅度谱。在dnn模型中，输入层i1至in是相应频率窗口的中心频率，并且该输入是每个频率窗口的幅度谱值。
[0261]
在dnn模型中，输出层a1至an是用于触觉再现的主频率的组合，并且学习训练数据集是对应于学习输入数据集的每个数据的监督的数据集并且是用于触觉再现的主频率的预标记组合。
[0262]
在学习dnn模型时，由输入学习输入数据时的输出层a1至an的概率(可能性)和学习训练数据的误差反向传播来更新dnn模型的每条边的权重系数。
[0263]
在使用以上述方式学习的dnn模型来从实际触觉信号指定主频率时，输入的触觉信号(高频信号)被离散傅立叶变换并随后被转换成频谱。然后，振幅谱被输入到经学习的dnn模型，并且使用输出层a1至an中具有最高可能性的输出(频率组合模式)。
[0264]
[6-3.解码技术]
[0265]
图15是示出解码单元34的功能的功能框图。
[0266]
如图所示，解码单元34包括编码数据输入单元34a、解复用器34b、低频信号解码单元34c、触觉强度获取单元34d、高频信号产生单元34e、频带合成单元34f和信号输出单元34g。
[0267]
编码数据输入单元34a接收一格帧的编码的触觉数据dc作为输入。而且，可以从前面提到的同步字中检测一个帧的开始。
[0268]
解复用器34b根据在图11和图12中示出的编码数据格式执行解复用以获取存储在编码的触觉数据dc中的各种类型的信息。
[0269]
低频信号解码单元34c对由解复用器34b获取的编码的低频信号数据进行解码，以获得低频信号。
[0270]
触觉强度获取单元34d基于由解复用器34b获取的触觉强度信息执行标志值确定处理或者根据所确定的标志值执行触觉强度获取处理。
[0271]
高频信号产生单元34e基于由触觉强度获取单元34d获取的触觉强度产生高频信号。此外，稍后描述产生高频信号的方式。
[0272]
频带合成单元34f合成由低频信号解码单元34c得到的低频信号和由高频信号产生单元34e得到的高频信号。
[0273]
信号输出单元34g输出通过频带合成单元34f中的合成而获得的触觉信号。
[0274]
说明高频信号产生单元34e的处理。
[0275]
高频信号产生单元34e的处理根据标志的值而不同。
[0276]
在标志＝0的情况下，获得整个高频信号频带的触觉强度，并且基于整个频带的触觉强度产生具有高频频带中的任何可选频率fx的周期信号作为高频信号。
[0277]
在本说明书中，周期信号表示振幅在预定周期(时间信号)内改变的信号，并且其实例包括正弦波信号等。
[0278]
在标志＝0的情况下，高频信号产生单元34e基于高频信号的触觉强度i(即，针对高频带中的每个频率计算的触觉强度的总值)产生高频信号。
[0279]
具体地，可以基于公式(2)从所获得的触觉强度i和任何可选的频率fx计算振幅a(fx)，因此在这种情况下通过以下公式(7)给出高频信号s1(t)：
[0280]
[数学式6]
[0281][0282]
如上所述，在标志＝0的情况下，高频信号产生单元34e将触觉强度转换为信号振幅并产生周期信号作为高频信号。周期信号具有转换的信号振幅并且具有作为高频频带中的频率fx的信号频率。
[0283]
在该实例中，在标志＝0的情况下，可在解码单元34中预先唯一地确定可选频率fx。
[0284]
在一个示例中，频率fx可被认为设置为与触觉呈现设备6的谐振频率基本一致的频率。本文中使用的术语“基本一致”是包括在认为相同的范围内的数值的概念。例如，它是指属于以触觉呈现设备6的频率特性曲线中的谐振频率为中心的峰值部分的前端侧频率至后端侧频率的频率范围的值。
[0285]
将频率fx设置为与触觉呈现设备6的谐振频率基本一致的频率使得可以提高触觉呈现设备的驱动效率，从而实现触觉呈现设备6的节能。
[0286]
此外，还可以基于人体的触觉敏感度特性来设置频率fx。具体地，可以设想，频率fx被设置为触觉敏感度等于或高于预定值的频率。
[0287]
这使得可以将频率fx设置为人体具有高触觉敏感度的频率，从而导致驱动触觉呈现设备6的效率提高。因此，可以实现触觉呈现设备6的节能。
[0288]
此外，还可以基于人体的听觉敏感度特性来设置频率fx。具体地，可以设想，频率fx被设置为听觉敏感度等于或低于预定值的频率。
[0289]
这使得可以将频率fx设置为人体具有低听觉敏感度的频率，从而导致通过驱动触觉呈现设备6而发生的噪声的减少。由此，能够增强用户在触觉内容中的沉浸。
[0290]
说明标志＝1的情况下的处理。
[0291]
在标志＝1的情况下，触觉强度获取单元34d获得主频率和该主频率的触觉强度。
[0292]
在这种情况下，高频信号产生单元34e基于主频率的触觉强度产生高频信号。
[0293]
具体地，例如，在主频率是频率a和频率b的情况下，基于频率a的(fa)、频率a的触觉强度(i(fa))、频率b的(fb)和频率b的触觉强度(i(fb))给出高频信号s2，如以下公式(8)：
[0294]
[数学式7]
[0295][0296]
参照图16中的流程图，描述用于实施根据上述实施方式的解码技术的示例性处理过程。
[0297]
现在给出实例，其中，类似于编码的情况，解码单元34使用软件处理执行用于实现根据实施方式的解码技术的处理。然而，以下描述的处理的全部或一部分也可以通过硬件来实现。
[0298]
图16中示出的处理是针对一个帧(编码的触觉数据dc)对比特流进行解码以获得触觉信号，并且逐帧地重复执行该处理。
[0299]
在步骤s201中，首先，解码单元34根据编码数据格式分析针对一个帧的编码的触觉数据dc。该分析处理允许根据采样频率id指定采样频率，获得通道数量、帧大小和每个通道数据。
[0300]
在步骤s201之后的步骤202中，解码单元34解码包括在目标通道数据中的编码的低频数据，以获得低频信号。
[0301]
在步骤s202之后的步骤203中，解码单元34确定目标通道数据中包括的标志的值是否是0。
[0302]
如果标志＝0，则解码单元34中的处理前进至步骤s204以获得目标通道数据中包括的整个高频带的触觉强度并且前进至步骤s206。
[0303]
另一方面，如果标志不是0，则处理进行到步骤205，解码单元34获取目标通道数据中包括的主频率的频率标识符和主频率的触觉强度。然后，处理进行至步骤s206。
[0304]
在步骤s206中，解码单元34执行高频信号产生处理。换言之，在标志＝0的情况下，基于在步骤s204中获取的整个高频带的触觉强度，通过上面的公式(7)产生高频信号。另一方面，在标志＝1的情况下，基于在步骤s205中获取的主频率的频率标识符和触觉强度，通过上面的公式(8)产生高频信号。
[0305]
在步骤s206之后的步骤s207中，解码单元34执行频带合成处理，该频带合成处理用于将在步骤s202中获得的低频信号与在步骤s206中获得的高频信号进行合成。
[0306]
然后，在步骤s208中，解码单元34确定对所有通道的处理是否完成，如果对所有通道的处理未完成，则返回到步骤s202。该返回允许对下一通道执行从步骤s202到s207的处理。另一方面，如果完成所有通道的处理，那么解码单元34结束在图16中所示的一系列处理步骤。
[0307]
在这点上，上面给出了在标志＝0的情况下将预定频率设置为频率fx的实例的描述，但是也可响应于该操作设置频率fx。
[0308]
在一个实例中，解码单元34可响应于通过图4中示出的操作单元38的操作输入来
设置频率fx。
[0309]
图17示出了关于频率fx的设置的图形用户界面(gui)的实例。
[0310]
图17例示了允许将多个频率而不是单个频率设置为频率fx的gui。
[0311]
在这种情况下，如所示的，在显示单元39的屏幕39a上显示设置画面，以接收频率fx的设置操作。在该设置画面上提供用于触觉信号的每个通道的频率设置区域。在每个通道的频率设置区域中，提供频率显示窗口50(在图中，针对各个相应频率a、b和c的显示窗口50a、50b和50c)和针对多个待设置的频率的滑块51(在图中，针对各个相应频率a、b和c的滑块51a、51b和51c)。滑块用于指定频率的数值。
[0312]
当用户改变滑块51的位置时，对应于滑块51的频率显示窗口50中的数值改变。这种布置使得用户可以通过在检查频率显示窗口50中所显示的数值的同时操作滑块50来指定任何可选频率。
[0313]
在该实例中，在设置多个频率fx的情况下，例如，解码单元34为这些频率中的每个频率产生周期信号并且通过合成产生的周期信号产生高频信号。
[0314]
在这种情况下，高频带中的每个频率的触觉强度被预设为在标志＝0的情况下存储为编码的触觉数据dc中的触觉强度信息。然后，解码单元34基于在高频信号产生处理中设置的各个频率fx以及在那些频率fx处的每个触觉强度执行与以上公式(8)相似的计算，以产生高频信号。
[0315]
此外，以上实例是基于通过设置在解码器3中的操作单元38的操作输入来设置周期信号的频率fx。然而，还可以基于通过解码器3以外的设备中设置的操作单元的操作输入来设置频率fx。在一个示例中，可以设想一种在播放设备4中安装操作单元并且响应于对播放设备4的操作输入来设置周期信号的频率的方式。
[0316]
[6-4.根据通信稳定性的分割频率的控制]
[0317]
在这点上，上面给出了在编码时的频带分割处理中固定低频带和高频带之间的分割频率的实例的描述，但是分割频率也可以是可变的。
[0318]
可以设想，当意图以更高质量再现低频信号时，分割频率增大，并且当意图减少编码的触觉数据dc的量时，分割频率降低。在一个实例中，在通信稳定性劣化的情况下，诸如，通信期间的无线电波条件的劣化，可以设想通过降低信号质量动态改变作为qos的分割频率以提高通信稳定性。
[0319]
在这方面，通信稳定性是指与通信的稳定性有关的指标。实例可包括通信速率(通信比特速率)、表示诸如ping值(从通信伙伴返回响应数据包时的通信的往返时间)的等待时间的值、无线通信中的无线电波强度、数据包通信中的数据包丢失率等。
[0320]
参考图18描述根据通信稳定性改变分割频率的实例。
[0321]
在图18中，传输缓冲器指用于由编码器2中的通信单元27传输的缓冲器。在将由编码单元24获得的编码的触觉数据dc发送到外部设备时，编码的触觉数据dc在逐数据包的基础上被顺序地缓冲在传输缓冲器中。
[0322]
在该实例中，基于该传输缓冲器中的空时隙的数量来确定通信稳定性。具体地，如果在传输缓冲器中累积了大量的数据包数据，则通信状态劣化，并且从接收设备侧(编码的触觉数据dc的接收侧，例如播放设备4)多次发送数据重传请求。由此，可以确定传输没有无缝地进行的情况。换言之，可以确定通信稳定性低(劣化)。
[0323]
图18示出了与通信稳定性正常(图18的(a))、良好(图18的(b))以及差(图18的(c))的情况中的每个对应的分割频率。由分割频率确定的低频带是其中波形被几乎照原样编码的频带，所以它可以被称为侧重质量的编码范围。同时，高频带是仅使用触觉强度代替波形本身的频带，所以其可被称为侧重效率的编码范围。
[0324]
换句话说，在通信稳定性良好或令人满意的情况下，即使比特速率高，也不容易发生数据中断，因此分割频率被设置为高(例如，500hz)以尽可能加宽侧重质量的编码范围(低频带)并提高质量。同时，在通信稳定性差或劣化的情况下，重点在于防止数据中断，分割频率被设置为低(例如，100hz)以加宽侧重效率的编码范围(高频带)并且降低比特速率。
[0325]
如上所述，在根据通信稳定性将分割频率设置为可变的情况下，编码单元24在图13所示的步骤s102的频带分割处理中，根据通过基于通信单元27中的传输缓冲器中的空闲时隙的数量的确定而获得的结果，执行通信稳定性确定处理(例如，良好、正常和差的三种状态的确定)和分割频率设置处理。
[0326]
《7.实施方式的概述》
[0327]
如上所述，作为实施例的解码器(解码器3)包括：第一解码单元(低频信号解码单元34c)，被配置为针对通过对触觉信号进行编码而获得的编码数据(编码的触觉数据dc)，解码作为触觉信号中的第一频带的信号的第一频带信号，编码数据包括通过对第一频带信号进行编码而获得的数据以及指示针对触觉信号中的不同于第一频带的第二频带的触觉强度(触觉强度)的触觉强度信息；第二解码单元(高频信号产生单元34e)，被配置为基于编码数据中的触觉强度信息解码作为触觉信号中的第二频带的信号的第二频带信号；以及合成单元(频带合成单元34f)，用于合成第一解码单元解码后的第一频带信号和第二解码单元解码后的第二频带信号。
[0328]
对于由根据实施方式的编码器产生的编码数据，该配置使得可以解码与第二频带有关的触觉信号，同时减少或防止触觉再现性的劣化。
[0329]
因此，可以减少触觉信号数据的量，同时降低或防止触觉再现性劣化。
[0330]
此外，在根据实施方式的解码器中，第一频带被设置为低于第二频带的频率范围中的频带。
[0331]
对于预定频率或更大的频带中的触觉信号，人体相对容易地感知触觉强度的变化，但是相对困难地感知频率的变化。
[0332]
因此，上述配置使得可以使用人体的这种触觉敏感度特性来实现触觉信号的信息压缩，从而在减少或防止触感的再现性劣化的同时减少触觉信号的数据量。
[0333]
此外，在作为实施方式的解码器中，为第二频带中的每个频率计算触觉强度信息，并且第二解码单元基于由为每个频率计算的触觉强度信息指示的触觉强度的总值来解码第二频带信号(参见图16中的步骤s204至s206)。
[0334]
该配置使得可以基于编码之前的第二频带信号中的每个频率的触觉强度来再现适当的触觉强度作为第二频带的触觉强度。
[0335]
因此，可以降低或防止触觉再现性劣化。
[0336]
此外，在作为实施方式的解码器中，为第二频带中的一个或多个主频率计算触觉强度信息，并且第二解码单元基于由为主频率计算的触觉强度信息所指示的触觉强度对第二频带信号进行解码(参见图16中的步骤s205至s206)。
[0337]
该配置使得可以基于编码之前的第二频带信号中的主频率的触觉强度来再现适当的触觉强度作为第二频带的触觉强度。
[0338]
因此，可以降低或防止触觉再现性劣化。
[0339]
此外，在作为实施例的解码器中，第二解码单元将触觉强度信息指示的触觉强度转换为信号振幅并且产生具有转换后的信号振幅的周期信号作为第二频带信号的解码信号，周期信号的信号频率被设置为第二频带中的频率(见公式(7))。
[0340]
对于由根据本技术的编码器产生的编码数据，该配置使得可以解码第二频带信号以减少或防止触觉再现性的劣化。
[0341]
因此，可以减少触觉信号数据的量，同时降低或防止触觉再现性劣化。
[0342]
此外，在作为实施例的解码器中，周期信号具有与触觉呈现设备的谐振频率基本上匹配的频率。
[0343]
该配置使得能够提高驱动触觉呈现设备的效率。
[0344]
因此，可以在触觉呈现设备中实现节能。
[0345]
此外，在作为实施方式的解码器中，周期信号具有基于人体的触觉敏感度特性设置的频率。
[0346]
该配置使得可以将周期信号的频率设置为人体具有高触觉敏感度的频率，提高驱动触觉呈现设备的效率。
[0347]
因此，可以在触觉呈现设备中实现节能。
[0348]
此外，在作为实施方式的解码器中，周期信号具有基于人体的听觉敏感度特性设置的频率。
[0349]
该配置使得可以将周期信号的频率设置为人体具有低听觉敏感度的频率，从而减少通过驱动触觉呈现设备出现的噪声。
[0350]
由此，能够增强用户在触觉内容中的沉浸。
[0351]
此外，在作为实施方式的解码器中，第二解码单元基于操作设置周期信号的频率(见图17)。
[0352]
该配置使得用户可以可选地选择周期信号的频率。
[0353]
此外，作为实施例的解码方法包括：第一解码步骤，对通过对触觉信号进行编码而获得的编码数据，对触觉信号中作为第一频带的信号的第一频带信号进行解码，编码数据包括通过对第一频带信号进行编码而获得的数据以及触觉强度信息，触觉强度信息指示触觉信号中不同于第一频带的第二频带的触觉强度，第二解码步骤，基于编码数据中的触觉强度信息对作为触觉信号中的第二频带的信号的第二频带信号进行解码，以及合成步骤，合成在第一解码步骤中解码的第一频带信号和在第二解码步骤中解码的第二频带信号。
[0354]
即使这种解码方法也能够实现与通过根据上述实施方式的解码器获得的操作和效果类似的操作和效果。
[0355]
此外，作为实施例的编码器包括：频带分割单元(频带分割单元24b)，被配置为将触觉信号分割为作为第一频带的信号的第一频带信号和作为与第一频带不同的第二频带的信号的第二频带信号，第一编码单元(低频信号编码单元24c)，其被配置为对第一频带信号进行编码；触觉强度计算单元(触觉强度计算单元24d)，其被配置为基于第二频带信号来计算指示第二频带的触觉强度的触觉强度信息；以及编码数据产生单元(复用器24e)，被配
置为产生包括触觉强度信息和通过对第一频带信号进行编码而获得的数据的编码数据(编码触觉数据dc)。
[0356]
该配置使得可以使用人体的敏感度特性来提高触觉信号信息的压缩效率。敏感度特性易于感知预定频带中的触觉强度变化和频率变化两者，但是在另一频带中，触觉强度变化易于感知，并且频率变化难以感知。
[0357]
因此，可以减少触觉信号数据的量，同时降低或防止触觉再现性劣化。
[0358]
此外，在根据实施方式的解码器中，第一频带被设置为低于第二频带的频率范围中的频带。
[0359]
对于预定频率或更大的频带中的触觉信号，人体相对容易地感知触觉强度的变化，但是相对困难地感知频率的变化。
[0360]
因此，上述配置使得可以使用人体的这种触觉敏感度特性来实现触觉信号的信息压缩，从而减少触觉信号的数据量同时减少或防止触感的再现性劣化。
[0361]
此外，在作为实施方式的解码器中，第一频带和第二频带具有在第一频带和第二频带之间可变的分割频率。
[0362]
使分割频率可变使得可以调整由于编码引起的数据减小的效果与减小或防止触觉再现性的降低的效果之间的平衡。
[0363]
因此，即使在由于某些原因数据减少效果旨在比触觉再现性更重要的情况下或者相反触觉再现性旨在比数据减少效果更重要的情况下，可以根据各种情况优化减少数据的效果和防止触觉再现性劣化的效果之间的平衡。
[0364]
此外，在作为实施方式的解码器中，频带分割单元根据与外部设备通信的稳定性改变分割频率(见图18)。
[0365]
该配置使得可以在与编码数据要传输至的外部设备的通信不稳定时，改变分割频率以增强数据减少效果，即，降低通信数据的比特速率。相反，在稳定通信时，可以改变分割频率以改善触觉再现性。
[0366]
因此，可以根据通信稳定性适当地调整减少数据的效果和防止触觉再现性劣化的效果之间的平衡。
[0367]
此外，在作为实施方式的解码器中，与通信稳定性高的情况相比，在通信稳定性低的情况下，频带分割单元降低分割频率。
[0368]
该配置使得能够改变分割频率以增强数据减少效果，即，在不稳定通信时降低通信数据的比特速率。相反，在稳定通信时，可以改变分割频率以改善触觉再现性。
[0369]
因此，可以适当地调整减少或防止通信中断的发生与减少或防止触觉再现性劣化之间的平衡。
[0370]
此外，在作为实施方式的解码器中，触觉强度计算单元计算第二频带中的每个频率的触觉强度信息(参见图13中的步骤s105)。
[0371]
该配置使得可以基于编码之前的第二频带信号中的每个频率的触觉强度来再现适当的触觉强度作为第二频带的触觉强度。
[0372]
因此，可以降低或防止触觉再现性劣化。
[0373]
此外，在作为实施方式的解码器中，其中触觉强度计算单元仅针对第二频带中的一个或多个主频率计算触觉强度信息(参见图13中的步骤s106)。
[0374]
该配置使得可以基于编码之前的第二频带信号中的主频率的触觉强度来再现适当的触觉强度作为第二频带的触觉强度。
[0375]
因此，可以降低或防止触觉再现性劣化。
[0376]
此外，作为实施例的编码方法包括：频带分割步骤，将触觉信号分成作为第一频带的信号的第一频带信号和作为与第一频带不同的第二频带的信号的第二频带信号；第一编码步骤，对第一频带信号进行编码；触觉强度计算步骤，基于第二频带信号计算指示第二频带的触觉强度的触觉强度信息；以及编码数据产生步骤，用于产生包括触觉强度信息和通过编码第一频带信号获得的数据的编码数据。
[0377]
甚至根据实施例的这种编码方法也可以实现与通过根据上述实施例的解码器获得的操作和效果类似的操作和效果。
[0378]
这里，上述编码单元(24)和解码单元(34)的功能可被实现为cpu等的软件处理。基于程序执行软件处理。
[0379]
作为实施例的第一程序是使信息处理设备实现如下的程序：第一解码功能，对通过对触觉信号进行编码而获得的编码数据，对作为触觉信号中的第一频带的信号的第一频带信号进行解码，编码数据包括通过对第一频带信号进行编码而获得的数据和指示触觉信号中与第一频带不同的第二频带的触感强度的触感强度信息；第二解码功能，基于编码数据中的触觉强度信息对作为触觉信号中的第二频带的信号的第二频带信号进行解码；以及合成功能，合成通过第一解码功能解码的第一频带信号和通过第二解码功能解码的第二频带信号。
[0380]
使用这样的第一程序使得可以实现根据上述实施例的解码器。
[0381]
此外，作为实施例的第二程序是使信息处理设备实现如下的程序：频带分割功能，将触觉信号分成作为第一频带的信号的第一频带信号和作为与第一频带不同的第二频带的信号的第二频带信号；第一编码功能，对第一频带信号进行编码；触觉强度计算功能，基于第二频带信号计算指示第二频带的触觉强度的触觉强度信息；以及编码数据产生功能，产生包括触觉强度信息和通过编码第一频带信号获得的数据的编码数据。
[0382]
使用这样的第二程序使得可以实现根据上述实施例的编码器。
[0383]
上述第一程序或第二程序可以预先记录在内置于计算机设备等设备、具有cpu的微型计算机中的rom等的记录介质中。
[0384]
可替代地，这样的程序可以临时或永久地存储(记录)在可移除记录介质上，诸如软盘、致密盘只读存储器(cd-rom)、磁光(mo)盘、数字通用盘(dvd)、蓝光盘(注册商标)、磁盘、半导体存储器、存储卡等。这种可移除记录介质可用作所谓的打包软件。
[0385]
此外，第一或第二程序可从可移动记录介质安装在个人计算机等上，以及经由诸如因特网或局域网(lan)的网络从下载网站下载。
[0386]
此外，第一程序或者第二程序适合于根据实施方式的解码器或者编码器的宽范围的设置。例如，将程序下载到个人计算机、便携式信息处理设备、移动电话、游戏机、视听(av)设备等中，使得个人计算机等能够用作本技术的解码器或编码器。
[0387]
应注意，在本说明书中描述的效果仅是示例并且不受限制，并且可以存在其他效果。
[0388]
《8.本技术》
[0389]
此外，本技术还可采用以下配置。
[0390]
(1)一种解码器，包括：
[0391]
第一解码单元，被配置为：对于通过对触觉信号进行编码而获得的编码数据，解码作为触觉信号中的第一频带的信号的第一频带信号，编码数据包括通过对第一频带信号进行编码而获得的数据以及触觉强度信息，触觉强度信息指示触觉信号中的不同于第一频带的第二频带的触觉强度；
[0392]
第二解码单元，被配置为基于编码数据中的触觉强度信息解码作为触觉信号中的第二频带的信号的第二频带信号；以及
[0393]
合成单元，被配置为合成第一解码单元解码后的第一频带信号和第二解码单元解码后的第二频带信号。
[0394]
(2)根据(1)的解码器，其中，
[0395]
第一频带被设置为在比第二频带低的频率范围内的频带。
[0396]
(3)根据(1)或(2)的解码器，其中，
[0397]
针对第二频带中的每个频率计算触觉强度信息，并且
[0398]
第二解码单元基于针对每个频率计算的触觉强度信息所指示的触觉强度的总值对第二频带信号进行解码。
[0399]
(4)根据(1)或(2)中任一项的解码器，其中，
[0400]
针对第二频带中的一个或多个主频率计算触觉强度信息，并且
[0401]
第二解码单元基于由针对主频率计算的触觉强度信息指示的触觉强度对第二频带信号进行解码。
[0402]
(5)根据(1)至(3)中任一项的解码器，其中，
[0403]
第二解码单元将由触觉强度信息表示的触觉强度转换成信号振幅；并且产生具有转换后的信号振幅的周期信号作为第二频带信号的解码信号，周期信号的信号频率被设置为第二频带中的频率。
[0404]
(6)根据(5)的解码器，其中，
[0405]
周期信号具有基本上匹配触觉呈现设备的谐振频率的频率。
[0406]
(7)根据(5)或(6)的解码器，其中，
[0407]
周期信号具有基于人体的触觉敏感度特性设置的频率。
[0408]
(8)根据(5)至(7)中任一项的解码器，其中，
[0409]
周期信号具有基于人体的听觉敏感度特性设置的频率。
[0410]
(9)根据(5)至(8)中任一项的解码器，其中，
[0411]
第二解码单元基于操作设定周期信号的频率。
[0412]
(10)一种解码方法，包括：
[0413]
第一解码步骤，针对通过对触觉信号进行编码而获得的编码数据，解码作为触觉信号中的第一频带的信号的第一频带信号，编码数据包括通过对第一频带信号进行编码而获得的数据以及触觉强度信息，触觉强度信息指示触觉信号中的不同于第一频带的第二频带的触觉强度；
[0414]
第二解码步骤，基于编码数据中的触觉强度信息对作为触觉信号中的第二频带的信号的第二频带信号进行解码；以及
[0415]
合成步骤，合成在第一解码步骤中解码的第一频带信号和在第二解码步骤中解码的第二频带信号。
[0416]
(11)一种程序，使信息处理设备实现如下：
[0417]
第一解码功能，针对通过对触觉信号进行编码而获得的编码数据，解码作为触觉信号中的第一频带的信号的第一频带信号，编码数据包括通过对第一频带信号进行编码而获得的数据以及触觉强度信息，触觉强度信息指示触觉信号中的不同于第一频带的第二频带的触觉强度；
[0418]
第二解码功能，基于编码数据中的触觉强度信息对作为触觉信号中的第二频带的信号的第二频带信号进行解码；以及
[0419]
合成功能，合成通过第一解码功能解码的第一频带信号和通过第二解码功能解码的第二频带信号。
[0420]
(12)一种编码器，包括：
[0421]
频带分割单元，被配置为将触觉信号分割为作为第一频带的信号的第一频带信号和作为与第一频带不同的第二频带的信号的第二频带信号；
[0422]
第一编码单元，用于对第一频带信号进行编码；
[0423]
触觉强度计算单元，被配置为基于第二频带信号计算表示第二频带的触觉强度的触觉强度信息；以及
[0424]
编码数据产生单元，被配置为产生包括触觉强度信息和通过编码第一频带信号获得的数据的编码数据。
[0425]
(13)根据(12)的编码器，其中
[0426]
第一频带被设置为比第二频带低的频率范围内的频带。
[0427]
(14)根据(12)或(13)的编码器，其中
[0428]
第一频带和第二频带具有能够在第一频带和第二频带之间变化的分割频率。
[0429]
(15)根据(14)的编码器，其中
[0430]
频带分割单元根据与外部设备的通信的稳定性改变分割频率。
[0431]
(16)根据(15)的编码器，其中，
[0432]
相比于通信稳定性高的情况，在通信稳定性低的情况下，频带分割单元减小分割频率。
[0433]
(17)根据(12)至(16)中任一项的编码器，其中，
[0434]
触觉强度计算单元针对第二频带中的每个频率计算触觉强度信息。
[0435]
(18)根据(12)至(16)中任一项的编码器，其中，
[0436]
触觉强度计算单元仅针对第二频带中的一个或多个主频率计算触觉强度信息。
[0437]
(19)一种编码方法，包括：
[0438]
频带分割步骤，将触觉信号分割为作为第一频带的信号的第一频带信号和作为与第一频带不同的第二频带的信号的第二频带信号；
[0439]
第一编码步骤，对第一频带信号进行编码；
[0440]
触觉强度计算步骤，基于第二频带信号计算表示第二频带的触觉强度的触觉强度信息；以及
[0441]
编码数据产生步骤，产生包括触觉强度信息和通过编码第一频带信号获得的数据
的编码数据。
[0442]
(20)一种程序，使信息处理设备实现如下：
[0443]
频带分割功能，将触觉信号分割为作为第一频带的信号的第一频带信号和作为与第一频带不同的第二频带的信号的第二频带信号；
[0444]
第一编码功能，对第一频带信号进行编码；
[0445]
触觉强度计算功能，基于第二频带信号计算表示第二频带的触觉强度的触觉强度信息；以及
[0446]
编码数据产生功能，产生包括触觉强度信息和通过编码第一频带信号获得的数据的编码数据。
[0447]
附图标记列表
[0448]
1 触觉再现系统
[0449]
2 编码器
[0450]
3 解码器
[0451]
5 触觉传感器
[0452]
6 触觉呈现设备
[0453]
dc 编码的触觉数据
[0454]
24 编码单元
[0455]
25 控制单元
[0456]
26 存储单元
[0457]
27 通信单元
[0458]
34 解码单元
[0459]
35 控制单元
[0460]
38 操作单元
[0461]
39 显示单元
[0462]
41 控制单元
[0463]
42 通信单元
[0464]
24a 信号输入单元
[0465]
24b 频带分割单元
[0466]
24c 低频信号编码单元
[0467]
24d 触觉强度计算单元
[0468]
24e 复用器
[0469]
34a 编码数据输入单元
[0470]
34b 解复用器
[0471]
34c 低频信号解码单元
[0472]
34d 触觉强度获取单元
[0473]
34e 高频信号产生单元
[0474]
34f 频带合成单元

技术特征：

1.一种解码装置，包括：第一解码单元，被配置为对于通过对触觉信号进行编码而获得的编码数据，解码作为所述触觉信号中的第一频带的信号的第一频带信号，所述编码数据包括通过对所述第一频带信号进行编码而获得的数据以及触觉强度信息，所述触觉强度信息指示所述触觉信号中的不同于所述第一频带的第二频带的触觉强度；第二解码单元，被配置为基于所述编码数据中的所述触觉强度信息解码作为所述触觉信号中的所述第二频带的信号的第二频带信号；以及合成单元，被配置为合成所述第一解码单元解码后的所述第一频带信号和所述第二解码单元解码后的所述第二频带信号。2.根据权利要求1所述的解码装置，其中，所述第一频带被设置为在比所述第二频带低的频率范围内的频带。3.根据权利要求1所述的解码装置，其中，针对所述第二频带中的每个频率计算所述触觉强度信息，并且所述第二解码单元基于针对每个频率计算的所述触觉强度信息所指示的所述触觉强度的总值对所述第二频带信号进行解码。4.根据权利要求1所述的解码装置，其中，针对所述第二频带中的一个或多个主频率计算所述触觉强度信息，并且所述第二解码单元基于由针对所述主频率计算的所述触觉强度信息指示的所述触觉强度对所述第二频带信号进行解码。5.根据权利要求1所述的解码装置，其中，所述第二解码单元将由所述触觉强度信息指示的所述触觉强度转换成信号振幅；并且产生具有转换后的信号振幅的周期信号作为所述第二频带信号的解码信号，所述周期信号的信号频率被设置为所述第二频带中的频率。6.根据权利要求5所述的解码装置，其中，所述周期信号具有基本上匹配触觉呈现设备的谐振频率的频率。7.根据权利要求5所述的解码装置，其中，所述周期信号具有基于人体的触觉敏感度特性设置的频率。8.根据权利要求5所述的解码装置，其中，所述周期信号具有基于人体的听觉敏感度特性设置的频率。9.根据权利要求5所述的解码装置，其中，所述第二解码单元基于操作设置所述周期信号的频率。10.一种解码方法，包括：第一解码步骤，针对通过对触觉信号进行编码而获得的编码数据，解码作为所述触觉信号中的第一频带的信号的第一频带信号，所述编码数据包括通过对所述第一频带信号进行编码而获得的数据以及触觉强度信息，所述触觉强度信息指示所述触觉信号中的不同于所述第一频带的第二频带的触觉强度；第二解码步骤，基于所述编码数据中的所述触觉强度信息对作为所述触觉信号中的所述第二频带的信号的第二频带信号进行解码；以及合成步骤，合成在所述第一解码步骤中解码后的所述第一频带信号和在所述第二解码
步骤中解码后的所述第二频带信号。11.一种程序，使信息处理设备实现如下：第一解码功能，针对通过对触觉信号进行编码而获得的编码数据，对作为所述触觉信号中的第一频带的信号的第一频带信号进行解码，所述编码数据包括通过对所述第一频带信号进行编码而获得的数据以及触觉强度信息，所述触觉强度信息指示所述触觉信号中的不同于所述第一频带的第二频带的触觉强度；第二解码功能，基于所述编码数据中的所述触觉强度信息对作为所述触觉信号中的所述第二频带的信号的第二频带信号进行解码；以及合成功能，合成通过所述第一解码功能解码后的所述第一频带信号和通过所述第二解码功能解码后的所述第二频带信号。12.一种编码装置，包括：频带分割单元，被配置为将触觉信号分割为作为第一频带的信号的第一频带信号和作为与第一频带不同的第二频带的信号的第二频带信号；第一编码单元，对所述第一频带信号进行编码；触觉强度计算单元，被配置为基于所述第二频带信号计算表示所述第二频带的触觉强度的触觉强度信息；以及编码数据产生单元，被配置为产生包括所述触觉强度信息和通过编码所述第一频带信号获得的数据的编码数据。13.根据权利要求12所述的编码装置，其中，所述第一频带被设置为在比所述第二频带低的频率范围内的频带。14.根据权利要求12所述的编码装置，其中，所述第一频带和所述第二频带具有能够在所述第一频带和所述第二频带之间变化的分割频率。15.根据权利要求14所述的编码装置，其中，所述频带分割单元根据与外部设备的通信的稳定性改变所述分割频率。16.根据权利要求15所述的编码装置，其中，与通信稳定性高的情况相比，在通信稳定性低的情况下，所述频带分割单元减小所述分割频率。17.根据权利要求12所述的编码装置，其中，所述触觉强度计算单元针对所述第二频带中的每个频率计算所述触觉强度信息。18.根据权利要求12所述的编码装置，其中，所述触觉强度计算单元仅针对所述第二频带中的一个或多个主频率计算所述触觉强度信息。19.一种编码方法，包括：频带分割步骤，将触觉信号分割为作为第一频带的信号的第一频带信号和作为与第一频带不同的第二频带的信号的第二频带信号；第一编码步骤，对所述第一频带信号进行编码；触觉强度计算步骤，基于所述第二频带信号计算指示所述第二频带的触觉强度的触觉强度信息；以及
编码数据产生步骤，产生包括所述触觉强度信息和通过编码所述第一频带信号获得的数据的编码数据。20.一种程序，使信息处理设备实现如下：频带分割功能，将触觉信号分割为作为第一频带的信号的第一频带信号和作为与第一频带不同的第二频带的信号的第二频带信号；第一编码功能，对所述第一频带信号进行编码；触觉强度计算功能，基于所述第二频带信号计算表示所述第二频带的触觉强度的触觉强度信息；以及编码数据产生功能，产生包括所述触觉强度信息和通过编码所述第一频带信号获得的数据的编码数据。

技术总结

根据本技术的解码装置包括：第一解码单元，被配置为对于通过对触觉信号进行编码而获得的编码数据，解码作为触觉信号中的第一频带的信号的第一频带信号，编码数据包括通过对第一频带信号进行编码而获得的数据以及触觉强度信息，触觉强度信息指示触觉信号中不同于第一频带的第二频带的触觉强度；第二解码单元，被配置为基于编码数据中的触觉强度信息解码作为触觉信号中的第二频带的信号的第二频带信号；以及合成单元，合成第一解码单元解码后的第一频带信号和第二解码单元解码后的第二频带信号。频带信号。频带信号。