一种用于生成周期指标数据的数据处理方法及装置

本发明涉及数据处理技术领域，具体涉及一种用于生成周期指标数据的数据处理方法及装置。

目前，大数据分析越来越受到青睐，尤其是人工智能兴起的当下，大数据是其重要支撑。对于一些互联网公司，尤其是提供平台的互联网公司，对其数据指标的统计分析，可以为公司的战略决策提供情报基础。

指标数据流具有获取速度快、信息量大、数据不稳定等特点，传统的指标生成方法在进行数据分析时，数据库从用户数据的分析过程中得到的不同指标量，对成千上万条用户数据进行去重和累加计算。然而，这种方式并不能够很好的解决周期统计问题。

本发明要解决现有技术无法解决周期统计的技术问题，从而提供一种用于生成周期指标数据的数据处理方法及装置。

本发明的一方面，提供了一种用于生成周期指标数据的数据处理方法，包括：接收周期指标数据的申请请求，其中，所述申请请求携带有所申请的周期指标数据的维度、维度属性和指标；从预先设置的指标维度关系表中确定出所申请的周期指标数据的维度和指标的指标维度关系，所述指标维度关系用于表示维度和指标的组合；确定所申请的周期指标数据的统计时间周期和当前日期；按照所述统计时间周期对所申请的周期指标进行优先级排序，生成周期指标表；将所申请的周期指标数据的维度属性与所述周期指标表进行关联，得到所申请的周期指标数据的维度、维度属性和指标的组合；依据所申请的维度和指标的组合按照所述统计时间周期从数据仓库中获取对应的周期指标数据，写入到所述周期指标表。

可选地，依据所申请的维度和指标的组合按照所述统计时间周期从数据仓库中获取对应的周期指标数据包括：确定所申请的维度和指标的组合对应的SQL语句；向所述SQL语句输入所述当前日期，根据所述统计时间周期和所述当前日期自动生成数据汇总的时间段；执行确定出的所述SQL语句，从所述数据仓库中获取所述时间段内的周期指标数据。

可选地，所述统计时间周期包括：日、周和月，依据所申请的维度和指标的组合按照所述统计时间周期从数据仓库中获取对应的周期指标数据包括：对于同一个SQL语句，判断所述统计时间周期是否为周或者月；当所述统计时间周期为周或者月时，先获取所述统计时间周期为周或者月的周期指标数据，再获取所述统计时间周期为日的周期指标数据。

可选地，每一个维度和指标的组合对应一个预先编写好的SQL语句。

可选地，确定所申请的维度和指标的组合对应的SQL语句包括：从指标SQL配置表中查所申请的指标对应的SQL模板，其中，所述指标SQL配置表中配置有指标及其对应的不同维度的SQL模板；按照所申请的维度从查到的SQL模板中确定出所申请的维度和指标的组合对应的SQL语句。

可选地，从预先设置的指标维度关系表中确定出所申请的周期指标数据的维度和指标的指标维度关系包括：从维度属性表中获取所申请的周期指标数据的维度名称和维度ID；从指标信息表中获取所申请的周期指标数据的指标名称和指标ID；在所述指标维度关系表中查获取到的维度名称和维度ID以及指标名称和指标ID以确定出所申请的周期指标数据的维度和指标的组合。

可选地，所述维度属性表配置有维度ID、维度代码、维度名称、维度属性ID、属性值以及属性名称的对应关系。

可选地，所述指标信息表配置有指标分类ID、指标分类代码、指标分类名称、指标ID、指标代码以及指标名称的对应关系。

可选地，将所申请的周期指标数据的维度属性与所述周期指标表进行关联，得到所申请的周期指标数据的维度、维度属性和指标的组合包括：从维度属性表中确定所申请的周期指标数据的维度属性名称以及维度属性与维度之间的对应关系；依据所述维度属性与维度之间的对应关系将维度属性与所述周期指标表进行关联。

本发明的另一方面，提供了一种用于生成周期指标数据的数据处理装置，包括：接收单元，用于接收周期指标数据的申请请求，其中，所述申请请求携带有所申请的周期指标数据的维度、维度属性和指标；第一确定单元，用于从预先设置的指标维度关系表中确定出所申请的周期指标数据的维度和指标的指标维度关系，所述指标维度关系用于表示维度和指标的组合；第二确定单元，用于确定所申请的周期指标数据的统计时间周期和当前日期；生成单元，用于按照所述统计时间周期对所申请的周期指标进行优先级排序，生成周期指标表；关联单元，用于将所申请的周期指标数据的维度属性与所述周期指标表进行关联，得到所申请的周期指标数据的维度、维度属性和指标的组合；获取单元，用于依据所申请的维度和指标的组合按照所述统计时间周期从数据仓库中获取对应的周期指标数据，写入到所述周期指标表。

根据本发明实施例，通过按照统计时间周期进行优先级排序，形成周期指标表，从数据仓库指标维度关系表中，根据已申请的维度指标计算后，写入周期指标表，生成周期指标数据，从而使指标以周期表出数的方式生成，有利于周期指标的统计和分析。

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中用于生成周期指标数据的数据处理方法的一个具体示例的流程图；

图2为本发明实施例中确定维度和指标的指标维度关系的一个具体示例的流程图；

图3为本发明实施例中获取周期指标数据的一个具体示例的流程图；

图4为本发明实施例中数据流向的一个具体示例的流程图；

图5为本发明实施例中用于生成周期指标数据的数据处理装置的一个具体示例的原理框图。

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本实施例提供一种用于生成周期指标数据的数据处理方法，应用于计算机设备上，如图1所示，该方法包括：

步骤S101，接收周期指标数据的申请请求，其中，所述申请请求携带有所申请的周期指标数据的维度、维度属性和指标。

该申请请求可以由用户(公司领导、产品经理等)发起，该申请请求可以是多人发起的，也可以是一个人发起的。例如，某互联网公司的领导需要查看该公司维护的互联网平台的周期指标，以了解当前平台运行情况，此时，可以选择需要查看的指标和对应的维度，通过终端发起该申请请求。

可选地，本发明实施例中，可以在申请请求之后设置审批流程，预先配置审批人和审批的指标等规则。具体审批流程包括：对所述申请请求进行审批。具体审批请求方是否拥有查看相应的指标周期的权限，如果有，则通过审批；反之，则予以驳回。

步骤S102，从预先设置的指标维度关系表中确定出所申请的周期指标数据的维度和指标的指标维度关系，所述指标维度关系用于表示维度和指标的组合。

步骤S103，确定所申请的周期指标数据的统计时间周期和当前日期。

步骤S104，按照所述统计时间周期对所申请的周期指标进行优先级排序，生成周期指标表。

本发明实施例可以按照统计时间周期的长短进行优先级排序，例如，周期越短，优先级越高。排序之后生成周期指标表，该周期指标表为不包含周期指标数据的表单，其上包含有要统计的指标和对应的维度，以及统计时间周期和优先级。

步骤S105，将所申请的周期指标数据的维度属性与所述周期指标表进行关联，得到所申请的周期指标数据的维度、维度属性和指标的组合。

维度属性是对维度进行的细分，例如，“城市”包含北京、上海、深圳、广州等属性；“平台”包含小程序、APP、PC端等属性。

步骤S106，依据所申请的维度和指标的组合按照所述统计时间周期从数据仓库中获取对应的周期指标数据，写入到所述周期指标表。

根据已申请的维度指标，按照统计时间周期从数据仓库的指标维度关系表中计算得出周期指标数据，写入到上述周期指标表中，从而完成周期指标的统计。将该周期指标表输出给申请人进行查看。在进行统计计算时，可以按照优先级顺序从数据仓库中逐个获取所申请的维度和指标的组合对应的周期指标数据。

根据本发明实施例，通过按照统计时间周期进行优先级排序，形成周期指标表，从数据仓库指标维度关系表中，根据已申请的维度指标计算后，写入周期指标表，生成周期指标数据，生成周期指标，有利于周期指标的统计和分析。

作为本发明实施例的一种可选实施方式，如图2所示，上述实施例中所述的步骤S102具体包括：

步骤S1021，从维度属性表中获取所申请的周期指标数据的维度名称和维度ID；

步骤S1022，从指标信息表中获取所申请的周期指标数据的指标名称和指标ID；

步骤S1023，在指标维度关系表中查获取到的维度名称和维度ID以及指标名称和指标ID以确定出所申请的周期指标数据的维度和指标的组合。

其中，维度属性表配置有维度ID、维度代码、维度名称、维度属性ID、属性值以及属性名称的对应关系；指标信息表配置有指标分类ID、指标分类代码、指标分类名称、指标ID、指标代码以及指标名称的对应关系。

以土巴兔装修网的指标数据举例说明，指标信息表如表1所示：

表1

维度属性表如表2所示：

表2

上述表1和表2中所述的指标分类代码、指标代码和维度代码主要用于SQL语句中代表相应的分类、指标和维度。

从上述两张表中确定出的指标和维度的组合，示例如表3所示：

表3

作为另一中可选的实施方式，上述步骤S104可以包括：从维度属性表中确定所申请的周期指标数据的维度属性名称以及维度属性与维度之间的对应关系；依据维度属性与维度之间的对应关系将维度属性与周期指标表进行关联。

本发明实施例中，通过建立维度属性与周期指标表之间的关联关系，使得在进行周期指标数据统计时，能够统计出相应维度下各维度属性的指标数据，从而得到该维度的较为准确的指标数据。

可选地，本发明实施例中，可以预先配置指标SQL配置表，在其中配置指标及其对应的不同维度的SQL模板，多个指标可以用一个SQL写出，而一个SQL只能归属于一个指标分类，这使得在进行周期指标统计时，直接获取对应的SQL语句，执行该语句即可获取到对应的周期指标数据。具体地，如图3所示，上述步骤S106可以包括：

步骤S1061，确定所申请的维度和指标的组合对应的SQL语句；

步骤S1062，向所述SQL语句输入所述当前日期，根据所述统计时间周期和所述当前日期自动生成数据汇总的时间段；

步骤S1063，执行确定出的所述SQL语句，从所述数据仓库中获取所述时间段内的周期指标数据。

以“小程序”维度的流量指标组合对应的SQL语句为：

select'MPRO'as plat,sum(case when event＝'pv'then 1 else 0 end)as pv,count(distinct cookie)as uv from ods.ods_user_event_tracking where dt between${date_begin}and${date_curr}and from_unixtime(int(substr(cur_time,1,10)),'yyyyMMdd')between${date_begin}and${date_curr}and(app＝'houseDesign'or instr(app,'mpro')<>0)

具体地，在统计周期指标数据时，需要传入至少两个参数，1为统计时间周期，2为当前日期，3为配置sql id(可选，用于选择对应的SQL语句)。

脚本作用：在数据看板集市生成和流量域有关的汇总周期指标(流量域的指标包含不可累加的指标，如au、uv等，以后只要有不可累加的指标加入，则需要再设计一个类似的脚本)。

usage:panel_flow_ind.sh[1：日，2：周，3：月]<yyyymmdd>

1：统计时间周期，控制是生成日表、周表还是月表数据。

2：当前日期，输入20180419，配合周期2：周，则会生成20180412-20180419的本周截止数据日期前的汇总数据，配合周期3：年，则会生成20180319-20180419的本月截止数据日期前的汇总数据。

进一步地，本发明实施例所述统计时间周期包括：日、周和月，依据所申请的维度和指标的组合按照所述统计时间周期从数据仓库中获取对应的周期指标数据包括：

对于同一个SQL语句，判断所述统计时间周期是否为周或者月；

当所述统计时间周期为周或者月时，先获取所述统计时间周期为周或者月的周期指标数据，再获取所述统计时间周期为日的周期指标数据。

具体地，如果脚本周期是1，那么只遍历cycle为1且生效的记录。

如果脚本周期是2，那么同一个conf_id，优先取cycle是2(周汇总)的记录，再取cycle是1的记录(没有周汇总记录，那么周汇总是由日汇总记录加上数据区间得到的)。

如果脚本周期是3，那么同一个conf_id，优先取cycle是3(月汇总)的记录，再取cycle是1的记录。

进一步优选地，上述确定所申请的维度和指标的组合对应的SQL语句包括：从指标SQL配置表中查所申请的指标对应的SQL模板；按照所申请的维度从查到的SQL模板中确定出所申请的维度和指标的组合对应的SQL语句。

本发明实施例的数据流向如图4所示，其中，hive层到dim层是目前指标的出数途径。仓库层到dm层表示遵照特定规则出数，如group by求sum和count(distinct)。仓库层内的流向表示可参照数据后台汇总到集市口径生成仓库数据。

本发明实施例的还提供了一种用于生成周期指标数据的数据处理装置，该装置可以用于执行本发明实施例的所提供的数据处理方法，如图5所示，该装置包括：接收单元10、第一确定单元20、第二确定单元30、生成单元40、关联单元50和获取单元60。

接收单元10用于接收周期指标数据的申请请求，其中，所述申请请求携带有所申请的周期指标数据的维度、维度属性和指标；

第一确定单元20用于从预先设置的指标维度关系表中确定出所申请的周期指标数据的维度和指标的指标维度关系，所述指标维度关系用于表示维度和指标的组合；

第二确定单元30用于确定所申请的周期指标数据的统计时间周期和当前日期；

生成单元40用于按照所述统计时间周期对所申请的周期指标进行优先级排序，生成周期指标表；

关联单元50用于将所申请的周期指标数据的维度属性与所述周期指标表进行关联，得到所申请的周期指标数据的维度、维度属性和指标的组合；

获取单元60用于依据所申请的维度和指标的组合按照所述统计时间周期从数据仓库中获取对应的周期指标数据，写入到所述周期指标表。本发明实施例的接收单元10、第一确定单元20、第二确定单元30、生成单元40、关联单元50和获取单元60的具体功能可以参见本发明上述实施例的数据处理方式的步骤S101-S106，这里不再赘述。

根据本发明实施例，通过按照统计时间周期进行优先级排序，形成周期指标表，从数据仓库指标维度关系表中，根据已申请的维度指标计算后，写入周期指标表，生成周期指标数据，生成周期指标，有利于周期指标的统计和分析。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本申请的保护范围之中。