es对⼏⼗亿数据能达到秒级响应吗_⼗亿级数据，秒级响应观远数据重磅发布「极速分析引擎」⿊科技... 从Excel、报表系统到传统BI，企业数据分析⼯具进化的同时，背后需要⽀持的数据承载量也在以更快的速度⼀路攀升。
(各数据分析⼯具适合承载的数据量)
以⼀家连锁零售企业为例，如果门店有2000家，在售SKU有5000个，⼀天单店单品库存数据量就达到了1000万，⼀周就可能破亿。挂链
为了能让性能跟上企业数据发展的速度，确保⽤户在亿级、⼗亿级数据集的基础上还能做丝滑的拖拽式数据分析和动态查询，同时⼜不会给IT⼈员带来额外的数据管理与运维压⼒。观远数据在2019开始研究基于海量数据计算查询的加速组件，并于2020年3⽉正式推出“极速分析引擎”⿊科技功能，真正做到⼗亿级数据秒级响应。 “极速分析引擎”是嵌⼊在观远⼀站式智能数据分析平台中的⼀套计算查询加速组件，在集模式下最快⽀持⼗亿级以上数据秒级响应速度。适⽤于零售⾏业⼤数据量、⼤宽表、⾼并发的数据分析情况，⽐如海量库存数据聚合分析与查询、订单分析、商品分析等场景。可以满⾜业务⼈员持续的探索式⾃助分析、即席查询、动态分析的需求，保持连贯的分析思路，打造沉浸式分析体验，深挖数据价值，⾼效洞悉业务。
氟苯尼考琥珀酸钠“极速分析引擎”到底有多快？我们在实验室环境下做了⼀个性能测试。测试的机器为16核128G内存的单节点，未做加速组件的独⽴部署(实际上加速组件可单独部署，加速效果更明显)。
以上案例中，我们模拟了某零售客户基于订单商品明细数据的任意时间区段销量、销售额、成本的聚合分析。
可以看到，左右两张表都是基于同⼀张1亿⾏的订单明细表进⾏聚合分析。区别在于左边的表是使⽤的是Guan-Index数据集，是利⽤Spark 计算引擎来进⾏计算的。⽽右边的表则是使⽤“⾼性能查询表”，利⽤“极速分析引擎”来做加速查询的。不难发现，在切换⽇期区间时，右侧表格基本上能够在2~3秒内返回计算结果，⽽左侧表格则需要10秒才能返回，整体的性能提升达到3~5倍，真正做到亿级数据秒级响应。
还是基于以上数据，我们再做⼀下⾃由拖拽式的数据分析进⾏测试。从Demo中可以看到，基于1亿⾏订单明细数据的⾃由拖拽分析，也可以做到秒级响应，丝滑体验。
如此强⼤的功能要怎么使⽤？
当⽤户导⼊千万级以上Guan-Index数据集，或者通过Smart ETL⽣成同等体量的数据集后，想要使⽤“极速分析引擎”来进⾏查询加速时，我们可以⼤致分三步进⾏操作。
1、配置数据集
制作音箱
rbd506我们可以进⼊到数据集详情页“⾼级选项”栏，将数据集配置为“⾼性能查询表”。
⽤户需要设置分区字段——分区是为了数据在存储时能合理地分⽚，以减少数据查询时的数据扫描。⼀般建议使⽤⽇期字段来做分区，分区⽅式建议设置为“⽉”或者“⽇”。使⽤⽇期字段做分区，可以有效地控制分区数量，不⾄于把分区做得过粗或者过细。如果没有⽇期字段，也可以谨慎选择其他字段进⾏分析，这时需要控制好分区字段的枚举数量，⼀定不要选择类似订单ID之类的流⽔号，或者数值类字段作为分区字段。
申智惠3、确认执⾏
配置完分区字段后，点击“确认”即可以开始模式切换。数据集数据量⼤的时候，数据导⼊需要花费⼀定的时间，请耐⼼等候。内部测
试，3亿⾏*26列的数据集导⼊花费12min左右。数据集更新也会触发数据重新导⼊，因此⼀般建议⾼性能查询表更新频率不超过⼀天⼀次。
以下就是⼀个配置了“⾼性能查询表”的ETL输出数据集，我们看到表⾯看起来它似乎与⼀般的ETL输出数据集并⽆⼆异。但我们在使⽤它创建卡⽚时，却是利⽤“极速查询引擎”来查询数据，能够提供飞⼀般的体验。
“极速分析引擎”适⽤于哪些场景？
⽬前，“⾼性能查询表”适⽤于数据量⼤于等于1000万⾏以上的数据集，可⼤⼤加速卡⽚端数据查询的效率。并且特别适合海量数据下的OLAP查询，适合在⼤宽表上做任意维度的数据聚合、切⽚(筛选)，也可以做明细数据的查询。这些查询相⽐直接使⽤Spark作为计算引擎，⼀般都能提供3~5倍的性能提升，如果硬件资源宽裕，将加速组件独⽴部署，将能获得更为优越的极速体验。
>折叠水杯
