您的位置：首页 >市场 >

你不经意的拖拽，我已经处理完亿万数据！

时间：2017-10-12 11:50:00 来源：网络整理

第一部分：市场需求

性能问题是各大金融企业的“难言之隐”，家家都有这本难念的经!!

在以数据化运营为基础的金融行业，结构化的数据动辄上亿，甚至几十亿、上百亿，然而客户沿用的传统关系数据库以及报表软件越来越不能满足及时性数据分析需求。虽然Self-service(自助BI)被赋予了历史使命——让业务人员自己完成统计分析，但也同样难以解决效率的难题，从来没有得到相对理想的解决(低成本、高性能)!

第二部分：必要性

没有高性能作为前提，自助式BI只能是“看上去很美”!

自助式BI近2年来逐渐兴起，越来越多的客户希望靠自助式BI控制IT人员成本，同时提高数据分析的效率。可是这看上去很美好的解决方案，却一直遭受着源于性能的疑虑，无论数据平台的建设方案是数千万的老牌MPP数据仓库，还是数百万的Hadoop集群。

我们(Smartbi)一直努力提供给客户高性能的数据分析解决方案，终于在7月份与Vertica的战略合作后，结出了令人激动的硕果——Smartbi Insight V7.1高性能版。从这个版本开始，Smartbi的自助分析服务将迈入秒级阶段，让业务人员的数据分析更高效，让科技人员不再为性能调优而苦恼!

第三部分：事实证明

超越想象，普通笔记本分析亿级数据只要几秒钟!

Smartbi只做最真实的测试，用事实来证明V7.1的高性能，这将是你难得一见的时刻。

如图所示，我们测试的电脑是一台2013年的thinkpad笔记本，售价不到6000，用鲁大师检测硬件配置如下：

而用于测试的数据包括1份数据2个模型——星型和宽表，其中星型包括产品、客户、地理三个维度，事实表0.98亿条记录，维度表数百条记录。做过性能测试的朋友一看就知道，这样一个星型模型，如果交给业务人员自己拖拽分析数据，性能是很有问题的，数据库配置不好的情况下还能直接跑死系统，更别说是一台这么普通的一台笔记本电脑了!

接下来，我们基于这个数据模型，考虑到自助分析的场景，构建了三大类22个测试案例，以确保客观合理的测试案例覆盖度。比如用户会以年为条件，进行同期增长率的计算等等。

交代好性能测试的基本情况，我们不兜圈，直接来看测试结果：

简言之，星型模型因为要进行关联操作，平均响应时间为13.3秒(6.7秒——17.1秒)，宽表模型没有关联操作，平均响应时间为4.5秒(2.7秒——6.3秒)，总体平均为9秒!是的，你没看错，无论怎样拖拽的自助分析，平均9秒!!测试结果后，我们和你一样感到兴奋，Smartbi Insight V7.1居然可以在一台几年前的普通笔记本电脑上对1亿大数据量的自助探索在区区几秒完成分析查询!!

第四部分：性能总结

如果你还对这个测试结果有一丝丝疑虑，是不是这台电脑的配置作弊了，是不是数据库做特别优化了!别担心，我们很严谨的找了3台公司笔记本电脑进行了更多性能测试，都使用的默认安装(数据库还是在虚拟机里运行的)。所以，我们可以很负责任的大声说：笔记本探索亿级数据分析，确实可以做到!!

大数据时代，得性能者得天下，尤其是提供自助分析功能的BI工具，数据分析的响应速度一定要能跟上业务人员的思维。Smartbi顺势而为，希望能为大数据分析行业贡献新的起点，创造新的价值!

如果你对大数据分析的性能感兴趣，愿意加入我们一起进行测试、调优和研讨，请关注我们的公众号或者官网，后续的活动等着你!当然我们也不怕挑战，Come on!

2017年9月秋分 Smartbi老麦

郑重声明：文章仅代表原作者观点，不代表本站立场；如有侵权、违规，可直接反馈本站，我们将会作修改或删除处理。