阿里云也可以预测世界杯了:阿里云宣布ODPS开放数据处理服务商用,可在6小时内处理100PB数据

时间:2014-07-09 来源:36氪

近一段时间最热门的话题莫过于世界杯了,在科技领域和世界杯相关的最热门话题,则莫过于Google利用大数据成功预测了本届世界杯的16强。

具体的预测方式是,Google使用了来自Opta Sports的数据,评估了每个职业足球联盟过去多个赛季的情况,以及世界杯小组赛期间的统计数据,根据对球员此前比赛中表现的分析,Google对球员在世界杯上的表现进行了预测。

网络上有不少朋友一直在调侃,什么时候BAT也可以利用大数据平台来预测下中国队踢进世界杯的概率什么的(其实压根就用不着......)。事实上,这真的是可以做到的,今天阿里云宣布自有的大数据产品ODPS正式开放商用,只要有合适的数据,个人用户也可以对世界杯进行预测。

阿里云ODPS开放数据处理服务(Open Data Processing Service,简称 ODPS),是基于飞天分布式平台,由阿里云自主研发的海量数据离线处理服务,有点类似Google的BigQuery云数据分析引擎。

ODPS以RESTful API的形式提供针对PB级别数据的、实时性要求不高的批量结构化数据存储和计算能力,主要应用于数据分析与统计、数据挖掘、商业智能等领域。阿里金融、淘宝指数、数据魔方等阿里巴巴关键数据业务的离线处理作业都运行在ODPS上。

阿里云ODPS正式开放商用,一方面主要针对对数据处理有比较高要求的创业型公司,不用花精力自己建造数据中心,可以将ODPS作为像云存储和推送一样的基础服务来使用。阿里表示,ODPS可在6小时内处理100PB数据。

二是在公共领域的应用,例如之前华大基因利用ODPS进行基因测序,耗时不到传统方式的十分之一;药监部门可以利用ODPS,全程监管药品流向,解决假药问题等等。

据36氪了解,其实早在2011年阿里就开始尝试将ODPS开放商业化,但由于技术限制,以及具体的使用场景模糊等原因,ODPS的进展一直比较缓慢。据阿里云产品经理汤子楠透露,去年阿里云突破了单集群5000台的限制,为ODPS提供了很好的技术契机。

然后ODPS之前一直在阿里内部进行测试,其中阿里小贷就是ODPS的首批测试产品。据36氪了解,现在有超过36万人从阿里小贷借款,最小贷款额1块钱,并实现3分钟申请、1秒放款、0人工干预;阿里小贷每天得处理30PB数据,包括店铺等级、收藏、评价等800亿个信息项,运算100多个数据模型,甚至得测评小企业主对假设情景的掩饰和撒谎程度......这些数据全部跑在ODPS上。