|

楼主 |
发表于 2017-1-25 07:47:11
|
显示全部楼层

3年前,中国移动、联通、电信三大运营商第一次同时发力,将大数据中心选址在西南腹地的贵州,在业界引起不小轰动。
3年后的今天,三位“邻居”在贵安新区的数据中心建成商用了,贵州全省数据中心服务器承载能力预计达到40万台,集聚了教育部、公安部、中科院以及淘宝、腾讯、爱奇艺等一批国际国内数据资源。
在贵州大数据机房里面,浩瀚如海、分分秒秒都在跳动的数据,是怎样安然存放的?除了定制服务、低耗能运营之外,还有哪些不为人知的秘密?近日,记者走进中国移动贵州公司大数据运营中心,采访了一群眼睛看不见数据、手心却能掌控和应用数据的“数据库管员”。
坐落在贵安新区的中国移动(贵州)大数据中心有效提高资源利用率,机房单体面积达到2.4万平方米,使运行成本更节约。
毫秒级定位: 快速找到你需要的数据
这是一幅关于大数据中心的3d可视化呈现系统:从宏观的园区景象、楼宇结构,到具体每一个机房设备的内部构造、存放位置,都能在屏幕上看到仿真图像,并且尺寸比例十分精准。
软件开发者在建模之初,实地测量了数据中心每一寸地方,确保模型数据准确无误。现在,用鼠标点击进去,该中心每个角落的情况清清楚楚。
“这个可视化呈现系统像一栋‘“智能库房’”,能只需5秒钟时间,以毫秒级的速度快速定位获取到所需要数据的物理位置、关联设备、数据类型等等所有资料。”中国移动贵州公司总经理刘雪峰认为,“先进的大数据中心管理,绝不是简单地看管数据,而是运筹帷幄,随时在‘库房’中查找调用到所需的‘货物’”。
“我们可不是普通平凡的‘库管员’。”移动贵州公司董事长刘雪峰认为,先进的大数据中心管理,不仅是简单地看管数据,而是运筹帷幄,随时查找调用到任何“货物”。
“我们可不是普通平凡的‘库管员’。”好比一部手机放在桌子上,很容易被发现,但如果存放在有着千万部一模一样手机的库房中,再来找这部手机,就十分困难了。“数据中心将数据形成‘块数据’,打造了一套方便管理的系统,自动查找的同时,还不会弄乱数据。” 刘雪峰说。
系统工程建设师贾纲演示了一遍可视化呈现系统的操作过程。他告诉记者,这套系统投入了2000万元开发费用,现在正对贵州移动大数据中心一期机房试管理运行,以后不仅库管人员能操作,企业和部门也可以自己管理。
“有了这套先进的软件,以后数据中心新建再多的服务器、存放再多的数据资源,也不用担心了,我们照样在最短时间内,整理好数据,抓取到数据。”
分级报警: 角色化处理维护数据安全
系统屏幕上,一些红色圆点正在各处闪烁。1月18日上午11时,数据中心共发出1868个物理报警。
这么多报警信息,如果放在普通库房,库管人员估计已经开始抓狂了。
2016年7月30日一次因为机房故障造成的网络事故,至今还历历在目。中午12时45分,人们突然发现,微信消息刷不出,微信红包抢不了。全国一片哗然,质问声中,事件影响程度持续发酵,一直到半个多小时之后,这些功能才逐步恢复。
“一般的大数据机房,每天会发出十几万条报警信息,而其中只有百分之一是需要处理的事故。”中国移动贵州公司大数据运营中心总经理李文华说,通常需要人工去一个个查找、辨别事故地点和原因,但大多数工作都是没有意义的。
那么,贵州的数据中心是怎样从容面对的呢?
还是这套3d可视化呈现系统。当1868个物理报警发出后,系统立即进行分级,定位到需要处理的事件,再进一步分析出事故具体位置在哪里?是软件问题,还是硬件问题?是网络断了,还是遭受到信息安全攻击?是内存过高,还是温度和湿度不当?
这一系列繁琐的问题,软件会在5秒钟之内得出结果,然后实时发送到管理人员的手机上,再由他们决定,派哪类角色的工作人员到达现场处理事故。
“存储 管理 调用 维护,这才叫‘聚’数据。”李文华的观点是,再多的数据,不能精确定位、不能有效维护,都是无序存在,终有一天会变成一堆无用的垃圾,“角色化处理,可以摒弃垃圾报警,大幅降低人员成本,为提取和应用提供了一个安全有序的数据库。”
在“云上贵州”,政府正在打通各部门之间的数据资源,并对公众分级开放,促使大家共享共用。
当库房里流动的各种数据打开“小门”,获得一定权限内的融汇贯通之后,产生了各种应用,各自精彩,在政、商、民领域释放出大作用。
2016年3月份,贵州新农合数据验证系统发现,一位姓陈的病人因胃病住院治疗,但他在住院期间不止开胃药,又开结核用药,而且去做了没必要的细菌培养治疗。
用药与诊治不匹配、过度医疗等等异常行为,被系统如实报告给管理部门,结果该病人和就诊医院都被及时调查和处理。
“数据静静待在库房里面,不会发生任何事情。”数据分析师黄建华说,“一旦与其他数据碰撞‘聚变’,就会大显神威,让异常事件无所遁形。”
不合理就医、不合理用药、不合理诊疗,种种行为都逃不过数据分析的“法眼”。去年,在贵州移动新型医疗健康数据云的智能审核系统上,库房数据“狙击”了184万份疑似违规病历,挽回统筹基金损失1138万元。
不诚信,也会被数据“拒之门外”。
贵州移动正在和银行机构进行合作。贵州移动的数据机房里面拥有这些数据:全省七成以上用户的在网时长、每月话费、上网流量、漫游情况等,根据这些元素,大数据中心会算出个人数据值,包括个人的交际范围、消费习惯、消费能力等,作为金融机构发放贷款的征信数据。
“当然,这些个人数据是经过了脱敏处理的,掩去了用户的隐私信息,而且绝对不会向公众开放。”
黄建华告诉记者,他们正在进行一些有趣的试验,通过不同的算法,将一个个“小数据”脱去“个人化衣服”,汇聚成公共的“大数据”,得出服务百姓吃、住、行的数据结果:“比如我们准备用春节假日7天的数据,分析出入黔和出游的人流状况,为旅游、交通等部门决策提供佐证。” |
|