（点击上方蓝色字“东航信息部IT百分百”
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”
什么是大数据，目前还没有统一的定义。这里使用工业和信息化部电信研究院“大数据白皮书”中的定义：“大数据是具有体量大、结构多样、时效强等特征的数据”。体量大是指数据量至少P级（TB的倍）；结构多样是指具有结构化数据（可以用二维表结构来逻辑表达实现的数据）、半结构化数据（自描述的，数据的结构和内容混在一起）、非结构化数据（办公文档、文本、图片、XML、HTML、各类报表、图像和音频、视频）；时效强是指需要实时或准实时计算。因此大数据和数据仓库数据是不同的。数据仓库数据再多，它们都是结构化数据。
大数据技术涉及：
数据准备环节：数据获取与清洗、整理，类似于数据仓库技术的ETL过程，但是大数据有很多半结构化数据和非结构化数据，传统的ETL技术需要改进。
数据存储与管理环节：由于数据量大，还需适应多种数据结构存储，因此低成本、高性能存储技术非常关键。多级缓存（如IBMPOWER8系列主机配置了四级缓存）、SSD固态硬盘存储是目前主要解决方案。
计算处理环节：大数据实时和准实时处理的要求对计算资源要求很高。大数据是数据密集型计算，需要巨大的计算能力。云计算是解决方案之一。
数据分析环节：传统数据仓库建模技术和方法是不能直接应用于大数据的。缺乏成熟的大数据建模经验是大数据应用的很大挑战。大数据应用创新主要就在这一环节。
知识展现环节：不同于传统的展现或应用方式，大数据分析结果往往直接嵌入于应用系统中，如电子商务根据用户爱好展现适当的产品。
虽然大数据概念提出时间不长，但已显示出惊人的应用成果。最近最著名的案例是大数据助德国足球队夺取世界杯。德国足协和SAP公司通过联合创新引入SAPMatchInsights解决方案，该方案基于SAPHANA平台运行处理海量数据，分析球队训练、备战和比赛情况。德国国家队在世界杯早期适应阶段利用SAPMatchInsights备战，并在巴西世界杯比赛期间利用该解决方案进行赛后分析。该应用能够同步足球播报员播报的数据与球场视频片段所捕获的数据，这有利于教练更轻松地识别比赛中关键时刻。主教练比埃尔霍夫对SAPMatchInsights的功能非常满意。
在欧洲冠军联赛，欧足联与运动数据分析技术提供商STATS合作，采用SportVU追踪系统来追踪球员的运动和得分机会，通过高清摄像和物体识别技术，把足球和球员的3D位置数据抽取出来，形成实时的数据流。德国的霍芬海姆俱乐部通过在球员的护腿，球衣以及足球上安装传感器，每场比赛能够收集万条位置信息记录。包括平均速度、控球以及其他一些球员信息。这些信息通过SAP的内存实时数据分析平台HANA进行汇总、存储及分析。可以针对每个球员的优点和弱点制定个性化的训练项目。用来确保训练的有效性，减少球员伤病，以及最终提高比赛成绩。数据分析工具还能够通过对数据可视化，发现一些隐藏的趋势，以供教练和球队经理使用。比如，通过数据可视化技术，可以把零散的数据变成网状的图，以便能够更好的理解其中的内在联系。这类的分析能够帮助教练了解不同比赛情况比如天气、时间、主客场、球员伤病情况等与球队的表现的关系。
大数据在航空安全方面的应用前景也十分看好。航空安全涉及的因素很多，一些数据是非结构化数据，如飞行员健康状况、个人情绪、当时的环境、事件/事故影像资料、自愿报告系统中的数据（文字）、相关人员描述等等。结合QAR译码数据、机务维修数据、运行数据等等，分析事件/事故原因，发现潜在不安全因素。国外有人在分析航空公司安全水平时加入了所在国人均GDP数值进行参考，数据表明国家的富裕程度和该国航空的事故率之间的相关性非常大。安全性排名前十的航空公司中，两家来自美国，两家来自英国，其余分别来自加拿大、澳大利亚等。而排名最靠后的十家航空公司则分别来自哥伦比亚、埃及。
我们再来看看腾讯应用大数据的案例。腾讯拥有QQ、
比如说你在某一个地点分享一个图片，推送一个信息，只要有很少的资料，腾讯就可以估计到有多大的概率，你会在什么地方会出现。腾讯做这个研究是因为他们发现这个研究有很大的商用价值：你可能去某个地方旅行或者去某一个ShoppingMall，腾讯会推送很多相关信息——冰激凌打折，电影票送爆米花等等。如果腾讯知道每个人什么时间到什么地方，就可以推送一些相关的广告，加上你的口味和喜好，广告的成功率就会提高。
我发现现在所谓的大数据应用案例，很大一部分并不能算大数据应用，只是传统意义上的数据仓库应用而已。因为大数据成为了热门词汇，大家都往上靠。真正的大数据应用是需要强大的技术能力、业务创新能力。大数据应用魅力无穷，但需要我们脚踏实地，好好学习，应用创新思维去采摘美丽而又美味的果实。
东航信息部IT百分百(ID:donghang_it)
?无论在哪，每个工作日，百分百始终陪伴
北京白癜风专科医白癜风医院重庆哪家好
转载请注明：http://www.shangwuyingyua.com/swyykc/4478.html
