1.大数据到底是什么
各行各业在几十年的信息化过程中,随同着互联网、物联网、移动互联网、电子商务、社交网等网络信息化的推广和应用。积累了大量的历史数据,而这些新的数据还在不时增长。与此同时,数据的形态也发生了巨大的变化,以往的格式化数据正在过渡到格式化和非格式化数据共存的时代(如视频、图像、文本数据)各类数据源每天都在生成大量的数据并传输到云计算平台,以供前端数据挖掘、模型建设、数据分析以及数据可视化展现等使用,为各业务层提供服务,真正地实现了让数据说话。大数据与其他行业之间的关系如图1-1所示。
目前所用的电就是按使用的电量收费,云计算。云计算简称为“云”一种通过互联网按需交付计算资源(从应用到数据中心都属于计算资源)和按使用付费的基础架构。打个比方。如果不用电,也就不需要付费。云计算就相当于国家电网,属于供应商,向用户提供电,用户用多少就收多少费用,不用资源就收回,可以供其他人使用。云计算分为公共云(公共云由一些公司运营和拥有,这些公司使用这种云为其他组织和个人提供服务,按合理的价格计算资源并收费。使用公共云的好处,于用户无需购买硬件、软件或支持基础架构,这些都是由提供商拥有并管理的私有云(私有云由单个公司运营和拥有,资源使用不对外)和混合云(混合云以私有云作为基础,同时结合了公共云服务的战略使用。事实上私有云是不会独立于公司其他IT资源和公共云而单独存在大多数使用私有云的公司都将发展为管理跨数据中的工作负载、私有云和公共云创建了混合云)云服务商通过云计算平台提供基础设施即服务(laaS应用平台即服务(PaaS软件即服务(SaaS
可以利用云计算实现不同的服务需求。物联网、移动互联网、银行网络、电子商务、医疗行业网络、社交网以及政府网络属于应用层。
通过大数据应用层进行数据的分析,大数据应用层:对于物联网、移动互联网、银行网络、电子商务、医疗行业网络、社交网以及政府网络等应用层产生的数据。如数据挖掘、模型建设、数据分析、数据可视化展现等。
有了云计算提供软件和硬件相结合的计算平台,云计算与大数据的关系。云计算与大数据之间的关系正如一枚硬币的正反两面。大数据才干有用武之地,才干满足大数据需要的计算与分析需求。可以说,有了云计算才干玩转大数据,有了大数据所以需要云计算。
为政府、企业或其他机构的管理层提供决策信息,回到前面的问题—大数据是什么?大数据就是指难以用传统的软件工具存储、管理和分析的大容量数据。而大数据技术则是指通过对大数据的提取、交互、整合和分析。发现隐藏在数据面前的信息,挖掘数据信息的价值。
大数据技术具有四项典型特征:海量数据、数据的多样性、交互响应的高速性和数据的易变性。
而不仅是几个TB数据量。海量数据是指数据量规模增长到PB级以上。
而可以有更多的数据格式,数据的多样性是指数据不再单纯以传统的表格形式存储到数据库或数据仓库中。结构化数据与非结构化数据并存。如普通文本数据属于结构化数据,图片、视频、位置信息、链接类信息等属于非结构化数据,存储的数据类型不固定,属于新型多结构数据。
高并发性访问的用户和提交的数据量都是巨大的交互响应的高速性是指当用户提交请求时响应的交互速度要快,大数据时代。而不能让用户长时间等待。例如,当数量过亿的用户同时访问脸谱网(Facebook时,大数据量的访问要求交互速度要快速地响应每一个用户提交的请求。
和激进数据相比,大数据所存储的数据具有多变的形式和类型。大数据存在不规则和模糊不清的特征,不具有标准的格式,因此很难使用激进分析软件进行数据分析、数据挖掘和模型创建等操作。
大数据时代的来将对如下几个方面发生影响:
需要的实时响应用户需求。如果我不实时关注用户对我商品的评价,大数据时代。那么在一天之内,对某个商品负面评价可能就会传遍全国甚至全球,这对企业而言带来的损失是巨大的需要实时回应用户对商品的评价与批评。损失可能早已无法换回了
用户可以更快捷、更便利的获得服务。例如随着手机银行的普及,大数据驱动人化生活方式的改变。可以通过对手机银行用户海量的数据分析,来发现手机银行用户经常喜欢通过手机银行料理哪些业务,以及对服务还有哪些需求,并进行提前预测,这就可以尽量防止用户去银行营业厅料理业务,节省用户时间的同时也为银行节约了珍贵的人力服务本钱。
家庭办公、根据需要按时间办公的方式将得到推广。未来我可能不再需要每天朝九晚五到办公地点上班。
信息化时代打破了保守的自上而下的审批流程,保守的企业管理模式已经不能适应信息化时代的要求。需要快速地决策和定位,更多地放权给一线人员,实时决策,以把握机遇。
其根本原因在于数据能够发明价值。如果数据无法发明价值,大数据之所以引起如此高的关注度和备受重视。数据就是一堆垃圾。大数据技术让数据成为信息的源泉,无论是个人、企业,还是国家,都会从中受益。
大数据可以通过环境数据所采集到信息预测未来几天的环境情况,大数据对我日常生活非常有意义。从而让个人及时做好自身的健康维护,防止在外出时由环境污染带来的危害。交通拥堵成为乡村的诟病,大数据还可以通过交通数据所采集到信息告诉我乡村道路的整个通行情况,同时给出行者提供一个最优的路况选择,以避开拥堵的路线。
借助大数据所蕴含的价值,大数据是信息化的一个重要推动力。对企业而言。挖掘利用数据所传递的信息,协助企业提供决策、创新发展模式都将发生深远影响。发展大数据产业对于推动我国企业由粗放型向集约型发展将起到关键作用。
借助社交媒体网站、微博、微信等网络媒体可以监控社会舆情、民众关注度以及社会治安情况等,大数据将协助政府获得更多的新闻评论信息。从而让政府管理层更快地发现问题,并作出决策,可以有效地提升政府的管理能力和效率。
需要先弄清楚几个读者最关心的同时也是最基本的问题。详细介绍大数据技术之前。