大数据平台的概念与作用

　　随着互联网的不断发展，越来越多的程序员都在学习大数据技术，而今天我们就通过案例分析来了解一下，大数据平台的概念与作用。 　　

大数据平台的概述 　　

大数据平台统一管理、集中存储大数据资源，满足高并发，海量数据对高性能计算能力和大容量存储能力的需求，提供数据采集，数据计算，数据存储，数据分析，数据可视化等大量开放能力，确保各系统之间数据的互联互通和共享，为数据的全链条透明化、运营决策的高度智能化提供依据，尽早建立大数据平台具有重要意义。 　　

构建大数据平台的必要性 　　

大数据平台承载所有数据的管理，为上层应用提供数据支撑。传统的开发模式中，各个应用开发独立进行，各自沉淀自己的数据。各个应 　　

用的数据缺乏整合，形成数据孤岛，后续无法沉淀数据资产。同时，因为没有一个统一的大数据平台，各个应用都会有自己的数据存储和计算体系，存在大量的重复建设。 　　

以数据中台为核心的上层智能应用的开发，离不开大数据平台的支持。大数据平台提供统一的数据数据存储，计算能力。上层应用不需要再重复开发，只需要使用数据中台提供的能力。同时，多个上层应用的数据也集中沉淀到一起，形成有效的数据资产。 　　

大数据集成子系统 　　

大数据平台需要提供数据采集能力，完成从传统数据库到大数据平台的数据采集，包含批量采集和基于流处理的实时采集，平台提供如下能力： 　　

批量数据采集：大数据平台支持数据批量采集，对于大量、实时性要求不高的数据适宜采用定时执行批量采集。 　　

实时数据采集：对于实时性要求较高的数据，支持实时数据采集的方式，保障平台数据及时性。 　　

互联网数据采集：互联网的数据采集方式主要以页面文本或文档形式的数据为主，为了兼容不同类型的互联网输入方式，一般先将数据进行流式数据清洗后，再送到搜索引擎或者其他数据库中。