HTSP大数据基础平台

海天数联大数据基础数据平台HTSP是企业级大数据存储、分析计算、查询的统一平台。HTSP大数据处理平台包括：计算引擎、开发工具、管理工具及数据服务。计算引擎是HTSP的核心部分，提供支持从多数据源的异构数据进行实时数据集成、提供分布式环境下的消息总线、能够与第三方系统进行服务整合访问；采用分布式计算框架，可以处理结构化和非结构化数据，并提供内存计算、规划计算、数据挖掘、流计算等各种企业计算服务。平台还集成了数据建模、开发、测试等集成开发环境。管理工具包括了实施、客户化及系统管理类工具。

• 平台以开放的架构，支撑多租户模式下海量结构化与非结构化数据的安全和高效的存储与分布式并行处理计算能力，满足大数据批处理、微批处理、实时处理等业务需求。

• 对数据处理、业务开发、业务移植等方面进行全面优化，可便捷实现业务快速移植、数据快速处理。平台提供部署与管理上千台服务器的分布式大数据服务运行能力，提供一套基本的大数据服务组件集合。
  

• 其提供给用户对海量结构化与非结构化数据的文件、关系数据库、Nosql、内存数据库等高效存储读取能力。

• 对海量结构化与非结构化数据的并行分布式批处理、流式处理、SQL查询、全文检索能力。

• 数据采集分析、异步信息处理、图分析、异步信息传输能力。

• 同时提供了基础的数据分析库。

• 服务组件集合包括MapReduce、Hadoop的分布式文件系统（HDFS）、YARN、HCatalog，Pig、Solr、Hue、Hive、HBase、Zookeeper、Spark、Strom、Sqoop、Oozie、Falcon、Flume、Accumulo、Atlas、Kafka、Knox、Mahout、Kerberos、Redis、Greeplum等服务组件。
  

大数据基础平台HTSP以提供平台级的分布式计算和存储服务能力为核心，支持多租户的服务使用模式，能够根据数据容量进行横向扩展，可以为大数据的采集、预处理、治理、存储、计算、挖掘、分析、展现和应用需求提供全方位基础支撑能力，满足现阶段及未来的大数据应用需求。