历史数据生命周期管理系统

关键词：8-30倍压缩、分布式计算、高速查询、数据挖掘、联机检索、在线迁移、应用透明、节能降耗

历史数据生命周期管理系统——DataManager ®（简称DM）是一款压缩类关系型数据库系统，适用于企业海量历史数据的存储、管理和查询。
历史数据是指企业生产系统所产生的各种静态结构化数据，这些数据必须在一定时间长度予以保存，用于备份、查询、统计分析和数据挖掘之用。从优化生产系统应用和数据存储结构、减轻存储压力、提高运行效率以及管理和维护复杂度的角度考虑，海量的历史数据应从生产系统中予以剥离，以提高整个生产系统运行效率的同时，大大降低系统整体维护和扩容成本。
DM系统使用的自主知识产权数据存储引擎和压缩算法，实现了对PB甚至EB级数据的高效无损压缩和无需解压的高效数据查询，产品所采用的分布式压缩存储数据库技术可以提供更大的计算弹性。

1.1. 应用场景




1.2. 应用方向

DataManager®部分应用场景



1.3. 系统版本


1.3.1. DM-TP

DM-TP版本面向海量数据快速查询应用领域，以行或列存储，结合高效的压缩性能和稀疏索引技术为基础，自主研发的一款性能极高的数据压缩产品。在一定领域，具有满足数据密集型快速检索，数据备份和大并发在线查询的需求。

技术特点：

  • 支持多种操作系统RedHat、CentOS、HP-UNIX、AIX、Solaris等；

  • 海量数据快速导入,可通过数据库接口采集，也可导入文本；

  • 6-18倍压缩性能，可根据数据存储时间周期和访问量频率灵活调节压缩方式；

  • 分布式数据采集，提供更快的数据迁移入库能力，无需担心采集节点单点故障；

  • 在稀疏索引基础上生成依赖索引，降低索引空间，提升数据检索效率；

  • 提供通用API： JDBC， ODBC，C/C++，ADO.Net等；

  • 系统资源占用小，硬件配置需求低，中低端PC-SERVER即可满足需求；

建议应用场景:
针对最终用户的查询业务，清单查询、投诉处理等实时查询且并发高的应用领域。
例如：详单数据、结算数据、交易明细、短信数据、日志数据、wap数据等。

1.3.2. DM-AP
DM-AP版面向海量数据分析型应用领域，以独特的列存储，压缩和智能索引技术为基础，具有数据密集型行业日益增大的数据分析、数据挖掘、数据备份和在线查询的需求；在数据的关联分析方面有更快的速度及压缩比、适合在ODS中做复杂程度较高的关联分析及市场业务部门做深度的关联分析。在典型分析型应用中，OLAP性能远远超越传统的国际主流数据库产品。

技术特点：

  • 支持标准Linux 内核：RedHat、CentOS、RedFlag等；

  • 海量数据快速导入,可通过数据库接口采集，也可导入文本；

  • 数据案列存储，可提供10-26倍甚至更高的压缩比；

  • 列式存储结合智能做索引技术，更快的数据统计速度，提高分析效率3倍以上；

  • 分布式数据采集，提供更快的数据迁移入库能力，无需担心采集节点单点故障；

  • 提供通用API： JDBC， ODBC，C/C++，ADO.Net等；


建议应用场景:
主要应用在并发用户数少，不要求实时响应，查询逻辑复杂的后端的统计分析和数据挖掘应用领域。
例如：经分系统、BI系统、综合分析系统、审计系统、统计系统、数据深度分析系统等。

1.3.4. DM-DP
DM-DP版本为分布式系统，面向高并发、TB到PB级海量数据级别中，可提供高速查询分析，同时可实现7*24高可用性，2000至10000及以上高并发，在线平滑扩展等市场需求。无共享存储，支持动态节点的水平扩展，提升现有系统整体存储、并发和运算能力，避免了传统架构中主机运算能力和磁盘阵列中存储的限制。

技术特点：

  • 支持标准Linux 内核：RedHat、CentOS、RedFlag等；

  • 海量数据快速导入,可通过数据库接口采集，也可导入文本；

  • 3份冗余数据，可提供4-8倍的压缩比；

  • 动态节点水平扩展，避免了存储阵列对存储的限制；

  • Server内置知识节点数据，减少数据扫描/网络通讯量；

  • 数据计算在节点机上完成，提高了查询速率；

  • 使用大部分人员都熟悉的MySQL接口接入，容易使用；

  • 更快的数据统计速度，列式存储减少对I/O、网络带宽的占用；

建议应用场景:
主要应用在互联网应用服务或数据中心，高并发、查询逻辑复杂等多种应用领域。
例如：数据集市、经分系统、数据中心集中存储等。

1.3.4. DM-EP
DM-EP为企业版本，主要面向互联网中小型企业对数据安全备份和查询分析领域。提供两种商业模式，可根据企业对数据存储和查询应用的需求，购买DM-EP一体机或租用DM系统数据库资源，灵活租用数据库存储和计算资源。

技术特点：

  • 动态灵活的资源使用，结合实际需求购买服务；

  • 高度集成化，无需部署；

  • 提供通用JDBC， ODBC，C/C++，ADO.Net等API接口；


1.4.投资回报


1.5.系统荣耀

凭借较高的科技含量以及广泛的市场应用成果，“DataManager®历史数据生命周期管理系统”荣获了由北京市科委颁发的《北京市火炬计划项目证书》和《北京市科技进步奖三等奖》，这标志着中电达通自主研发的DataManager®系列产品已处于国内领先地位。