中国联合网络通信集团有限公司(简称“中国联通”)拥有覆盖全国、通达世界的通信网络,积极推进固定网络和移动网络的宽带化,为广大用户提供全方位、高品质信息通信服务。目前已经拥有“沃3G/沃4G”、“沃派”、“沃家庭”等著名客户品牌,超过4亿用户,在推动国民经济和社会信息化建设进程中发挥着不可替代的作用。
“沃”基地核心业务系统主要包括“沃商店”、“沃游戏”、计费、大数据、数据库等,涉及的操作系统平台有Linux、Unix,数据库主要是Oracle和SQL Server。目前各个业务系统的数据还存放在几年前采购的性能较低的存储设备上,下载引擎系统使用的存储性能已经严重不足,关键数据库(主数据库、计费数据库)尚未规划数据保护方案,由于设备分期采购,分散部署,管理复杂,导致CAPEX和OPEX一直居高不下。
“经过多年的品牌建设和业务运营,我们‘沃’基地业务目前已经拥有了一大批忠实用户。也正是由于用户数量逐年增加,导致业务系统并发访问量与日俱增,几年前采购的存储设备处理能力已经越来越不能满足应用需求了。我们也了解到随着硬件处理能力的提升和存储核心技术的发展,当今存储设备的性能和容量相比前几年都有了跨越式的发展,也出现不少专业数据保护技术,比如数据快照、数据镜像、远程容灾等。因此我们早就想对‘沃’基地现有的IT存储系统进行一次改造,采购能够提供新技术的高端存储设备来构建未来的核心业务系统,确保其能够满足我们未来业务发展的需求。当然除了设备本身一定要具有先进稳定架构与成熟的数据保护技术外,CAPEX和OPEX也是我们本次存储系统改造主要考虑的地方”,“沃商店”运维中心经理刘晶杰先生说。
刘晶杰先生领导的运维团队在评估后认为,新存储系统在能够满足百万并发处理能力的同时,异机容灾保护方案必不可少。
与此同时,由于旧存储系统是以前分多期项目建设完成的,所以各业务系统的“数据孤岛”现象难以避免,设备资源利用率普遍不高。各业务系统使用独立存储设备,一方面存储设备隔离有利于不同系统间业务互不影响;但是从另一方面来看,存储设备过于分散建设,一些要利用数据共享分析的业务使用数据就会变得复杂,不同型号的设备也难以统一管理。此外,扩容与维护复杂也是导致运维部门TCO长期居高不下的主要原因。
“目前我们在存储系统使用上面临比较严峻的挑战,除了由于设备处理性能不足导致业务响应慢以外,想在现有设备上进行扩容或升级也非常困难。另外,目前我们已经将几个业务系统迁移到虚拟化平台上面了,未来其它业务系统的虚拟化进程还会继续,现有的存储系统没有经过虚拟化应用环境验证,将来系统扩展完全没有把握。因此,新建一套支持虚拟环境、技术架构领先、可扩展易管理的存储系统,已经成为必须解决的问题”,刘晶杰先生说。
“沃”基地决定新采购一套新存储系统后,又遇到保障业务连续性和数据安全的新问题。由于联通“沃”品牌的用户众多,每天在线用户数千万,用户账户的信息数据、配置数据和私人数据的重要性不言而喻。如何将原存储系统的数据全部安全地迁移到新存储设备中必须考虑在前,数据迁移技术方案必须进行经过严格技术论证和预操作演练,确保在整个迁移操作过程中数据零丢失。
早在2013年下半年开始,刘晶杰先生领导的运维团队就开始与相关的产品解决方案供应商进行了广泛的接触与交流,希望有方案提供商能够提供一个成熟、专业、合理的完整存储解决方案,既能够满足基地当前业务需求,又具有良好经济性,更重要的该方案一定要能够确保业务连续和数据绝对安全。
华为针对联通“沃”基地IT存储系统改造面临的挑战,向客户提出了“OceanStor系列存储集中管理与容灾” 解决方案。根据华为的方案,客户在“沃”基地上海机房部署一套OceanStor 18500和两套OceanStor S5500T设备,将计费数据库、主数据库和下载引擎系统的数据都集中存储在高端存储OceanStor 18500中,包括2套生产Oracle RAC系统和2套容灾Oracle RAC系统数据。在OceanStor 18500中启用SmartQoS功能保证关键业务的服务质量,并在OceanStor 18500和其中一套S5500T中分别配置HyperReplication数据同步复制软件,将核心业务数据从OceanStor 18500中同步复制到S5500T存储中,通过这种方式保证业务数据实时高可用,消除了之前重要数据无容灾保护措施的隐患。后期可再添加一套NAS设备,将下载引擎系统现用的文件服务器+阵列的服务模式改为通过NAS对外提供统一的、基于目录的文件级服务模式。对下载引擎系统数据进行离线保护,这样可以结合在线容灾系统构成完整的多级数据保护方案。
“通过实际测试效果,我们发现,华为OceanStor 18500通过其特有的SmartTier分级数据管理特性,很好的解决了我们之前经常遇到的业务高峰期数据并发读写慢的问题。将频繁访问的热数据通过算法自动提升到SSD中处理,一旦访问量降下来又可以自动将这部分数据迁移回SAS硬盘中,以便让其它热数据也能够充分使用SSD资源。华为存储的这种自动数据分级能力,对于提升业务高峰期的数据读写效果非常明显,这比我们当初期望的效果还要好”,刘晶杰先生说。
“另外我们的下载引擎系统包含了将近一千万个小文件,这些文件尺寸从几KB到几MB不等,以前我们的存储设备在处理这些小文件的访问时性能特别差,经常出现磁盘使用率达到100%的情况,终端用户也反映下载体验差。于是我们把下载引擎数据迁移到华为的OceanStor 18500里面进行测试,发现下载速度较之前提升了6-7倍,磁盘使用率也不再有100%情况了。”
“我们还多次验证了华为OceanStor 18500和 S5500T设备间的数据同步复制的效果,模拟了业务中断后快速恢复场景,发现其RTO和 RPO指标都满足当初我们提出的业务运营连续性要求,这样就彻底解决了我们长期以来核心数据没有容灾保护的问题。”
另外一套OceanStor S5500T存储用于给“沃”基地虚拟平台的业务系统提供存储服务,该存储设备专门针对虚拟化环境部署进行了优化,完全满足虚拟平台应用快速并发读写数据要求。
这个方案不同于其他供应商的解决方案,并没有一味追求配置高规格的硬件设备,而是从客户实际需求入手,站在客户的角度深入分析“沃”基地存储业务目前面临的问题,不仅从技术上完全满足客户需求,而且也为存储系统未来使用和数据保护方案进行了科学规划,方案整体性价比方面优势突出,赢得了“沃”基地运维团队客户的认可。
2014年上半年,华为向中国联通上海“沃”基地正式交付一套OceanStor 18500和两套OceanStor S5500T设备,并协助客户开始数据迁移工作。截至目前,华为存储已经稳定运行6个月。
由于“沃”基地对外提供业务的重要性,为保障安全运营,华为给客户制定了周密的数据迁移技术方案,目前已经完成了200TB数据迁移,未发生任何数据丢失,业务连续性无任何影响。
如今,华为提出并实施的“OceanStor系列存储集中管理与容灾” 解决方案已充分发挥效益,不仅解决了“沃”基地当初面临的设备性能不足、无容灾方案、难以支持虚拟化业务部署以及高投入高运维支出等难题,而且也适应了基地未来业务发展需要。“沃”基地部署了华为提供的数据存储解决方案后,收益显而易见: