何金仲 周立军
一、引言
目前，信息化建设已逐步迈入云计算和大数据时代。随着证券行业创新步伐加快，各项证券创新业务接连推出，对证券公司信息系统的建设、管理和运维提出新的挑战，信息技术部门正面临不断增长的时间、成本和运维压力。如何有效整合IT技术设施、数据以及软件服务，成为行业信息化领域关注的热点。长期以来，传统数据中心的规划和建设仅能根据历史情况，一般只能预估未来五年的发展走向，无法准确预计远期业务发展的规模和类型；数据中心投入使用后，往往是按照业务部门的业务需求购置服务器、存储、网络等设备，部署独立的应用系统。因此，数据中心的IT资源配置模式可以看作是一种“烟囱式”结构(如图1)。
图1 “烟囱式”IT资源配置模式
这种”烟囱式“的IT资源配置模式存在诸多问题：(1)随着业务规模和品种不断扩大，需要管理的应用系统和软硬件设备数量快速增长，建设和运维压力急剧增大。空间、电力、制冷、UPS等管理成本迅速增加。(2)数据中心资源快速消耗，大多数应用系统的资源利用率低，却缺乏有效的资源共享和整合措施。IT人员的大部分时间耗费在测试、部署、运维任务中。系统的冗余、灾备等更加剧了资源利用率低的现状。
虚拟化和云计算技术正是IT行业针对目前困境给出的解决方案。虚拟化通过在数据中心的体系架构中引入新的虚拟化层，将计算、网络和存储等资源构建成动态分配的虚拟资源池，使用虚拟化资源管理技术实现资源的自动部署、动态扩展和按需分配，使得数据中心能够更加灵活、高效地使用和分配资源，提升运维管理效率。
二、虚拟化技术发展历程、现状和发展趋势
1、虚拟化技术发展历程
虚拟化技术一般泛指x86服务器架构的虚拟化。2007年以前是虚拟化1.0阶段，CPU等硬件资源处理能力有限，软件模拟的虚拟化技术在性能上无法满足生产系统的需求。2007年Intel发布第一代四核处理器，同年5月发布第一版VT-d技术规范，服务器硬件层开始对虚拟化技术提供全面支持，标志着虚拟化技术由试验性阶段进入实用阶段。2007年至2011年是虚拟化技术发展成熟的2.0阶段，以多核技术为代表的硬件技术的快速发展，以及虚拟化硬件I/O直通访问技术，为虚拟化技术的广泛应用提供了基础支持。虚拟化技术的关注点从资源整合、集中管理、降低服务器和能耗成本的集成模式，逐步转移到提高系统高可用性、业务持续性和灾难恢复方面，成为数据中心重要的基础设施。2012年开启的虚拟化技术3.0阶段，是以服务为导向、成本可控、基于策略且能够实现自动控制的数据中心为目标。
2、虚拟化技术现状
广义上，虚拟化技术的本质是多虚一技术的运用，首先是将分散的计算、网络、存储等IT基础资源整合成一个逻辑资源池，在此基础上创新开发出各种技术，实现资源池的动态分配管理、提高业务持续性和高可用等。
目前主流的虚拟化产品有：VMware vSphere，Microsoft Hyper-V，Oracle VM Server，Xen Server，Linux KVM等。丰富、充分竞争的虚拟化技术，以及近年来虚拟化产品间的互操作和互迁移能力的迅速提升，为用户根据自身需求和规模选择合适的产品提供了有利条件。
3、虚拟化技术发展趋势
目前，虚拟化技术已经从服务器虚拟化，向存储虚拟化、网络虚拟化、云计算、集成系统等方向外延式发展。集成系统、网络虚拟化、云计算是当前虚拟化技术发展的热门方向。
(1)集成系统。集成系统（Integrated Systems）是服务器、存储、网络的一体化融合架构，通过集成管理软件对资源进行高效管理的新一代虚拟化架构，可快速部署企业虚拟化和私有云平台。集成系统的代表产品有：VCE，FlexPod，HPConvergedSystem，Oracle Exadata等。集成系统设计为模块化、高速互联（10GbE/40GbE带宽）、按需扩容的架构，通过内置集成管理软件实现资源的高效管控。集成系统分为两类，一类是堆栈集成系统，即集成服务器、存储和网络资源，通过软件提供各类服务，如Oracle Exadata产品；另一类是架构集成系统，即提供资源共享统一架构，如VCE Vblock，Nutanix一体机等。Cisco公司推出的UCS统一计算系统，在集成系统产品市场上处于领先地位，其架构如图2所示。
(2)网络虚拟化。本文中网络虚拟化特指虚拟环境下的网络多虚一技术。最新网络虚拟化技术主要分为两个方向，控制平面虚拟化与数据平面虚拟化。控制平面虚拟化是将所有设备的控制平面合而为一，由一个主体去处理整个交换机的协议处理，表项同步等工作，代表技术包括Cisco的VSS/vPC和H3C的IRF等。控制平面虚拟化存在短期无法解决的规模限制缺陷。基于TRILL/SPB标准的数据平面多虚一技术，是未来数据中心网络的基础，Cisco Fabric Path是数据平面虚拟化的代表技术。近两年来发展迅速的软件定义网络（SDN）技术，把网络虚拟化领域竞争推行高潮。以VMware NSX为代表的网络虚拟化软件产品，向传统数据中心硬件为中心网络架构发起挑战。但作者认为，网络必然是以增量、渐进方式发展，大多数数据中心都会选择并基于现有网络设备进行虚拟化升级。传统网络厂商Cisco，对网络虚拟化的理解和定位准确，通过核心层Fabric Path技术，接入层FEX技术，链路层vPC技术，物理网卡的MR-IOV技术，虚拟层Nexus 1000V产品，提供了全栈的、硬件为中心的网络虚拟化视图。Cisco产品在网络虚拟化技术和未来数据中心网络的地位依然无法动摇。
4、虚拟化存在的问题
虚拟化技术一直处于快速发展演进过程，许多探讨虚拟化问题的观点无法脱离所处的时期、环境和具体产品，而不再有效。目前虚拟化存在的问题主要有：(1)由于虚拟化技术和产品处于快速发展之中，规划和设计一套面向未来、可升级的虚拟化方案变得困难；(2)在管理层面，虚拟化与传统数据中心的管理架构不匹配，企业和用户需要制定和完善配套的虚拟化管理制度和操作，整合并补充现有IT管理制度；(3)虚拟化架构的网络安全控制，独立于物理网络的安全管理；物理、虚拟网络的割裂造成数据中心网络管理方面的困难；(4)虚拟机快照、虚拟网络监控等技术手段存在，对虚拟化环境下的数据安全带来新的威胁；(5)虚拟化架构的风险比传统物理架构相对要高，需要培养经验丰富的、经过培训认证的专职虚拟化管理团队。
三、国元证券虚拟化技术的实践
1、紧跟虚拟化技术发展步伐
国元证券2009年开始关注主流虚拟化技术并进行尝试和评估。2009年利用两台IBM x3850 X5服务器搭建VMware虚拟化测试环境，用于OA和财务系统的开发测试；2013年尝试微软最新虚拟化技术，搭建了Hyper-V 3.0虚拟化集群（4台x3850和2台x3650）+ IBM Storwize V5000存储+ 万兆IP网络的虚拟化测试环境，物理架构如图3所示。
图3 Hyper-V测试环境物理架构
我们在Hyper-V集群上创建了15台虚拟应用服务器和数据库服务器，用作开发测试环境；虚拟磁盘存放在两台服务器构成的SOFS文件服务器集群的共享存储上。对虚拟化环境测试的结果表现令人满意：实时迁移一台2颗vCPU、8G内存的虚拟机，耗时约5秒；服务器整体迁移（5台虚拟机，20vCPU，40G内存），耗时约30秒。利用IOmeter测试工具对SOFS集群上的虚拟磁盘文件进行性能测试，结果见下表。
2、适时规划建设新一代虚拟化平台
2014年国元证券正式规划在数据中心构建虚拟化生产环境，以提高资源利用率和运维管理效率，降低系统建设和运维成本。新虚拟化环境的建设目标，是建立公司广域网和互联网两个区域的高可用、高性能、安全、易扩展的虚拟化生产环境。广域网虚拟化环境规划用于非核心交易的应用系统；互联网虚拟化环境规划用于互联网访问的各类应用系统。
四、国元证券虚拟化平台的架构与设计
虚拟化平台选用最新企业级软硬件技术，打造高可用、高性能、安全、易扩展的虚拟化架构。
1、目标及意义
一是实现服务器整合：降低TCO，减少电力、制冷、空间等环境成本。二是优化体系架构和资源利用：通过HA、DRS、共享存储和10GbE网络等虚拟化基础设施，降低运维成本，简化运维管理，提升运维质量。三是快速资源分配：缩短IT项目建设周期，缩短响应时间。
2、建设规模
广域网和互联网虚拟化环境各支持200单位虚拟服务器。通过增加服务器、扩展磁盘柜，可横向扩展至1000单位虚拟服务器的规模。单位虚拟机定义为：
3、软硬件选型
(1)广域网虚拟化环境
(2)互联网虚拟化环境
4、逻辑架构
(1)广域网虚拟化平台的逻辑架构
图5 国元证券广域网虚拟化平台逻辑架构
广域网虚拟化平台基于成熟的x86机架式服务器集群，采用分离的IP和存储网络。万兆IP网络实现高性能的虚拟化实时迁移、复制和备份。7台虚拟主机集群，启用虚拟化HA、DRS功能，保障虚拟应用服务器的高可用；2台Cisco Nexus 5548UP，vPC实现双活的链路聚合，服务器两块双口万兆网卡，保障网络无单点故障；2台IBM Storwize V7000存储集群，启用存储级卷同步，虚拟机同步复制，双重保障数据安全。
(2)互联网虚拟化平台的逻辑架构
图6 国元证券互联网虚拟化平台逻辑架构
互联网虚拟化平台采用架构先进的Cisco UCS统一计算系统，40GbE融合网络，集成管理计算、网络、存储和虚拟化功能。2组刀片机柜，12个刀片构成虚拟主机集群，启用虚拟化HA、DRS功能，保障高可用虚拟化服务；2台Cisco Nexus 5548UP，vPC实现双活的链路聚合，保障网络无单点故障；2台存储，启用存储级卷同步，虚拟机同步复制，双重保障数据安全。
5、虚拟化设计
(1)高可用（HA）设计。虚拟化高可用（HA）需对管理、计算、网络、存储四个层面进行设计和验证。虚拟化管理环境的高可用，通过主机远程管理网络（IMM）和冗余的虚拟化管理网络实现；计算节点的高可用，硬件通过虚拟主机集群，结合虚拟化软件的HA和DRS功能实现。网络的高可用，硬件通过Cisco Nexus 5K交换机vPC链路聚合、服务器双万兆双口网卡，软件通过分布式虚拟交换机和负载均衡策略完成。存储高可用方面，IBMV7000存储本身提供5个9的高可用性，通过两台V7000实现存储级同步复制，结合虚拟化软件的复制/备份功能，保障灾难情况下的数据安全。
(2)性能设计。利用CiscovPC技术，聚合为40GbE高性能虚拟网络。64G缓存的IBMV7000存储，配置高性能企业级固态硬盘（SSD），实现存储的自动分层；V7000基于硬件的实时压缩技术，能够提升存储性能，减少磁盘空间需求。
(3)安全设计。虚拟化平台的计算、网络、存储等冗余节点部署在不同物理机柜，保障物理环境的安全性。网络层面，管理网络、实时迁移网络、复制/备份网络、虚拟机网络通过VLAN隔离，不同应用系统间也通过VLAN进行隔离。数据层面的安全性，通过V7000存储级同步复制，结合虚拟化软件的复制、备份策略实现。
(4)虚拟机的设计。为有效分配和利用虚拟化资源，将资源按单位分拆成细粒度的单位，有助于实现资源的集约化使用。
(5)自动化管理和监控。通过Cisco UCS Manager，VMware vCops等工具，实现虚拟化环境的自动化管理和监控。图7是广域网虚拟化监控的运行截图。
图7 国元证券虚拟化平台的操作管理和监控
虚拟化技术的发展日新月异，国元证券在虚拟化平台的实施过程中，虽力求平衡虚拟化新技术、最佳实践和成本、性能、稳定性等多个实用性要素，但在设计落地过程中也必然存在不足之处，有待改进和指正。
(作者单位:国元证券股份有限公司信息技术部)
您当前的位置： 首 页 - 信息详细页