数字化工作空间-在虚拟化平台上运行大数据应用课件.pptx

1、在虚拟化平台上运行大数据应用测试/开发/2/3层应用关键业务系统虚拟化桌面3D图形处理大数据云原生应用基于GPU的深入学习vSphere Integrated ContainersvSphere 统一应用支撑平台统一应用支撑平台内存数据库IT部门希望将Hadoop集群作为一种服务集群作为一种服务，按需提供按需提供给自己或他的用户；在vSphere上虚拟化Hadoop可避免避免为每一个不同需求部署一套专门的硬件专门的硬件，从而减少花费减少花费；开发、测试、预生产集群被要求彼此隔离部署隔离部署；不同的团队使用不同种类不同种类、不同版本不同版本的大数据软件（Hadoop、Spark、Impala等）

2、；便于集群进行任意扩展任意扩展；为什么要虚拟化部署为什么要虚拟化部署方便IT部门使用一套工具和方法来统一管理统一管理企业基础架构平台；经过Cloudera和Hortonworks等公司认证认证；关于大数据虚拟化的常见问题关于大数据虚拟化的常见问题虚拟化会明显降低性能虚拟化前后的性能相近大数据不能使用共享存储共享存储也是一个选项，尤其是小规模环境中虚拟化必须用共享存储虚拟化大数据普遍使用本地盘大数据厂商不支持虚拟化众多大数据厂商在Vmware平台上做过联合测试并提供支持CONFIDENTIAL5vSphere 6测试结果测试结果 32台主机台主机vSphere 6测试结果测试结果 32台主机台主

3、机CONFIDENTIAL6http:/ 6测试结果测试结果 32台主机台主机CONFIDENTIAL7http:/ vs NUMA8Non Uniform Memory Access(NUMA)CPUCPUCPUCPUMemoryControllerI/OControllerSMP Memory ProgramSymmetrical Multiprocessing(SMP)Non Uniform Memory Access(NUMA)大型物理服务器遇到了内存访问的规模问题；NUMA被创建去在CPU直接分配内存地址空间；CPUCPUCPUCPUMemoryControllerI/OContro

4、llerCPUCPUCPUCPUMemoryControllerI/OControllerNUMA DiagramInterconnectAMD NUMA9每个处理器有两个NUMA节点4路服务器有8个NUMA节点I/OControllerMemoryControllerCPUMemoryControllerCPUMemoryControllerCPUMemoryControllerCPUIntel NUMA10Intel每个处理器有一个NUMA节点CPU之间通过QPI互联I/OControllerMemoryControllerCPUMemoryControllerCPUMemoryContr

5、ollerCPUMemoryControllerCPUI/OControllerpNUMA vs vNUMA11vNUMA呈现pNUMA节点到虚机操作系统因为vNUMA是软件，因此当它不能自动正常匹配时，我们可以调节配置Windows和Linux本身能感知NUMAvNUMAvirtual NUMA presentation to a virtual machinepNUMANUMA architecture of the physical machineNUMA架构中架构中VM大小规划大小规划12为了获得最好的性能，一个虚机最好适配在一个单独的NUMA节点中（CPU、内存都要考虑）；正确估算您

6、的工作负载；为了获得最佳的CPU调度，所有虚机应该按照CPU核数被平均分配；例如：使用12核CPU的服务器，VM的最佳大小是1,2,3,4,6或者12 vCPUs；8vCPUs的虚机仍然会正常运行，但会降低整合比；对于大的Vm应该配置成CPU核数的倍数，如：12,24,36 vCPUs；虚机配置实例虚机配置实例13https:/ Operations Manager对环境获得全面的可视性；主动式运维管理；虚拟化部署大数据的价值虚拟化部署大数据的价值15以更快的时间、更低的成本达到目的灵活性&敏捷性 随需而变的架构 迭代更快 更快速的扩展能力 在一套服务器硬件中实现多种大数据环境的多租户管理；运

7、营效率 降低采购和运维成本 多集群整合 提升服务器利用率降低复杂度 利用It人员熟悉的管理工具简化大数据运维管理 Master节点负载在线迁移 方便基于最佳实践和参考架构部署敏感数据的治理和控制 实现客户数据在不同主机和虚机间的安全隔离；可方便实现网络层面的安全隔离；案例分享案例分享:通用磨坊通用磨坊(General Mills)通用磨坊通用磨坊(General Mills)1886年创立，总部在美国明尼苏达州，财富500强第165位，拥有39,000名员工，业务遍布全球100+个国家；旗下有多个著名品牌：哈根达斯、湾仔码头、绿巨人、果然多、维邦等；两年半前开始部署大数据平台，用于分析市场和客

8、户数据，以便及时了解客户消费趋势；17Hadoop on vSphere 18CPU、内存、内存&磁盘配置磁盘配置19vSphere Scale-Out介绍介绍20 Hypervisor,vMotion,vShield Endpoint,Storage vMotion,Storage APIs,Big Data Extensions,Distributed Switch,I/O Controls&SR-IOV,Host Profiles/Auto Deploy and more功能 Sold in Packs of 8 CPU at a cost-effective price point打包

9、 EULA enforced for use w/Big Data/HPC workloads only授权vSphere的一种新的打包方式，以一个极有竞争力的价格提供的一种新的打包方式，以一个极有竞争力的价格提供scale-out应用所需的所有核心功能应用所需的所有核心功能vSphere Scale-Out功能表功能表vSpherevSphereEssential KitsROBO KitsScale-OutBasic1STDENT(EOA)ENT+ESSESS+STDADVHypervisorYesYesYesYesYesYesYesYesYesvMotionYesYesYesYesYes

10、YesYesYesHigh AvailabilityYesYesYesYesYesYesYesData Protection&ReplicationYesYesYesYesYesYesvShield EndpointYesYesYesYesYesYesYesFault Tolerance YesYesYesYesYesStorage vMotionYesYesYesYesYesYesDRS and DPM YesYesStorage APIsYes YesYesBig Data ExtensionsYes YesYesReliable Memory YesYesDistributed SwitchYes YesYesStorage DRSProfile-Driven Storage YesI/O Controls&SR-IOVYes YesHost Profiles&Auto DeployYes YesYesFlash Read Cache Yes