发表时间:2019-04-23浏览次数:
无锡网站建设笼统成和单个物理硬件无关的资源集合,上层无须关心物理机器的型号,只需专注于具体的资源即可。资源笼统层主要是将下层的物理硬件资源统一进行笼统。资源笼统层需要重点做好以下。收集和管理具体物理资源;重新封装笼统的硬件资源属性,使之成为上层可以使用的一个实体,既可以是容器也可以是虚拟机或者资源集合;数据存储问题。做业务少不了要在本机存储数据,这样机器就成为“有状态”有利于全局调度资源。为了能够全局调度,需要解决三个场景下的问题:数据不需要永久外地存储但是会实时写到外地的如应用的日志;二是需要永久存储的如DB数据;三是分布式存储场景中,要做到存储与计算分离。
资源的收集和管理资源的收集就是收集物理机的资源,无锡网站建设例如当前型号的机器有多少可用的CPU内存、磁盘等信息,可以分为四个方面的内容。资源的信息管理。有多少,用了多少,还有多少;大量物理机器的集群管理。除了通常几十万台的机器管理功能外,还有一部分的任务管理,如负责接收 Master创建容器的任务等。资源的合理分配战略和算法。上层的资源请求最终会在每台物理机上进行分配,那么如何能?这里有根合理的分配战略和算法支撑。资源的信息管理就是要实现一个CMDB能管理物理机和 vhostI关联关系,必需能管理上万台甚至十几万台规模的机器集群。这样的机器集群管理框架目前可选的比较少,选择的Meso主要基于以下两方面的考虑。一是Meso目前相对比较幼稚,主流的大公司使用较多,实际场景中的使用规模已达5万台左右;二是Meso扩展性比较好,自身是轻量级的可以灵活定制各种 Framework满足业务需要。
无锡网站建设分析一下为什么Mso能管理这么大的集群,资源分配战略以及它如何灵活创建各种容器和配置网络的Meso集群架构。
Meso模块化设计使得它集群管理自身可做的事情并不多:Master仅仅把从Save收集的资源数据汇报给 FrameworkMaster和 Slave通过消息交互消息,不需要一直坚持长连接。随着 Slave规模的扩大,Master压力并不会显著增长。Master自身的高可用是通过ZKZookeep来保证的整个集群的架构设计非常清晰。
当集群规模很大时,资源的管理和分配战略就会非常重要。分配战略对于最大化充分利用物理资源非常关键,所以要自己定制 Framework以便更精细化地分配资源。目前我设计了4个分配策略。
1最大内存剩余优先分配战略。即集群中内存剩余最多的优先分配,目的充
2最大CPU剩余优先分配战略。类似于内存分配,根据剩余的CPU数优先分配给对CPU资源需求大的任务;
3最大最小资源公平分配战略。这种分配是根据当前任务申请的资源,要检查当前集群中的每台机器、每种资源的使用量是否饱和,优先把任务分配给当前最空闲的机器;
4根据资源分配指定分配战略。这种方式比较灵活,就是可以根据用户的需要把任务分配到指定的机器上执行,例如可以给一些机器打上标签,让某类任务在这些带有标签的机器上执行。
苏公网安备 32021302000811号