proxmox 可以部署ceph吗_IT百科

一.前言

proxmox 是一个开源的虚拟化管理平台,支持集群管理和HA.在存储方面,proxmox除了支持常用的lvm,nfs,iscsi,还支持集群存储glusterfs和ceph,这是我们选择它的原因.

proxmox官方提供ISO下载,因此安装变得非常简单,安装后浏览器打开http://x.x.x.x:8006/ 就可以看到管理平台了.本文基于目前最新版本3.1测试,动工吧.

二.集群配置

集群由多台虚拟化主机组成,创建集群后就可以统一管理多台机器了.

1.创建一个集群,登陆其中一台机器,为集群起个名字

pvecm create YOUR-CLUSTER-NAME

2.依次登陆其余的机器,加入到上面的集群(IP地址为上面机器的IP)pvecm add IP-ADDRESS

3.查看集群状态pvecm status

CID----IPADDRESS----ROLE-STATE--------UPTIME---LOAD----MEM---ROOT---DATA

1 : 192.168.7.104 M A5 days 01:43 0.5420% 1% 4%

2 : 192.168.7.103 N A2 days 05:02 0.0426% 5%29%

3 : 192.168.7.105 N A 00:13 1.4122% 3%15%

4 : 192.168.7.106 N A 00:05 0.5417% 3% 3%

4.查看集群内的节点

pvecm nodes

Node Sts Inc Joined Name

1 M156 2011-09-05 10:39:09 hp1

2 M156 2011-09-05 10:39:09 hp2

3 M168 2011-09-05 11:24:12 hp4

4 M160 2011-09-05 10:40:27 hp3

经过很简单的配置,集群已经创建完成了,如果要使用故障自动切换功能,接下来还需要配置HA功能.

三.HA配置

配置HA需要满足下面条件:

1)集群已经创建好

2)添加好集中/共享存储(nfs,glusterfs,ceph等)

3)fence设备 (IPMI,APC Switch Rack PDU等)

关于fence设备,是用于集群出现网络故障或机器异常时的隔离处理,这样有效防止HA运行时启动了多个vm访问同一个虚拟磁盘,避免破坏数据.

官方有更详细的说明 http://pve.proxmox.com/wiki/Fencing .

1.IPMI配置

由于对其他的fence设备都不了解,看起来最入门的就是IPMI了,刚好我们的IBM测试机器也有这个功能,就用它了!

先确认ipmitool已经安装

apt-get update

apt-get install ipmitool

加载需要的模块

modprobe ipmi_msghandler

modprobe ipmi_devintf

modprobe ipmi_si

modprobe ipmi_poweroff

modprobe ipmi_watchdog

测试ipmitool是否正常工作

ipmitool -I open sensor

ipmitool -l open channel info 1

ipmitool -l open lan print 1

为ipmi添加管理IP和登陆账号,密码(这个IPMI功能我们公司一直在用(用于机器重启,开关机等) 机器交到我手上已经设置好了 )

ipmitool -l open lan set 1 ipsrc static

ipmitool -l open lan set 1 ipaddr 192.168.1.91

ipmitool -l open lan set 1 netmask 255.255.255.0

ipmitool -l open lan set 1 defgw ipaddr 192.168.1.1

ipmitool user set name 1 root

ipmitool user set password 1 123456

ipmitool user set password 2 123456

ipmitool -l open user list 1

ID Name Callin Link Auth IPMI Msg Channel Priv Limit

1 root false false false NO ACCESS

2 ADMINfalse false true ADMINISTRATOR

以上设置在集群内每台机器执行

2.fence配置

编辑/etc/default/redhat-cluster-pve,下面语句去掉注释

FENCE_JOIN="yes"

把机器加入fence域,命令行执行

fence_tool join

以上 *** 作在集群每台机器上执行

检查状态:

fence_tool ls

测试fence设备是否生效

fence_ipmilan -l root -p 123456 -a 192.168.1.91 -o status 1 -v #这个ip是刚才ipmi设置的ip

修改集群配置,注意下面IP是IPMI设置的IP地址

cp /etc/pve/cluster.conf /etc/pve/cluster.conf.newnano /etc/pve/cluster.conf.new

<?xml version="1.0"?>

</fencedevices>

<fence>

</method>

</fence>

</clusternode>

<fence>

</method>

</fence>

</clusternode>

<fence>

</method>

</fence>

</clusternode>

</clusternodes>

<rm>

</rm>

</cluster>

注意,每次修改这个配置文件,里面 config_version= 都要加1

验证配置文件

ccs_config_validate -v -f /etc/pve/cluster.conf.new

全部准备就绪,激活新配置文件

3.将vm加入HA

(添加后记得点击activate)

可以看到已经加入HA的虚拟机了

一、服务器配置过程说明

首先需要现在服务器上找一个节点装window server，然后开始配置存储阵列为RAID 5；然后创建Proxmox集群以及KVM（也就是虚拟节点），在每个节点上安装centos系统并下载Teamviewer；最后简单讲讲Proxmox中节点备份与恢复。

二、配置RAID：

1) 基本概念：

其实首先要知道RAID是什么，它相当于是一个存储模式，其实就是平常说起来很高大上的存储阵列，是在window server上面做的，也就是机房的服务器。一般机房默认是RAID 0，其实基本没什么改变，就是该有几块硬盘就用几块，不需要做额外的设置；但是这样一来缺点也很明显，因为一旦坏了那就只能自己和自己去哭了，没有备份或者恢复机制。所以现在一般都做RAID 5，就是相当于会腾出一块硬盘来做恢复与备份，用空间来换取整个集群的安全，还是很划算的。步骤如下：

2) *** 作流程：

按照顺序傻瓜 *** 作向后点：硬件配置，配置向导——第一步，下一步——第1a步，清除外部配置，下一步——第2步，RAID0，下一步（这是为了清除最开始的时候默认RAID0配置）——第3步，协议：SAS，介质类型：HDD，加密功能：非加密，将磁盘全部选中，下一步——第4步，自动生成的参数，我的是：6517.00,1MB，自适应预读；回写，下一步——第5步，此步中要注意所有的物理磁盘都显示出来了，否则就要返回关机重配，完成——成功！

三、开始创建Proxmox集群

1)基本概念：

这一步是为了能在上一步的基础上（window server *** 作系统和RAID 5的存储阵列）进一步安装集群，在集群上分配节点，然后每个节点都可以分别分给不同的人来 *** 作，这样就是我们日常中 *** 作的节点。步骤如下：

2) *** 作流程：　

a. 此时为无界面阶段

方法一：进入黑屏界面之后，先按F11，进入界面选择UEFI，再选择有DVD那一步的选项；再按F1，进入简洁界面；BIOS-BOOT，进入界面；选择DVD；选择F2（此处有空白，3min）；reboot；等待等待等待，之后的就是安装好之后的步骤···F1~~~

方法二： F12，然后PXE boot然后选择DVD或者SLOT选项　

b. 接着是有安装界面的 *** 作

同样是傻瓜式 *** 作向后点：下一步—— country：China，TimeZone：Asia/Chongqing，KeyBoard Layout：US，English，下一步—— 此处参数由自己定，下一步——下一步—— 成功！　

c. 傻瓜 *** 作结束，开始命令行 *** 作进行集群搭建。但是集群搭建之前需要解决两个问题：　

1、vi编辑器过于不好用，下载vim： apt-get update； apt-get installvim；（然后在用vim编辑的时候看不到最上面就用shift+pageup向上调）

2、修改/etc/hosts与/etc/hostname中参数：将二者中的PVE都改成每个ip对应的名字，eg：pve14之类的，这样节点才能加进去。　

d.开始集群命令行 *** 作：

1、创建集群名字aciecluster：pvecm create aciecluster

2、登陆每个slave 节点，执行：pvecm add 192.168.2.104(主节点IP)

3、在主节点查看状态：pvecm nodes

4、登录：http://192.168.2.104(主节点IP):8006　

e。出现问题：250节点加不进去

1、添加节点后面添加–force（是两个横线），命令变成：pvecm add 192.168.2.250；

2、再重启集群：重启物理机；之后在客户端命令重启reboot

四、创建KVM

1) 基本概念

其实KVM就是一个一个的虚拟节点，和虚拟机差不多，只不过这是安装在服务器端的虚拟机，安装步骤如下。

2）安装步骤

点击数据中心下想要创建节点的服务器，然后在右上角有“创建VM”标志——一般：点击之后给节点命名，给定VM ID，此处还可以改在其他的服务器上创建节点——OS：点选右侧Linux3.x/2.6kernel——CD/DVD：选第一个，导入镜像——硬盘：自己设置参数——CPU：自己设置参数——内存：自己设置参数——网络：自己设置参数——确认

五、节点上CentOS 6.4系统安装：

1) 注意事项：

a）ALT+F5是把屏幕缩小，大致能看到下一步的位置；之后的界面就看不到了，在看不到tab之后连按两下就到了下一步

b) 第一个选skip；安装系统，一路正常配置，直到界面：

2）安装步骤：

use all space，review and modify partition layout，点击“next”——删除所有分区后，创建两个分区，其中一个为/boot（大小为200），另一个为/（点选“fill to maximum allowable size”，大小不用填写，意为自动分配所有剩余空间给它）—— Yes——next——Format——write changes to disk——next——点选minimal，next—— 完成后配置用户信息，欧了！

六、配置IP并下载Teamviewer

上面的步骤基本上节点已经差不多了，就差IP了，配好IP后为了方便 *** 作节点，每个节点上最好下载一个Teamviewer。步骤如下：

1、虚拟机联网（保证ip不变）：

1）首先改成NAT模式（虚拟机——可移动设备——网络适配器——设置）

2）然后在IPv4里面把ip设置成手动的，更改IP地址、子网掩码、网关以及DNS，应用

3）最后点击右上角小电脑的logo，勾选enable notification就行了

2、右上角小电脑变成disconnect的了，也就是说网络不能连接，而且ifconfig也找不到ip地址：

1）首先就是按照“1、”的步骤重新试一遍，其中要多注意一点就是他的物理地址要改成本机物理地址，就是ifconfig命令之后出来的那个本机地址（不是ip）

2）如果没有ifconfig信息，那么就需要先设置网络为桥接模式，然后再将网络改回来NAT模式。

3、开始下载Teamviewer：

1）wget download.teamviewer.com/download/linux_teamviewer.rpm

2）yum install linux_teamviewer.rpm3）这里就不用解压了，直接就可以运行了，此时已经能用了，在Application-Internet中找到teamviewer，可以右键把它加到桌面上

4、设置开机自启

1）在system-preference-startup Application 中设置

2）点击add，将Teamviewer的属性（从Teamviewer属性中复制出来黏贴进去就行了）添加进去，欧了

七、 Proxmox节点恢复与备份

自此为止，节点已经全部搞定了，然后之后就涉及到节点备份与恢复的问题，这里会简略讲一下。

1) 备份：

选中【数据中心】，选择【存储】标签，选中要添加支持的存储，点击【编辑】，在【内容】的下拉菜单中选上Backups。这里的【最大备份数】必须大于等于1，其含义为当某个虚拟机的备份文件超过最大备份数时，再进行备份将会删除时间最早的备份。这对后面要提到的自动备份计划而言非常有用，可以省去我们人工删除过时备份的麻烦。

PVE的备份文件存在./dump文件夹中，根据备份时选择的数据压缩方式的不同，生成.vma.lo或者.vma.gz.为后缀的文件，同时伴随一个相关的.log日志文件。【Path/Target】为PVE备份文件夹所在的路径，在本例中备份文件将存储在/var/lib/vz/dump文件夹中。

接下来我们就可以开始备份了。先选中【数据中心】，切换到【备份】标签页，点击【添加】，将出现【创建：备份计划】对话框，可以选择需要备份的节点，设定备份计划于每周周几的几点开始，然后选择需要进行备份的虚拟机，设置数据压缩方式与备份模式后即可。数据备份将于设定时间自动启动。

当然了，我们也可以对单个虚拟机进行立即备份，选中需要备份的虚拟机，切换到【备份】标签，设置备份模式与数据压缩方式，点击【备份】即可开始备份。

2) 挂载磁盘将文件拷贝出来：

步骤很简单，就是先把硬盘插到你所在的服务器物理机上，然后

1）下载ntfs驱动： apt-get update apt-get install ntfs-3g

2）创建挂载点文件夹： mkdir /mnt/windows

3）进入/dev/查看移动硬盘信息 fdisk -l

4）插入移动硬盘，再次在/dev目录下执行查看移动硬盘信息 fdisk -l

5）比较两次信息，发现多出一个/dev/sda1，将sda1挂载到文件夹中： mount -t ntfs-3g /dev/sda1 /mnt/windows

6）进入目标文件夹（promox备份的文件都在/var/lib/vz中） cd /var/lib/vz

7）将文件拷贝到挂载硬盘中 cp -r(整个文件夹复制) dump /mnt/windows

8）解除挂载（相当于安全退出） umont /mnt/windowsd)

3）数据恢复：

同样的上述挂载步骤，将所移出来的文件放在/var/lib/vz/dump中，可以看到备份文件以.vma.lzo为后缀。选中需要使用的备份文件，点击【恢复】，将d出【Restore VM】对话框，可以设置存储位置与VM ID，点击【恢复】即可开始恢复。有意思的是，这里的VM ID除了可以设置成原有的虚拟机ID，将备份文件恢复并覆盖该虚拟机外，还可以设置成新的ID，将备份文件生成其他的与备份虚拟机一模一样的虚拟机。至此，服务器杂七杂八的配置完毕，如果有需要还会再进行补充的。

问题解决：1、节点关不掉以及开不了（命令查询去官网查看）

1）204节点开不了：索性就不开了，将pve、pve14、pve15全部关掉，这样就剩下那个关不掉的节点了。

2）205节点关不掉：关闭的时候会报错，报错信息是节点因为克隆被锁住了，用命令行将节点断开连接，然后再关掉。 qm unlink 205 -force qm unlock 205 qm destory 205 -skiplock

描述：删除LVM thin模式（local-lvm）,并删除data逻辑卷，扩大本地目录空间（local）的root逻辑卷，root逻辑卷用于保存Proxmox VE *** 作系统镜像，并可以存放文件。

查看硬盘大小

结果：

查看物理卷、卷组和逻辑卷

结果：

查找逻辑卷的路径

移除data逻辑卷

在web上的数据中心》存储》local-lvm》删除

扩大逻辑卷空间

缩小逻辑卷空间

查看硬盘 fdisk -l

永久挂载

查看uuid

编辑/etc/fsfstab，并添加硬盘

在web页面上，数据中心》存储》添加》目录。

填写ID,并填写目录（硬盘挂载的路径）/mnt/sata1

先在本地系统中创建用户再到web页面上创建帐号

在web页面数据中心>权限>创建组>再创建用户

web页面设置

终端页面设置

编辑/etc/network/interfaces

欢迎分享，转载请注明来源：内存溢出

原文地址:https://54852.com/bake/11321059.html

proxmox 可以部署ceph吗

发表评论

评论列表（0条）