Ceph的集群全部换IP

时间:2021-12-02 15:27:52

由于要对物理机器要做IP规划,所有物理机统一做到35网段,对于ceph集群来说,是有一定工作量的。 前提条件,ceph集群正常。原来的所有集群在44网段.mon地址是172.17.44.22

在44网段的时候操作

[root@node1 ~]# monmaptool --print /tmp/monmap
monmaptool: monmap file /tmp/monmap
epoch 5
fsid c4898b1c-7ac1-406d-bb5d-d3c7980de438
last_changed 2014-09-16 14:13:56.379001
created 0.000000
0: 172.17.44.22:6789/0 mon.node1
[root@node1 ~]# monmaptool --rm node1 /tmp/monmap
monmaptool: monmap file /tmp/monmap
monmaptool: removing node1
monmaptool: writing epoch 5 to /tmp/monmap (0 monitors)
[root@node1 ~]# monmaptool --add node1 172.17.35.241:6789 /tmp/monmap
monmaptool: monmap file /tmp/monmap
monmaptool: writing epoch 5 to /tmp/monmap (1 monitors)
[root@node1 ~]# monmaptool --print /tmp/monmap
monmaptool: monmap file /tmp/monmap
epoch 5
fsid c4898b1c-7ac1-406d-bb5d-d3c7980de438
last_changed 2014-09-16 14:13:56.379001
created 0.000000
0: 172.17.35.241:6789/0 mon.node1

完成后需要修改所有机器的配置文件:

[global]
filestore_xattr_use_omap = true
mon_host = 172.17.44.22:6789
osd_journal_size = 1024
mon_initial_members = node1
auth_supported = none
fsid = c4898b1c-7ac1-406d-bb5d-d3c7980de438

将mon_host = 172.17.44.22:6789 修改为mon_host = 172.17.35.241:6789 因为osd在启动的时候,需要知道谁是mon,如果不修改,ceph -s 查询不知道状态正常的ceph的osd

然后全部重启这些服务器,修改机器的VLAN划分。能够SSH到这些机器后说明IP修改正确,但是还需要修改/etc/hosts.因为我们的有些操作是使用的/etc/hosts的别名。

接下来操作

1.首先,确保停止所有的监视器。注入必须在守护进程不运行时完成。

2.注入mon映射。

ceph-mon -i node1 --inject-monmap /tmp/monmap

3.重启监视器。

在这步之后,迁移到新的位置完成,监视器应该能够成功运行。

查看状态,

[root@node1 ~]# ceph -s
cluster c4898b1c-7ac1-406d-bb5d-d3c7980de438
health HEALTH_OK
monmap e6: 1 mons at {node1=172.17.35.241:6789/0}, election epoch 1, quorum 0 node1
osdmap e248: 3 osds: 3 up, 3 in
pgmap v33907: 192 pgs: 192 active+clean; 219 MB data, 3559 MB used, 1170 GB / 1173 GB avail; 3993B/s wr, 0op/s
mdsmap e5969: 1/1/1 up {0=a=up:active}

客户端挂载:

[root@admin-node ~]# mount -t ceph 172.17.35.241:6789:/ /data
[root@admin-node ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root 50G 1.3G 46G 3% /
tmpfs 2.0G 0 2.0G 0% /dev/shm
/dev/sda1 477M 74M 374M 17% /boot
/dev/mapper/VolGroup-lv_home 405G 71M 385G 1% /home
172.17.35.241:6789:/ 1.2T 3.5G 1.2T 1% /data
[root@admin-node ~]# cd /data