Ceph
Installation auf Proxmox
Disks
- 3 Knoten erstellen: ada1 ada2 ada3
- OS installiert auf /dev/nvme0n1
- Daten auf /dev/sda und /dev/sdb, sollten SSDs sein
Netzwerk
- bond0 Linux bond eth2+eth3 10.10.10.151 Mode: broadcast
- eth1 10.10.10.151
- eth2
- eth3
- vmbr0 LinuxBridge eth0 192.168.16.151 GW: 192.168.16.1
Installation Ceph
Auf allen Knoten:
pveceph install
- Auf allen Knoten:
pveceph init --network 10.10.10.0/24 pveceph createmon
Proxmox-Webinterface:
- Monitor
- ada1 - Ceph - Monitor
- ada1 - Ceph - Monitor Button "Create", Host: ada2
- ada1 - Ceph - Monitor Button "Create", Host: ada3
- OSD
- ada1 - Ceph - OSD Button "Create OSD", Disk: /dev/sda Journal auf dem gleichen Gerät
- ada1 - Ceph - OSD Button "Create OSD", Disk: /dev/sdb
- ada2 - Ceph - OSD Button "Create OSD", Disk: /dev/sda Journal auf dem gleichen Gerät
- ada2 - Ceph - OSD Button "Create OSD", Disk: /dev/sdb
- ada3 - Ceph - OSD Button "Create OSD", Disk: /dev/sda Journal auf dem gleichen Gerät
- ada3 - Ceph - OSD Button "Create OSD", Disk: /dev/sdb
- Pools
- ada3 - Pools Button "Create" Name: ceph-vm Size 3 Min Size: 2 pg_num: 256 Siehe https://stackoverflow.com/questions/40771273/ceph-too-many-pgs-per-osd
- ada3 - Pools Button "Create" Name: ceph-lxc Size 3 Min Size: 2 pg_num: 256
- ada3 - Pools Button "Create" Name: test3 Size 3 Min Size: 1 pg_num: 64
- Es wird ein "rbd" angelegt, diese Zeile löschen
- ada3 - Ceph (Dashboard)
Benchmark
rados -p test3 bench 10 wreite --no-cleanup # Beachte "Bandwidth" rados -p test3 bench 10 seq
RBD
- Datacenter - Storage Button "Add"
- ID: ceph-vm Pool: ceph-vm Monitors: 10.10.10.151 10.10.10.152 10.10.10.153 Enabled X Content: Disk image KRBD: -
- ID: ceph-lxc Pool: ceph-lxc Monitors: 10.10.10.151 10.10.10.152 10.10.10.153 Enabled X Content: Containers KRBD: X
Keyring kopieren
cd /etc/pve/priv mkdir -p ceph cp /etc/ceph/ceph.client.admin.keyring ceph/ceph-vm.keyring cp /etc/ceph/ceph.client.admin.keyring ceph/ceph-lxc.keyring