Ceph

Installation auf Proxmox

Disks

• 3 Knoten erstellen: ada1 ada2 ada3
  • OS installiert auf /dev/nvme0n1
  • Daten auf /dev/sda und /dev/sdb, sollten SSDs sein

Netzwerk

• bond0 Linux bond eth2+eth3 10.10.10.151 Mode: broadcast
• eth1 10.10.10.151
• eth2
• eth3
• vmbr0 LinuxBridge eth0 192.168.16.151 GW: 192.168.16.1

Installation Ceph

Auf allen Knoten:

pveceph install

• Auf allen Knoten:

pveceph init --network 10.10.10.0/24
pveceph createmon

Proxmox-Webinterface:

• Monitor
  • ada1 - Ceph - Monitor
  • ada1 - Ceph - Monitor Button "Create", Host: ada2
  • ada1 - Ceph - Monitor Button "Create", Host: ada3
• OSD
  • ada1 - Ceph - OSD Button "Create OSD", Disk: /dev/sda Journal auf dem gleichen Gerät
  • ada1 - Ceph - OSD Button "Create OSD", Disk: /dev/sdb
  • ada2 - Ceph - OSD Button "Create OSD", Disk: /dev/sda Journal auf dem gleichen Gerät
  • ada2 - Ceph - OSD Button "Create OSD", Disk: /dev/sdb
  • ada3 - Ceph - OSD Button "Create OSD", Disk: /dev/sda Journal auf dem gleichen Gerät
  • ada3 - Ceph - OSD Button "Create OSD", Disk: /dev/sdb
• Pools
  • ada3 - Pools Button "Create" Name: ceph-vm Size 3 Min Size: 2 pg_num: 256 Siehe https://stackoverflow.com/questions/40771273/ceph-too-many-pgs-per-osd
  • ada3 - Pools Button "Create" Name: ceph-lxc Size 3 Min Size: 2 pg_num: 256
  • ada3 - Pools Button "Create" Name: test3 Size 3 Min Size: 1 pg_num: 64
  • Es wird ein "rbd" angelegt, diese Zeile löschen
• ada3 - Ceph (Dashboard)

Benchmark

rados -p test3 bench 10 write --no-cleanup
# Beachte "Bandwidth"
rados -p test3 bench 10 seq

RBD

• Datacenter - Storage Button "Add"
  • ID: ceph-vm Pool: ceph-vm Monitors: 10.10.10.151 10.10.10.152 10.10.10.153 Enabled X Content: Disk image KRBD: -
  • ID: ceph-lxc Pool: ceph-lxc Monitors: 10.10.10.151 10.10.10.152 10.10.10.153 Enabled X Content: Containers KRBD: X

Keyring kopieren

cd /etc/pve/priv
mkdir -p ceph
cp /etc/ceph/ceph.client.admin.keyring ceph/ceph-vm.keyring
cp /etc/ceph/ceph.client.admin.keyring ceph/ceph-lxc.keyring