Bearbeiten von „Ceph“

= Installation auf Proxmox =

== Disks ==
* 3 Knoten erstellen: ada1 ada2 ada3
** OS installiert auf /dev/nvme0n1
** Daten auf /dev/sda und /dev/sdb, sollten SSDs sein

== Netzwerk ==
* bond0 Linux bond eth2+eth3 10.10.10.151 Mode: broadcast
* eth1 10.10.10.151
* eth2
* eth3
* vmbr0 LinuxBridge eth0 192.168.16.151 GW: 192.168.16.1

== Installation Ceph ==
Auf allen Knoten:
<pre>pveceph install --version jewel
</pre>
* Auf allen Knoten:
<pre>pveceph init --network 10.10.10.0/24
pveceph createmon
</pre>
Proxmox-Webinterface:
* Monitor
** ada1 - Ceph - Monitor
** ada1 - Ceph - Monitor Button "Create", Host: ada2
** ada1 - Ceph - Monitor Button "Create", Host: ada3
* OSD
** ada1 - Ceph - OSD Button "Create OSD", Disk: /dev/sda Journal auf dem gleichen Gerät
** ada1 - Ceph - OSD Button "Create OSD", Disk: /dev/sdb
** ada2 - Ceph - OSD Button "Create OSD", Disk: /dev/sda Journal auf dem gleichen Gerät
** ada2 - Ceph - OSD Button "Create OSD", Disk: /dev/sdb
** ada3 - Ceph - OSD Button "Create OSD", Disk: /dev/sda Journal auf dem gleichen Gerät
** ada3 - Ceph - OSD Button "Create OSD", Disk: /dev/sdb
* Pools
** ada3 - Pools Button "Create" Name: ceph-vm Size 3 Min Size: 2 pg_num: 256  Siehe https://stackoverflow.com/questions/40771273/ceph-too-many-pgs-per-osd
** ada3 - Pools Button "Create" Name: ceph-lxc Size 3 Min Size: 2 pg_num: 256
** ada3 - Pools Button "Create" Name: test3 Size 3 Min Size: 1 pg_num: 64
** Es wird ein "rbd" angelegt, diese Zeile löschen
* ada3 - Ceph (Dashboard)

== Benchmark ==

<pre>
rados -p test3 bench 10 wreite --no-cleanup
# Beachte "Bandwidth"
rados -p test3 bench 10 seq
</pre>

= RBD =
* Datacenter - Storage Button "Add"
** ID: ceph-vm Pool: ceph-vm Monitors: 10.10.10.151 10.10.10.152 10.10.10.153 Enabled X Content: Disk image KRBD: -
** ID: ceph-lxc Pool: ceph-lxc Monitors: 10.10.10.151 10.10.10.152 10.10.10.153 Enabled X Content: Containers KRBD: X

= Keyring kopieren =
<pre>
cd /etc/pve/priv
mkdir -p ceph
cp /etc/ceph/ceph.client.admin.keyring ceph/ceph-vm.keyring
cp /etc/ceph/ceph.client.admin.keyring ceph/ceph-lxc.keyring
</pre>