Von Fischern, Kriegsschrecken und Tagelöhnern