Die jüdische Familie Schwarz zog im Oktober 1893 mit ihrem knapp einjährigen Sohn Alfred nach Dresden. Nur wenige Monate später wurde dort ihr zweiter Sohn Iwan geboren. Beide Jungen kamen gehörlos und gehbehindert auf die Welt. Das allein bedeutete gewisse Beschwerlichkeiten für die Familie.
Erschwerend kam jedoch hinzu, dass Dresden zu dieser Zeit eine Hochburg des Antisemitismus im Kaiserreich war. Trotz dessen meisterten Alfred und Iwan die ersten Herausforderungen ihres Lebens. Alfred erlernte den Beruf des Damenschneiders und Iwan wurde Maschinist.
Auch während der Weimarer Zeit änderte sich nichts am latenten Antisemitismus in Dresden. Dennoch blühte in den 1920er Jahren das jüdische Leben der Stadt auf. Es entstanden Stiftungen und Vereine, die sich für die Belange der rund 5.100 Mitglieder der jüdischen Gemeinde einsetzten. Jüdinnen und Juden hatten aber auch auf die wirtschaftliche und kulturelle Entwicklung Dresdens einen großen Einfluss. Zeugnis des wachsenden jüdischen Selbstbewusstseins, das auch Alfred und Iwan Schwarz in dieser Zeit entwickelten, war die Gründung des „Dresdner Taubstummen Schwimmverein 1920 e. V.“ durch die Brüder Schwarz. Dieser veranstaltete 1921 die erste deutsche Meisterschaft im Gehörlosen Schwimmen und versuchte danach, ein Erholungsheim in Königstein-Halbestadt aufzubauen.
Das weitgehend harmonische deutsch-jüdische Zusammenleben fand jedoch Anfang der 1930er Jahre sein jähes Ende. Die Gebrüder Schwarz bekamen dies nicht nur durch die zahlreichen spontanen und staatlich verordneten antisemitischen Ausschreitungen, die alltäglichen Diskriminierungen und die „Nürnberger Rassengesetze“ von 1935 zu spüren. Im selben Jahr erfolgte auch der staatlich erzwungene Zusammenschluss des Schwimmklubs mit anderen Gehörlosenvereinen, der den Ausschluss der Brüder zur Folge hatte. Die Alltagsdiskriminierung war damit aber noch nicht zu Ende. Schon vor der Zerstörung der Semper-Synagoge im Zuge der Novemberpogrome 1938 begann die Stadt, die jüdischen Menschen in sogenannten Judenhäusern zusammenzudrängen. Bis zum 1. April 1940 waren alle Jüdinnen und Juden der Stadt gezwungen, in einem der 32 „Judenhäuser“ zu wohnen, in denen sie nicht nur unter den willkürlichen und gewalttätigen Hausdurchsuchungen der Gestapo zu leiden hatten, sondern auch unter den ungenügenden hygienischen Bedingungen. Nach der gesellschaftlichen und räumlichen Segregation begannen die Nationalsozialisten im Herbst 1941 mit der Organisation und Durchführung systematischer Deportationen in den Osten. Ende 1941 waren noch 1.265 Jüdinnen und Juden im Regierungsbezirk Dresden-Bautzen registriert. Bis zum Januar 1945 sank ihre Zahl auf 198. Darunter waren auch Alfred und Iwan Schwarz, die aufgrund ihrer „Mischehe“ mit nichtjüdischen Frauen von der Deportation zurückgestellt wurden. Erst mit einem der letzten Deportationszüge am 16. Februar 1945 sollten auch sie aus Dresden verschleppt werden.
Sie starben unter den Trümmern eines der letzten noch bewohnten „Judenhäuser“ in der Sporergasse 2.