Manfred Zoller wuchs in Zeitz auf. Ab 1963 besuchte er einen Zeichenzirkel in Zeitz bei dem Maler und Bildhauer Joachim Hering. 1969 bis 1979 studierte er Medizin an der Universität Rostock und arbeitete anschließend im Anatomischen Institut Rostock. Zoller promovierte 1977, wurde 1978 Facharzt und 1991 habilitiert.
Nach dem Physikum begann Zoller wieder intensiv zu zeichnen und zu malen. 1971 begann eine jahrelange gemeinsame künstlerische Zusammenarbeit mit Hanns Schimansky. Ab 1972 arbeitete er im Zeichenzirkel der Universität Rostock bei Johannes Müller. In den nächsten Jahren holte sich Zoller wichtige Anregungen durch Johannes Müller (1935–2012), die später zu einer andauernden Freundschaft wurde: Neben dem künstlerischen Austausch auch Betrachtungen über die Lehre Zollers im Lehrfach Morphologie und Anatomie.
Seit 1973 absolviert er Korrekturen und Gespräche bei Gerhard Kettner an der Hochschule für Bildende Künste Dresden. Von 1980 bis 1983 war Zoller Meisterschüler bei Kettner und wurde 1979 Mitglied im Verband Bildender Künstler der DDR und freiberuflicher Maler. Durch eine Ausstellung in der Galerie Mitte Berlin mit Hanns Schimansky begegnet er Berliner und Dresdner Kollegen. Dies war der Beginn von Freundschaften u. a. mit Manfred Böttcher und Joachim Böttcher, Dieter Goltzsche, Berndt Wilde, Rainer Zille und Stefan Plenkers.
1985 begann seine Lehrtätigkeit an der Hochschule für Bildende Künste Dresden als Leiter der Abteilung für Künstleranatomie. 1989 zog er mit seinem Atelier in die Parkstraße 31 nach Berlin-Pankow. 1990 wechselte Zoller an die Kunsthochschule Berlin-Weißensee und nahm am ersten gemeinsamen Symposium aller Kunsthochschulen Deutschlands in Hamburg teil.
Von 1990 bis 1992 hielt Zoller Vorträge zu anthropologischen Themen unter der Überschrift „Aus den Dingen schwindet die Wärme“ (Walter Benjamin) an der Kunsthochschule Berlin-Weißensee und der Hochschule für Bildende Künste Dresden. 1993 wurde er zum Professor für das Fach Morphologie/Anatomie an der Kunsthochschule Berlin-Weißensee berufen.
2008/2009 hatte er zwei Gastprofessuren an der Deutschen Universität Kairo (GUC) inne. 2009 Gastprofessor an der Universität der Künste Tokio (Geijutsu Daigaku). 2010 Gründung der „Gesellschaft für Anatomie und Bildende Kunst“ mit Künstlern und Medizinern.
Zoller lebt im Hohen Neuendorfer Ortsteil Bergfelde bei Berlin.
Zollers Werke wurden in zahlreichen Galerien und Ausstellungen gezeigt. Skulpturen von Zoller befinden sich unter anderen auch im Lehmbruck-Museum in Duisburg.