Cardoso ist Urenkel des Kunstsammlers, USPD-Politikers und Bankiers Hugo Simon aus Berlin, der 1933 ins Exil ging. Seine Mutter war die Nichte des Dichters Lúcio Cardoso (1912–1968) und entstammte einer bedeutenden Familie in Minas Gerais.
Rafael Cardoso wuchs ab seinem fünften Lebensjahr in den USA auf und studierte Kunstgeschichte an der Johns Hopkins University sowie an der Bundesuniversität Rio de Janeiro und in London, wo er am Courtauld Institute of Art promovierte. Er wurde 1996 Professor an der Katholischen Universität Rio de Janeiro und danach Professor an der Bundesuniversität Rio de Janeiro. Auch als Kurator bedeutender Ausstellungen wurde er bekannt. So kuratierte er 2012 From the Margin to the Edge: Brazilian Art and Design in the 21st Century im Somerset House in London. Heute lebt er in Berlin, wo er ein Buch über die Emigrationsgeschichte der Familie Simon schrieb und 2016 veröffentlichte.[1] Zur Geschichte des Hugo Simon erschien 2018 ein weiteres biografisches Werk in Herausgeberschaft, worin er als Beiträger über die Exilzeit Simons schrieb.

Cardoso veröffentlichte zahlreiche Werke zur Geschichte der brasilianischen Kunst vom 19. Jahrhundert bis 1930, zur Theorie des Designs sowie mit Stand 2018 vier Romane, von denen Sechzehn Frauen 2013 und Das Vermächtnis der Seidenraupen 2016 in deutscher Übersetzung erschienen.