Joseph Christian Lillie stammt aus einer böhmischen Handwerker- und Dekorateurfamilie, die Mitte des 18. Jahrhunderts nach Kopenhagen gezogen war. Noch nicht 14-jährig, wurde der Sohn eines Tischlermeisters Eleve an "Det kongelige Akademi for de skønne Kunster" und erhielt dort Architekturunterricht bei Caspar Frederik Harsdorff und Nicolas Henri Jardin, den damals bedeutendsten Architekturlehrern der Akademie und prägenden Vertretern des nordischen Neoklassizismus.