I 1917 købte David ejendommen Kronprinsessegade 30, der var opført omkring 1806-07 formodentlig efter tegning af stadskonduktør J.H. Rawert. Med denne erhvervelse havde David sørget for en passende bolig til sig selv samt plads til sin voksende kunstsamling. Bygningen havde derudover en særlig betydning for ham, idet den ca. 100 år tidligere havde tilhørt oldefaderen J.N. David.

Ved at ændre tagets rejsning skabtes øverst i 1918-1920 to større og et mindre rum til kunstsamlingen på fjerde etage – samt en trappe op dertil – tegnet af arkitekt Carl Petersen (1874-1923). Til den keramiske samling byggedes i 1928 et særligt galleri skabt af Carl Petersens medarbejder, arkitekten Kaare Klint (1888-1954), der i 1950 også stod for indretningen af det, der i dag er det åbne magasin bagerst på samme etage. Der var adgang til kunstsamlingen fra Davids bolig på etagen nedenunder, der også var udsmykket med kunstgenstande. Husets to øvrige etager var udlejede.