Davids Samling er centralt placeret i det historiske København, tæt på Kongens Have. Museet har til huse i den ejendom, som stifteren, højesteretssagfører C.L. David selv beboede, samt i en senere erhvervet naboejendom, begge fra det 19. århundredes begyndelse. Bygningerne har i 2005-2009 gennemgået en omfattende renovering og fremstår som et fuldt tidssvarende museum med respekt for den historiske arv.

I 1945 besluttede højesteretssagfører C.L. David at bevare sine samlinger for eftertiden i form af et offentligt tilgængeligt museum, drevet af en selvejende fond – C.L. Davids Fond og Samling. Siden Davids død i 1960 er bestanden af kunstværker blevet forøget væsentligt.