德川园是在1695年作为尾张藩第二代藩主光友的隐居之地而建造。占地大约有44公顷，据说庭院内的池塘上能放开16条船。
光友死后，这个地方就转给了尾张藩家老臣成濑、石河、渡边三家人，从1889年成为尾张德川家的宅邸。
在1931年，名古屋市接受了十九代户主德川义亲捐赠的宅邸和庭园，并进行了整备修复工作，作为“德川园”被公开，剩下的土地在1935年建成德川美术馆。
1950年的时候，东京的「蓬左文库」转移到了园内，另外，为了配合2005年举办的爱知万博，作为「武家文化的据点」，而成为了美术馆和文库、宅邸都融为一体的德川家的渊源所在。