奥尔德里奇当代艺术博物馆由艺术收藏家和时装设计师拉里·奥尔德里奇 （Larry Aldrich） 于 1964 年创立，是美国最古老的当代艺术博物馆之一。该博物馆是美国为数不多的独立、非收藏机构之一，也是康涅狄格州唯一一家专门致力于展示当代艺术的博物馆。
拉里·奥尔德里奇（Larry Aldrich，1906-2001 年）是美国时装设计师、艺术收藏家和奥尔德里奇当代艺术博物馆的创始人。他出生时姓奥尔列维奇，父亲是俄罗斯犹太人，于 1897 年移民到纽约，他原本打算在哥伦比亚大学学习法律，但在他作为服装销售商取得成功后，他退出了时尚事业。在他的第一次演讲之前，他更名并于 1927 年 3 月 13 日推出了同名厂牌。在整个 1930 年代，他每年前往巴黎 3 次，研究新的服装风格，同时也努力在画廊和博物馆欣赏艺术品。
1940 年，他与画家永利·佩恩 （Wynn Payne） 结婚，并一起搬到了康涅狄格州的里奇菲尔德。她鼓励他通过书籍加深对艺术的兴趣。1947 年，他们前往巴黎，购买了印象派和后印象派画家的画作。最早进入他收藏的一些艺术家包括保罗·尤特里洛、皮埃尔·奥古斯特·雷诺阿、爱德华·马奈、拉乌尔·杜菲、雅克·维永和爱德华·维亚尔等。1951 年，奥尔德里奇购买了玛丽亚·海伦娜·维埃拉·达席尔瓦 （Maria Helena Vieira da Silva） 和赵无极 （Zao Wou-Ki） 的画作组曲，这是他首次收购在世艺术家的当代艺术作品。到 1953 年，奥尔德里奇夫妇已经积累了一批藏品，填满了他们在里奇菲尔德的庄园、曼哈顿的公寓和他品牌的陈列室。奥尔德里奇受到策展人的追捧，他们寻求他的帮助来建立博物馆藏品。1958 年，他在现代艺术博物馆设立了一个收购基金，随后于 1963 年在惠特尼美国艺术博物馆设立了一个类似的基金。他规定，任何一件作品的花费不得超过 1000 美元，这样策展人就被迫考虑尚不知名的艺术家的作品。这导致了 David Diao、Agnes Martin、Frank Stella 和 Tom Wesselmann 等人的作品加入。在五十年代后期，奥尔德里奇还通过他的时尚品牌建立了一个委托计划，巧妙地将他的业务与纽约前卫联系起来。被选中的艺术家将在他的陈列室中获得自豪感，他会将委托的画作赠送给重要客户。
1963 年，奥尔德里奇拍卖了他收藏的 1950 年之前的作品。这一战略举措使他能够重新专注于收购当代艺术，并追求为收藏建立一个永久家园的梦想，该收藏现在包括代表战后风格的艺术家，如抽象表现主义、极简主义、欧普艺术和波普艺术。他购买了位于里奇菲尔德大街的 18 世纪历史建筑“老百”，经过大规模修复后，他于 1964 年将其重新开放为拉里·奥尔德里奇博物馆。开幕式展览展出了 75 位艺术家，包括让·杜布菲、简·弗莱利彻、阿尔贝托·贾科梅蒂、莱昂·戈鲁布、格蕾丝·哈蒂根、罗伯特·印第安纳、埃尔斯沃斯·凯利、布里奇特·莱利、安东尼·塔皮斯和杰克·杨格曼。该物业包括博物馆大楼内的学习图书馆和后面的雕塑花园。在整个 1960 年代，奥尔德里奇夫妇每年组织三场收藏展和一场特别展览。奥尔德里奇先生工作日在纽约经营他的生意，博物馆的组织和管理由奥尔德里奇夫人掌舵，她将这项工作称为“拉里的愚蠢”。
1966 年，他卖掉了自己的公司，从时尚界退休。次年，该机构更名为奥尔德里奇当代艺术博物馆，奥尔德里奇邀请阿尔弗雷德·巴尔、约瑟夫·赫希霍恩、菲利普·约翰逊和维拉·李斯特——受人尊敬的收藏家和战后美国文化巨头——加入博物馆的领导层，担任受托人。现代艺术博物馆的创始馆长巴尔和他的继任者雷内·达农库特都建议奥尔德里奇将博物馆重新定位为展示代表性不足的当代艺术家，而不是展示他自己的收藏，他确实做到了。
1973 年，他在纽约市王子街创立了 SoHo 视觉艺术中心：这是一个非营利性展览空间，仅限于从未举办过个展或画廊代表的艺术家。它为杰克·惠顿、玛丽·奥伯林、斋藤菊雄、琼·塞梅尔、凯·沃金斯蒂克、斯坦利·惠特尼和安妮塔·斯特克尔等艺术家提供了一个平台。SoHo 视觉艺术中心有一个毗邻的图书馆，藏书 10,000 多册，免费向社区开放。奥尔德里奇相互协同运营这两个机构，将它们用作新人才的招聘场所和孵化器。1990 年，当 SoHo 视觉艺术中心关闭时，其广泛的艺术出版图书馆被交给了新博物馆。
1991 年，奥尔德里奇设立了拉里·奥尔德里奇奖，以表彰对当代艺术做出重大贡献的艺术家，并在博物馆举办个展并颁发现金奖励。首届奖项授予了伊丽莎白·默里。随后的获奖者包括布鲁斯·瑙曼、罗伯特·戈伯、珍妮·安东尼、伊丽莎白·佩顿、马克·迪翁和弗雷德·威尔逊。
奥尔德里奇一直是博物馆董事会的活跃成员，直到 2001 年去世。奥尔德里奇去世后，奥尔德里奇家族仍然活跃在博物馆中。他的女儿乔根·奥尔德里奇·海勒 （Georganne Aldrich Heller） 今天担任博物馆的名誉受托人。
