Robert Downey Jr. má za sebou už desať rokov manželstva a ako v rozhovoroch niekoľkokrát povedal, považuje ho za šťastné. Aktuálne v šou „Howard Stern Show“ prezradil, že jeho manželka Susan mu dokonca povolila neveru. Má to však jeden háčik. Len s jednou ženou. „Moja schválená nevera je jedine s Gwyneth Paltrowovou, ona a moja manželka sú dokonca priateľky,“ povedal predstaviteľ Iron Mana.
Slávna herecká dvojica sa stretla v roku 2008 ako Tony Stark a Pepper Potts v Iron Menovi a vtedy si padli do oka. Spája ich však len dlhoročné priateĺstvo, podobne ako celé ich rodiny. Robert Downey Jr. má so svojou manželkou Susan dve deti a neúnavne opakuje, že aj po desaitich rokoch manželstva je do nej stále zamilovaný.