"Durch sowas um 2 Uhr früh aufgeweckt werden, ist nicht ideal...", scherzt Stephen Oliver auf Insta