Toen later in de vijftiger jaren andere muzieksoorten meer belangstelling kregen van het voornamelijk jonger publiek, braken magere tijden aan voor menig dansorkest. Ook het optreden met een Rock & Roll band, om meer bezoekers te trekken, was geen lang leven beschoren. In deze tijd begon zangeres Corry Brokken haar zangcarrière bij The Original Victoria Band, alvorens ze landelijk meer bekendheid kreeg. Ook de later bekend geworden vertolker van het droefgeestige lied, Ronnie Potsdammer, was in de jaren vijftig verbonden aan het orkest als gitarist. Het aantal optredens ging zich beperken tot enige malen per jaar op personeelsfeesten van bedrijven. Verder waren er alleen nog de wekelijkse repetities en het jaarlijkse uitstapje naar de kermis.