Lors de la saison 1994-1995, l’OM termine premier de deuxième division. Mais à trois journées de la fin du championnat, la DNCG refuse que le club marseillais remonte en D1 compte tenu de ses finances. L’OM est donc condamné à passer une nouvelle saison en D2.
Emmené par ses joueurs d’expérience (Germain, Cascarino, Dib, Ferreri…) et par quelques jeunes comme Marc Libbra, l’OM ne se démoralise pas. L’équipe s’est forgée un gros mental et va prouver qu’elle peut s’en sortir dans les situations les plus délicates.
Le président Roussier décide de renouveler sa confiance à Henri Stambouli sur le banc phocéen. Mais le début de saison s’avère compliqué pour les Marseillais. L’OM l’emporte contre Le Mans lors de la première journée (3-1) mais perd contre Épinal la journée suivante (2-0) et connaît des défaites face à Louhans Cuiseaux (3-1) et contre Caen (2-0). Stambouli est donc remplacé par Gérard Gili au début du mois de septembre 1995.
une deuxième partie de saison aboutie
Mais lors de la deuxième partie de saison, tout va rentrer dans l’ordre. Les joueurs provençaux obtiennent de bien meilleurs résultats. En février 1996, les Marseillais disent notamment adieu à l’ancien stade Vélodrome. Ce dernier sera rénové en vue de la Coupe du Monde 1998 organisée en France. De la 22e journée à l’ultime rencontre de D2, la bande de Gili remporte quatorze matches pour cinq nuls et seulement deux défaites. Le club bleu et blanc se distingue par des larges succès contre Épinal (3-0), Perpignan (5-1), Alès (4-0) et Sochaux (4-1).
Bien aidé par son buteur irlandais Tony Cascarino, meilleur buteur de Marseille avec 30 buts inscrits cette saison-là, l’OM termine deuxième de D2 avec 80 points, à seulement une longueur du champion caennais. L’Olympique de Marseille a trouvé le chemin des filets à 69 reprises durant la saison, ce qui en fait la meilleure attaque de deuxième division.
Après deux années de purgatoire, l’OM retrouve enfin l’élite après une victoire contre Sochaux au stade Vélodrome le 17 mai 1996. Les deux années passées en D2 reste malgré tout un bon souvenir pour la plupart des Marseillais car l’équipe avait une âme. Elle ne lâchait rien et allait droit au but.