Fils d'un député marseillais de la Seconde République, Émile Ollivier est lui-même élu au Corps législatif en 1857, sous le Second Empire, dans le « groupe des Cinq », qui désigne les députés républicains de l'assemblée.
Émile Ollivier est le rapporteur de la loi qui abolit le délit de coalition et instaure le droit de grève (25 mai 1864). Il se rallie peu après au principe d'un empire parlementaire et devient le chef du « tiers parti ». Cela lui vaut d'être appelé à la tête du gouvernement par Napoléon III le 2 janvier 1870.
Six mois plus tard, il peut affirmer avec sérénité à la tribune de l'assemblée : « À aucune époque, le maintien de la paix n'a été plus assuré qu'aujourd'hui ! De quelque côté que l'on tourne les yeux, on ne découvre aucune question qui puisse révéler le danger » Malheureuse prédiction.
Une dépêche d'Ems habilement caviardée par Bismarck met le feu aux poudres. Le 15 juillet 1870, obligé de justifier devant les députés la prochaine déclaration de guerre de la France à l'Allemagne, Émile Ollivier s'embrouille : « Oui, de ce jour commence pour les ministres, mes collègues, et pour moi, une grande responsabilité... Nous l'acceptons le cœur léger... » Sous les huées, l'orateur tente de se reprendre : « Oui, d'un cœur léger... Je veux dire d'un cœur que le remords n'alourdit pas, d'un cœur confiant... » Mais rien n'y fait et le mot désormais lui collera à la peau. Obligé de démissionner le 9 août 1870 suite aux premiers échecs militaires, il ne reviendra plus à la politique.