Norman Granz, fondateur du label Verve, a sélectionné onze ballades pour Fitzgerald et Armstrong, principalement jouées dans un tempo lent ou modéré. L'enregistrement commença le 16 août 1956 dans les nouveaux studios Capitol à Hollywood. Bien que Granz ait produit l'album, Armstrong a eu le dernier mot sur les chansons et les tonalités.
Le succès d'Ella and Louis a été reproduit par Ella and Louis Again et Porgy and Bess. Ces trois albums ont été publiés sous le titre The Complete Ella Fitzgerald & Louis Armstrong chez Verve. Verve a également publié l'album comme l'un des premiers en SACD.