Po slabih odzivih na album Chicago XIV, je Columbia Records prekinila pogodbo s skupino Chicago. Skupina je takrat ravno začela sodelovati z Davidom Fosterjem in je pričela graditi novo identiteto, založba Columbia pa je bila zavezana k izdaji še enega albuma skupine. Tako je izšel drugi kompilacijski album, ki je naslednik albuma Chicago IX: Chicago's Greatest Hits iz leta 1975. Naslovnica albuma Volume II vsebuje kolaž fotografij iz okolice mesta Chicago. Razen majhnega logotipa, ki se pojavi na majhni sliki drugega albuma skupine, je to drugi album skupine, ki ne vsebuje logotipa.
Greatest Hits, Volume II pretežno vsebuje skladbe od albuma Chicago VIII do albuma Hot Streets, po katerem skupina ni več imela večjih hitov, vsebuje pa še nekaj starejših hitov, ki niso bili vključeni na prvem kompilacijskem albumu. Album je izšel malce pred albumom Chicago 16, ki je ponovno zasukal uspeh skupine, in dosegel 171. mesto ameriške lestvice Billboard 200.[2] Čeprav je na seznamu skladb navedena tudi »Dialogue Part I & II«, je na albumu prisoten le Part II.