Rummenigge je večji del svoje kariere igral v nemški ligi za Bayern Munich, za katerega je med letoma 1974 in 1984 odigral 310 prvenstvenih tekem in dosegel 162 golov. S klubom je osvojil naslov nemškega državnega prvaka v letih 1980 in 1981, nemškega pokalnega zmagovalca v letih 1982 in 1984 ter Pokal državnih prvakov v letih 1975 in 1976. V sezonah 1980, 1981 in 1984 je bil najboljši strelec nemške lige. Za tem je tri sezone odigral za klub Internazionale v Serie A, ob koncu kariere pa še za Servette FC v švicarski ligi.
Za zahodnonemško reprezentanco je nastopil na svetovnih prvenstvih v letih 1978, 1982 in 1986, ter evropskih prvenstvih v letih 1980 in 1984. Na svetovnih prvenstvih v letih 1982 in 1986 se je z reprezentanco uvrstil v finale, na Evropskem prvenstvu 1980 pa je osvojil naslov evropskih prvakov. Skupno je za reprezentanco odigral 95 tekem in dosegel 45 golov.
