Stavanger Kunstmuseums rötter sträcker sig tillbaka till konstföreningen Stavanger kunstforening och dess faste galleri - ett galleri med en egen permanent konstsamling. Denna samling började den 11 februari 1865, då konsul Jens Z. Kielland blev ordförande för den nya konstföreningen. Kielland var amatörmålare och far till Kitty och Alexander Kielland.
Idag har museet över 2 600 verk. Bland dessa finns Norges största Lars Hertervig-samling och ett stadigt ökande antal målningar av Kitty Kielland.