Stavangerin taidemuseon juuret ulottuvat taideyhdistys Stavanger kunstforeningiin ja sen faste galleri - galleriaan, jolla on oma pysyvä taidekokoelma. Kokoelma sai alkunsa 11. helmikuuta 1865, kun konsuli Jens Z. Kiellandista tuli uuden taideyhdistyksen puheenjohtaja. Kielland oli harrastelijamaalari ja Kitty ja Alexander Kiellandin isä.
Nykyään museossa on yli 2 600 teosta. Näistä tärkeimpiä ovat Norjan suurin Lars Hertervig-kokoelma ja jatkuvasti kasvava määrä Kitty Kiellandin maalauksia.