Cassandra Wilson là con thứ ba và trẻ nhất của Herman Fowlkes, Jr, một tay guitar, bass và giáo viên âm nhạc; và Mary McDaniel, một giáo viên tiểu học người cuối cùng giành được bằng tiến sĩ của mình trong giáo dục. Giữa tình yêu của mẹ cho Motown và sự cống hiến của cha cô để jazz, Wilson đã gây sự quan tâm của cha mẹ sớm của cô trong âm nhạc.