No podría haberse encontrado un edificio más hermoso para albergar el Museo Picasso Málaga. Estamos ante un maravilloso ejemplo de la arquitectura civil española de la época. Su primer propietario fue Diego de Cazalla, quien lo mandó construir en el siglo XVI. En el siglo XIX pasó a pertenecer al Conde de Buenavista, de quien tomó su nombre.
Es un edificio noble y recio, austero en su decoración con una magnífica torre mirador con forma rectangular.