Displasia payudara sebagian besar disebabkan oleh kelainan bawaan, dan juga bisa disebabkan oleh kelainan endokrin yang didapat selama masa pubertas (misalnya kekurangan estrogen dan progesteron), pengikatan payudara, malnutrisi, dan kontraktur bekas luka dari luka bakar di dada.