Berätta för kollegor?

Hej. Jag har varit sjukskriven från mitt jobb då jag har ett jobb med tunga lyft. Har kommit tillbaka nu och det känns inte alls bra. Saken är den att jag berättade för chefen att jag behövde vara hemma för att jag gjort en bröstoperation. Tog för givet att hen inte skulle berätta för kollegor, men fick reda på att hen berättat att jag opererat mig, men inte vart. Jag hade inte tänkt berätta alls, utan bara säga att jag inte får lyfta tungt. Nu har jag hamnat i en väldigt dum situation, där folk undrar vart jag opererat mig, även ifall det var en olycka inblandad. Varpå jag svarar att jag inte vill säga det och att det var en vald operation. Det spekuleras säkert en hel del. Stämningen är inte densamma. Dem är inte lika sociala mot mig som de var innan. Jag blir ignorerad av några som jag tycker väldigt bra om. Berättar jag som det är kanske det blir värre? Kan tillägga att det är en kvinnodominerad arbetsplats. Jag känner mig så nere. Hjälp mig snälla!