「榕光社」的起源，與香港人口發展息息相關，也見證了香港公共房屋的變遷。「榕光社」發源於慈雲山村。當時慈雲山村是香港其中一個最大型公共屋村，共有六十三座樓宇，包括了 Ⅲ 至 Ⅳ 型公屋類別。當時人口約有八萬多，而其中六十歲以上的長者共有一萬八仟人，長者佔全村人口百分之二十四點四，是全港之冠。

1987年政府公佈長遠房屋發展策略，決定在1989至2001年之間進行大規模的公屋重建計劃。慈雲山村亦被納入重建計劃之中。由於該區的長者比率非常高，其中大量單身或二人合住的長者面臨清拆搬遷問題，他們需要裝修新居以及辦理申請電話、煤氣、電力供應等手續。這些工作對於獨居長者或雙老來說，都是十分吃力的。搬遷之後，他們亦要適應新環 境以及失去舊有鄰里的幫助。

由於切合社區需要，又得到社工學生、義工、大學講師和慈善基金的支持，「慈雲山長者搬遷大行動」服務計劃得到空前成功。在一九九零年七月至九月之間，義工拜訪了房屋署，互助委員會、長者中心、區議員及紅十字會，邀請他們協助計劃之推行和贊助有關物資。義工又聯絡了搬運公司及裝修師傳。義工更親力親為地為長者鋪地板、掛上窗帘布及清潔全屋，然後才離去。在三個月內，協助了近百名獨居長者搬遷。

其中有一群義工在協助慈雲山村長者搬遷後，更自發成立長者服務組織 - 「榕光社」，繼續為獨居長者服務，讓他們老有所依。

公屋評議會及浸會大學社工學生於1989年聯合發起「慈雲山長者搬遷大行動」，為慈雲山重建區內的長者提供社區綜合服務。該項服務目標是協助長者裝修、搬遷和幫助他們在新社區中建立支援網絡更得到東方報業慈善基金撥款支持。

搬遷行動完成後，大部份義工仍然留下繼續為該區的長者服務。後來，大家更把義工組命名為「榕光社」，取其長壽而強壯常而穩健的意思。就像一位長滿美髯的長者一樣，既溫文爾雅又和藹可親。