За информацията в тази статия или раздел не са посочени източници. Въпросната информация може да е непълна, неточна или изцяло невярна. Имайте предвид, че това може да стане причина за изтриването на цялата статия или раздел.
Роден е в Батак със светско име Димитър Паунов в семейството на местния чорбаджия Паун, чийто прадядо е преселник от Разлог. На 12-годишна възраст е изпратен в Рилския манастир, където по-късно става монах под името Йосиф. След замонашването си учи в гръцкото училище в гр. Мелник, на Атон и в Цариград. Бил е таксидиот в Разлог и Враца, пътувал е до Влашко.
Към 1817 г. вече заема длъжността скевофилакс на Рилския манастир. Между 1822 и смъртта си през 1860 г. е почти несменяем игумен на манастира (преизбиран е 3 пъти и прекарва на тази длъжност 37 години). След големия пожар, изпепелил манастира през 1833 г., Йосиф организира неговото възстановяване (1833 – 1838), заради което получава прозвището Строителя. Организира две училища в манастира, където се изучават задължително гръцки и турски. Подготвя и откриването на духовна семинария (за целта е закупено място в село Рила), но смъртта му осуетява това начинание.
Неговите племенници йеромонах Кирил Рилски и йеромонах Никифор Рилски също са избирани за игумени на Рилския манастир.
Неофит Рилски, Свети Иван Рилски и неговият манастир. София, 1879, с. 111, 121. (Неофит Рилски няма такава книга, негова е „Описание на свещения български Рилски манастир“, а тази е книгата на Йордан Иванов от 1917 г.)
Попов, Б. Трима многозаслужили игумени на Рилския манастир от гр. Батак. София, 2001.
Янев, Я. Батак и Възраждането. София, 2004, с. 25 – 26.