श्री स्वामीजी वाराणसीच्या शांत वातावरणाकडे आकर्षित झाले आणि त्यांना आनंद रामायणातील हा श्लोक आठवला. कार्तिक महिन्यात जेव्हा श्री स्वामीजी पंचगंगा घाटावर ध्यान करत होते, तेव्हा एका राजकुमारीच्या हिऱ्याच्या बांगड्या हरवल्या. सेवकांनी बांगड्यांचा शोध घेतला आणि स्वामीजींच्या ध्यानात व्यत्यय आणला. स्वामीजींनी स्पष्ट केले की त्यांनी सांसारिक आसक्तीचा त्याग केला आहे आणि त्यांना हिऱ्याच्या बांगड्यांचा काहीही उपयोग नाही. नंतर बांगड्या नदीपात्रात सापडल्या आणि काशीच्या राजाने स्वामीजींना झालेल्या त्रासाबद्दल त्यांची क्षमा मागितली.

श्री नारायण तीर्थांनी गौड सारस्वत ब्राह्मण समुदायासाठी पंचगंगा घाटावर मठ स्थापन करण्याची इच्छा व्यक्त केली. काशीच्या राजाने श्री बिंदू माधव मंदिरासमोर मठाची एक साधी वास्तू बांधण्यास मदत केली. गौड सारस्वत ब्राह्मण वैष्णव समुदायाच्या पहिल्या मठाची स्थापना श्री शके १३९७, मन्मथ संवत्सर (इ.स. १४७५) मध्ये झाली. श्री नारायण तीर्थांनी यात्रेकरूंना आश्रय देण्यासाठी आणि गौड सारस्वत ब्राह्मणांच्या वैष्णव पंथाचा ध्वज फडकवण्यासाठी वाराणसी येथे मुख्य मठाची स्थापना केली.

काशी येथे मठाची स्थापना केल्यानंतर श्री नारायण तीर्थ उडुपीला परतले. श्री रामचंद्र तीर्थ स्वामीजींनी उडुपी पळिमारू मठाची परंपरा पुढे नेण्यासाठी श्री विद्यानिधी तीर्थांना दीक्षा दिली आणि श्री नारायण तीर्थांना गौड सारस्वत ब्राह्मण वैष्णव समुदायाचे नेतृत्व करण्याचा आशीर्वाद दिला. श्री नारायण तीर्थांनी सारस्वत ब्राह्मण समुदायाचे संघटन केले आणि भटकळ येथे मठाची निर्मिती केली. गोव्यात पोर्तुगीज मिशनऱ्यांनी धर्मांतर सुरू करण्याच्या ७५ वर्षे आधी या मठाची स्थापना झाली होती.

‘श्री संस्थान गोकर्ण पर्तगाली जीवोत्तम मठ’ हे सारस्वत अस्मितेचे प्रतीक मानले जाते आणि त्याला ५५० वर्षांचा इतिहास आहे. मठाला २४ स्वामीजींची अखंड परंपरा लाभली आहे आणि त्याचा विस्तार एका महाकाय वटवृक्षाप्रमाणे झाला आहे. श्रीमन् नारायण तीर्थांनी श्री शके १४३९, चैत्र अमावस्येला हरिपाद प्राप्त केले आणि त्यांचे वृंदावन भटकळमधील गोपी नदीजवळ आहे.