วัดเขาพระศรีฯ ตั้งอยู่บนยอดเขาพระศรี อยู่นอกเขตกำแพงเมืองเก่าทางด้านทิศตะวันออกเฉียงใต้ สูงที่สุดในเมืองศรีสัชนาลัย
ตามตำนานการสร้างพระรอดมหาวันและหนังสือชินกาลมาลี ยุคของพระนางจามเทวีราชธิดาของกษัตริย์กรุงละโว้ ได้ไปครองเมืองหริภุญชัย อันเกี่ยวเนื่องกันของเมืองต่างๆในสมัยทวารวดี ซึ่งได้กล่าวอ้างถึงฤาษีสุกกทันตฤาษีที่อยู่ภูเขาแคว้นศรีสัชนาลัย เป็นผู้สร้างพระรอดมหาวัน
เมืองศรีสัชนาลัยยุคแรกๆ น่าจะเป็นเมืองหลวงหรือเมืองศูนย์กลางอำนาจในลุ่มน้ำยมเคียงคู่กับกรุงละโว้
ตามตำนานของวัดพระธาตุศรีดอนคำ เมืองเชียงชื่น(เมืองจืน เมืองลองแพร่) ได้บันทึกไว้ว่า ราวปี 1,000 เศษ พระนางจามเทวี พระราชธิดากษัตริย์ผู้ครองเมืองละโว้ ซึ่งเป็นพระมเหสีพระยารามรามัญ ผู้ปกครองเมืองอโยฌิยา (เมืองรามบุรี) ได้เสด็จทางชลมารคเข้ามาทางแม่น้ำยม(สายเก่า)ผ่านมาถึงตรงที่วัดศรีดอนคำ พร้อมกับพระสารีริกธาตุ พระอุระของพระสัมมาสัมพุทธเจ้า (กระดูกอก) ได้นำบรรจุไว้ที่วัดศรีดอนคำดังตำนานกล่าวไว้ และได้ตั้งชื่อเมืองว่า เมืองเววาทภาสิต
หนังสือจามเทวีวงค์และพงศาวดารโยนก กล่าวว่า พระนางจามเทวีเสด็จมาเมื่อประมาณ พ.ศ.1200 เศษ
เมืองศรีสัชนาลัย เป็นพุทธศาสนาแบบลังกาวงค์ โดยมีวัดไม่น้อยกว่า 200 วัด ทั้งในและนอกเขตกำแพงเมือง ในยุคของพระมหาธรรมราชาลิไท ปรากฏหลักฐานว่า พระองค์ได้ทรงพระราชนิพนธ์หนังสือไตรภูมิพระร่วง ที่เมืองศรีสัชนาลัย ในพระยศเป็นเจ้าเมืองก่อนได้ราชสมบัติที่เมืองสุโขทัย
ไตรภูมิพระร่วง แต่งขึ้นเมื่อ วันพฤหัสบดี ขึ้น 15 ค่ำ เดือน 4 ปีระกา วันที่ 4 มีนาคม พ.ศ.1864 เป็นปีครองราชที่ 6 โดยมีพระประสงค์จะเทศโปรดพระมารดา และเพื่อจำเริญอภิธรรม แสดงให้เห็นถึงพระปรีชาสามารถอย่างลึกซึ้งในด้านพระพุทธศาสนา ซึ่งรวบรวมคัมภีร์ในพระพุทธศาสนา นับแต่พระไตรปิฏก อรรถกถา ฏีกา และปกรณ์พิเศษต่างๆ เรียบเรียงขึ้นเป็นวรรณคดีโลกศาสตร์เล่มแรกที่แต่งเป็นภาษาไทย
คนโบราณเล่าสืบต่อกันมาว่า บนยอดเขาวัดพระศรีฯมีถ้ำใหญ่ มีบ่อน้ำศักดิ์สิทธิ์ มีเรื่องเล่าตำนานต่างๆมากมายในอดีต
กล่าวคือ ประชาชนในสมัยที่พระมหาธรรมราชาลิไทปกครองนั้นเริ่มมีมากขึ้น ทำให้การปกครองบ้านเมืองยากยิ่งขึ้น ดูแลไม่ทั่วถึง จึงได้คิดนิพนธ์วรรณกรรมทางศาสนามาสอนให้ประชาชนทำแต่ความดี ขึ้นสวรรค์มีชีวิตสุขสบาย ทำชั่วก็ตกนรก
ด้วยเหตุนี้วรรณกรรมไตรภูมิพระร่วงจึงเป็นสิ่งที่ใช้ควบคุมทางสังคมได้เป็นอย่างดี เพราะสามารถเข้าถึงจิตใจคนได้โดยไม่ต้องออกกฏหมายบังคับกันแต่อย่างไร