จากคำบอกเล่าของผู้รู้ในตำบล ตำบลควนขนุนเป็นตำบลเก่าแก่มาแต่ดั้งเดิม ไม่ปรากฏว่าย้ายมาจากที่ใดและไม่ปรากฏปีที่จัดตั้ง สำหรับชื่อที่เรียกตำบลควนขนุนเดิมบริเวณนี้มีต้นขนุนอยู่ 1 ต้น วันหนึ่งมีพระภิกษุเดินผ่านมาได้กลิ่นหอมของขนุนสุก แต่เมื่อมองหาผลบนต้นกลับไม่พบทั้งที่ยังมีกลิ่นหอมอยู่เหมือนเดิม จึงลองช่วยกันขุดใต้ดินบริเวณต้นขนุน พบขนุนมีลักษณะผิวสีทองจึงได้ช่วยกันนำขึ้นมาและไปถวายเจ้าเมือง เจ้าเมืองประทับใจมากที่มีของแปลกประหลาดจึงได้ประทานรางวัลฆ้อง 2 ลูก เป็นฆ้องเงินและฆ้องทอง และประทานชื่อว่า "บ้านควนขนุน"