ที่ตั้งและอาณาเขต
อำเภอเขาย้อยตั้งอยู่ทางตอนเหนือของจังหวัดเพชรบุรี มีอาณาเขตติดต่อกับอำเภอข้างเคียง ดังนี้
» ทิศเหนือ ติดต่อกับอำเภอปากท่อ (จังหวัดราชบุรี)
» ทิศตะวันออก ติดต่อกับอำเภอบางคนที (จังหวัดสมุทรสงคราม) และอำเภอบ้านแหลม
» ทิศใต้ ติดต่อกับอำเภอเมืองเพชรบุรีและอำเภอบ้านลาด
» ทิศตะวันตก ติดต่อกับอำเภอหนองหญ้าปล้อง

ประวัติ
เริ่มก่อตั้งเมื่อ พ.ศ. 2440 โดยมีหลวงพรหมสารเป็นนายอำเภอคนแรก เดิมที่ว่าการอำเภอตั่งอยู่ที่ตำบลห้วยท่าช้าง จึงได้ชื่ออำเภอว่า อำเภอห้วยท่าช้าง ต่อมาได้ทำการย้ายที่ว่าการอำเภอห้วยท่าช้างไปตั้งอยู่ ณ ตำบลหัวสะพาน จึงได้มีการเปลี่ยนชื่อเป็น อำเภอหัวสะพาน ต่อมาได้ย้ายที่ว่าการอำเภอมาตั่งอยู่ ณ หมู่บ้านน้อย จึงได้เปลี่ยนชื่อเป็น อำเภอบ้านน้อย และภายหลังได้เปลี่ยนเป็น อำเภอเขาย้อย จนถึงปัจจุบัน

- ถ้าเขาย้อย -

ตั้งอยู่ทางทิศตะวันออกของเขาย้อยหลังสถานีรถไฟ เขาย้อยเป็นภูเขาโดดเด่นริมทางหลวงหมายเลข 4 อยู่ก่อนถึงตัวเมืองเพชรบุรีประมาณ 22 กิโลเมตร ในถ้ำนี้มีพระพุทธรูปใหญ่น้อยหลายปางประดิษฐานอยู่ คล้ายกับถ้ำเขาหลวง หรือถ้ำเขาบันไดอิฐ ตามประวัติเล่าว่าพระพุทธรูปเหล่านี้มีมานานแล้ว และต่อมาพระครูอ่อนวัดท้ายตลาดมาบูรณะใหม่ และมีเกร็ดประวัติศาสตร์เล่ากันว่าสมัยเมื่อพระบาทสมเด็จพระจอมเกล้าเจ้า อยู่หัวยังทรงผนวชอยู่นั้น พระองค์ได้เสด็จธุดงค์วัตรมาปักกลดวิปัสสนาที่หน้าเขาย้อย แล้วทรงย้ายขึ้นมาประทับนั่งกรรมฐานอยู่ในถ้ำเขาย้อยหลายคืน