Trên khoảng đất rộng ngày xưa Văn Miếu Bình Định từng tọa lạc, nay chỉ còn lại hai tấm bia đá Khuynh cái hạ mã (nghiêng lọng xuống ngựa) cách cổng tam quan chừng vài chục thước và bức bình phong Long mã phù đồ trước chính điện. Thật ra xưa kia trước cổng Văn Miếu có đến hai gian nhà bia (bi đình), nhưng về sau một nhà bị sập, có người dời thớt bia về nhà định dùng việc riêng, mấy hôm sau bỗng dưng ngã bệnh, cho là bị "trên trước" quở phạt vì tội bất kính, bèn khiêng bia trả về chỗ cũ. Những chữ Hán Khuynh cái hạ mã khắc trên mặt bia là một cách lưu ý quan khách, dù là kẻ sang người hèn đến đây đều phải dọn mình để bước vào cõi thiêng.