เมืองสงขลาฝั่งบ่อยางมีภูมิประเทศเป็นแหลมทราย ชัยภูมิเป็นที่ราบ ไม่มีแนวภูเขาเป็นป้อมปราการเหมือนเมืองสงขลาฝั่งหัวเขาแดงและเมืองสงขลาฝั่งแหลมสน จึงจำเป็นต้องสร้างกำแพงเมือง ป้อมและประตู โดยสร้างเสร็จในปี พ.ศ.2385
กำแพงเมืองเป็นรูปสี่เหลี่ยมผืนผ้า ก่อด้วยหินศิลาแดงสอปูน สูง 5.5 เมตร หนา 4 เมตร ส่วนความด้านทิศเหนือ 400 เมตร ทิศใต้ยาว 500 เมตร ทิศตะวันออกและทิศตะวันตกยาว 1,200 เมตร รวมทั้ง 4 ด้าน ยาวประมาณ 3,300 เมตร มีป้อม 8 ป้อม และ 10 ประตู โดยได้รับรูปแบบสถาปัตยกรรมแบบจีน หินแดงซึ่งถือเป็นวัสดุหลักที่ใช้ในการก่อสร้างได้ขนย้ายมาจากเมืองสงขลาฝั่งหัวเขาแดง บนกำแพงประดับประดาด้วยอิฐโบราณนำเข้าจากประเทศจีน