Thời kỳ vua Tự Đức trị vì, đất nước ta xuất hiện các nhóm giặc cờ đều có nguồn gốc từ tàn quân của tổ chức Thiên Địa Hội ở Trung Quốc. Nhóm Cờ vàng với đại diện là Hoàng Sùng Anh, Bàn Văn Nhị là thủ lĩnh quân Cờ trắng, Lưu Vĩnh Phúc đứng đầu giặc Cờ đen. Tuy nhiên khi dạt sang Việt Nam, sự phân hóa của các nhóm giặc cờ thành nhiều khuynh hướng đã gây ra sự căng thẳng ở các tỉnh biên giới. Năm 1868, quân Cờ trắng tập trung cướp bóc ở châu Lục Yên, tỉnh Tuyên Quang. Sau trận này, vì xung đột về quyền lợi và phạm vi chiếm đóng, quân Cờ trắng đã bị quân Cờ đen loại bỏ.