Ông Ngựa này trước bị Miễn Nhiệm bộ trưởng ngày 01/06/2004, vì “buông lỏng quản lý đối với tổ chức và cán bộ dưới quyền, không kiên quyết xử lý sau thanh tra để Lã Thị Kim Oanh lợi dụng vi phạm pháp luật, gây hậu quả đặc biệt nghiêm trọng, làm thất thoát lớn tiền, tài sản của Nhà nước, làm ảnh hưởng đến lòng tin của nhân dân đối với Đảng, Nhà nước và bản thân”.