Robots.txt là một tập tin trên website dùng để hướng dẫn các công cụ tìm kiếm (crawler/bot) về những trang hoặc thư mục nào được phép hoặc không được phép thu thập dữ liệu. Việc sử dụng robots.txt giúp kiểm soát quá trình thu thập thông tin, tránh tình trạng lãng phí ngân sách thu thập dữ liệu (crawl budget) và bảo vệ các trang nhạy cảm hoặc chưa hoàn thiện khỏi bị index. Đây là công cụ quan trọng trong SEO kỹ thuật, giúp tối ưu hiệu quả hiển thị của website trên công cụ tìm kiếm và đảm bảo cấu trúc trang được đánh giá đúng cách.

Xem thêm: https://autoranker.net/robots-txt-la-gi/