robots

Trong bài viết này, THIẾT KẾ WEB NẮNG XANH giới thiệu bạn những lời khuyên từ chuyên gia SEO Patrick Stox các điều nên và không nên làm khi tạo file robots.txt. Cùng với đó là các ví dụ về những công ty đã có sự sáng tạo khi làm file này.

Columnist Glenn Gabe chia sẻ quá trình xử lý sự cố của mình để xác định vấn đề với robots.txt dẫn đến giảm lưu lượng truy cập dài, chậm theo thời gian.

Robots.txt có thể quy định từng loại bot khác nhau của các SE khác nhau có thể vào website hay từng khu vực của website hay không? Vài loại bot của các SE: Googlebot (Google), Googlebot-Image(Google), Yandex(SE của Nga), Bingbot(Bing)/Yahoo Slurp(Yahoo)…