Thiết kế web chuẩn seo

Tìm hiểu về file robots.txt File robots.txt là gì?

Trong bài viết này, THIẾT KẾ WEB NẮNG XANH giới thiệu bạn những lời khuyên từ chuyên gia SEO Patrick Stox các điều nên và không nên làm khi tạo file robots.txt. Cùng với đó là các ví dụ về những công ty đã có sự sáng tạo khi làm file này.

Những điều nên, không nên làm với file robots.txt

Một trong những chủ đề khá khô khan trong thủ thuật SEO là robots.txt. Hầu hết những sai lầm xảy ra khi làm file này là do không hiểu về các chỉ thị hoặc lỗi chính tả. Mục đích chính của tập tin robots.txt đơn giản chỉ là mời gọi các crawler đến nơi nào có thể và không thể đến.

Phần cơ bản trong file robots.txt:

  • User-agent: Xác định robot nào
  • Disallow: Yêu cầu robot không crawl khu vực này
  • Allow: Cho phép robot crawl khu vực đó
  • Crawl-delay: Bảo robot chờ vài giây trước khi tiếp tục crawl
  • Sitemap: Xác định cụ thể vị trí sitemap
  • Noindex: Báo cho Google biết là không index page đó
  • #: các comment bên ngoài một dòng để nó không được đọc
  • *: phù hợp với bất kỳ văn bản
  • $: URL phải hoàn tất tại đây

Những điều khác cần biết về robots.txt

  • Robots.txt phải nằm trong folder chính, ví dụ như: domain.com/robots.txt
  • Mỗi subdomain cần phải có phải file robots.txt riêng- ví dụ: www.domain.com/robots.txt thì không giống như domain.com/robots.txt
  • Các crawler có thể bỏ qua robots.txt
  • Các URL và robots.txt đều là các trường hợp nhạy cảm
  • Disallow đơn giản chỉ yêu cầu crawler không đi đến một vị trí. Nhiều người sử dụng nó để thử de-index các trang, nhưng nó không hoạt động. Nếu như ai đó link tới một page ngoài, thì nó vẫn sẽ được hiển thị trên các SERPs.
  • Bạn có thể quản lý cài đặt crawl trong Google Search Console.
  • Cho phép: CSS và JS, theo như chuyên gia Gary Illyes:
  • User-Agent: Googlebot
  • Allow:.js
  • Allow:.css
  • Xác thực file robots.txt trong Google Search Console và Bing Webmaster Tools.
  • Đừng chặn crawl để tránh nội dung bị trùng lắp.
  • Đừng disallow các page bị chuyển hướng. Các spider sẽ không thể follow các chuyển hướng.
  • Bạn có thể tìm kiếm archive.org để tìm các phiên bản cũ hơn của robots.txt chỉ cần gõ URL, ví dụ như domain.com/robots.txt.
  • Kích thước tối đa của file robots.txt là 500KB.

Giờ thì đến phần thú vị hơn

Nhiều công ty đã thực hiện nhiều điều sáng tạo thú vị với file robots.txt. Hãy cùng xem các ví dụ dưới đây nhé:

Nike đã đặt logo của mình vào trong file.

Những điều nên, không nên làm với file robots.txt

Seer cũng tạo một thông điệp đầy tính nghệ thuật.

Những điều nên, không nên làm với file robots.txt

TripAdvisor cũng có một thông điệp tuyển dụng ngay trong file robots.txt

Những điều nên, không nên làm với file robots.txt

Tong bài viết này, THIẾT KẾ WEB NẮNG XANH giới thiệu bạn những lời khuyên từ chuyên gia SEO Patick Stox các điều nên và không nên làm khi tạo file obots.txt. Cùng với đó là các ví dụ về những công ty đã có sự sáng tạo khi làm file này. Một tong những chủ đề khá khô khan tong thủ thuật SEO là
4.85 sao của 2280 phiếu bầu
Tìm hiểu về file robots.txt File robots.txt là gì?
Tìm hiểu về file robots.txt File robots.txt là gì?
Marketing Tư vấn miễn phí 093.784.1299 243 Huỳnh Văn Bánh, Phường 12, Q. Phú Nhuận, HCM
Thiết kế web bán hàng
Thiết kế web bán hàng
Giải pháp thiết kế website bán hàng online mang đến hiệu quả vượt bậc không ngờ cho doanh nghiệp của bạn! Một website được thiết kế tốt quan trọng như thế nào? Bạn không bao giờ có được cơ hội thứ hai để tạo ấn tượng đầu tiên với khách hàng của bạn
Thiết kế web doanh nghiệp
Thiết kế web doanh nghiệp
Chúng tôi dùng sức mạnh Internet làm thay đổi doanh nghiệp bạn bằng một trang web giới thiệu doanh nghiệp, công ty chuyên nghiệp, thiết kế đẹp nhưng vẫn đáp ứng được các tiêu chuẩn seo khắt khe w3c, HTML5, PageSpeed Insights, AMP. Hướng dẫn đào tạo marketing seo miễn phí cho doanh nghiệp
Thiết kế web du lịch
Thiết kế web du lịch
Làm sao để có một trang web du lịch lên top 1 google? Làm sao bạn có thể tìm kiếm khách hàng du lịch từ internet. Một thiết kế web du lịch cơ bản sẽ không đảm bảo cho bạn điều này. Phải thiết kế website du lịch chuẩn seo chuẩn w3c, HTML5, PageSpeed Insights, AMP, thân thiện với mobile
Thiết kế web nhà đất
Thiết kế web nhà đất
Một thiết kế website bđs cần những gì để seo lên top 1 google? Làm sao để thiết kế web bất động sản, web bán dự án, web đăng tin bán nhà bán đất mang lại hiệu quả. Thiết kế web chuẩn seo giới thiệu đến khách hàng một thiết kế web chuyên nghiệp theo chuẩn w3c, HTML5, PageSpeed Insights, AMP
Thiết kế web bán thời trang
Thiết kế web bán thời trang
Thiết kế website bán hàng thời trang, quần áo online chuyên nghiệp chuẩn seo thiết kế thân thiện với các thiết bị di dộng theo tiêu chuẩn html5, W3C PageSpeed Insights...Thiết kế phiên bản web AMP chuyên biệt của google tạo lợi thế khi quảng cáo và seo web lên top 1 google
Thiết kế web nha khoa bệnh viện
Thiết kế web nha khoa bệnh viện
Bạn đang có một phòng khám nha khoa, phòng khám đa khoa, bệnh viện...Làm sao bệnh nhân của bạn biết đến bạn? Thiết kế một trang web nha khoa, phòng khám cơ bản sẽ là chưa đủ. Trang web phải chuẩn seo tối ưu hóa theo chuẩn w3c, thân thiện với mobile , HTML5, PageSpeed Insights, phiên bản AMP
Thiết kế website studio
Thiết kế website studio
Bạn có một studio chụp ảnh cưới đẹp, dịch vụ và tay nghề của bạn chuyên nghiệp. Làm sao bạn có nhiều khách hàng hơn? Giải pháp thiết kế website studio cửa hàng chụp ảnh cưới chuyên nghiệp của thiết kế web chuẩn seo sẽ hỗ trợ bạn tìm kiếm khách hàng một cách hiệu qua nhất bằng dịch vụ trọn gói
Thiết kế website trường học
Thiết kế website trường học
Làm sao để học sinh biết đến học trường mầm non cơ sở giáo dục đào tạo trung tâm ngoại ngữ trung tâm tin học. Giải pháp thiết kế website trường đại học trường mầm non cơ sở giáo dục đào tạo của thiết kế web chuẩn seo với các tiêu chuẩn mới w3c, HTML5,AMP, thân thiện với mobile, PageSpeed Insights
Thiết kế website nhà hàng
Thiết kế website nhà hàng
Khách hàng biết đến nhà hàng, khách sạn, resort, quán ăn...của bạn bằng cách nào? Làm sao để bạn có nhiều khách hàng và thường xuyên hơn. Giải pháp thiết kế website nhà hàng khách sạn resort quán ăn chuyên nghiệp với các tiêu chuẩn mới nhất w3c, AMP, HTML5, PageSpeed Insights cực kì hiệu quả
Thiết kế website khách sạn
Thiết kế website khách sạn
Một website khách sạn cần có những gì? Giới thiệu thông tin hình ảnh phòng của khách sạn không là chưa đủ. Thiết kế website khách sạn chuyên nghiệp cần phải có tính năng cho khách đặt phòng trực tiếp trên web, tích hợp phần mềm quản lý phòng khách sạn chuyên nghiệp tự động cập nhật tình trạng phòng
Thiết kế web cá nhân
Thiết kế web cá nhân
Bạn đã có những thông tin cần thiết cho một website cá nhân? Website được thiết kế đẹp mang đúng phong cách của chủ nhân, màu sắc thiết kế hợp tuổi, hợp phong thủy với chủ nhân. Phần quản trị web đơn giản dễ sử dụng và đều được tích hợp video hướng dẫn cách dùng
Thiết kế web tin tức
Thiết kế web tin tức
Thiết kế web tin tức thật đơn giản nhưng làm sao để trang web được nhiều người biết đến? Một thiết kế web tin tức chuẩn seo, w3c, HTML5, PageSpeed Insights, AMP chuyên nghiệp vẫn là chưa đủ, web còn cần có các tính năng cần thiết chuyên biệt để hỗ trợ seo biên tập nội dung dễ hơn
Thiết kế web