×"Chúng tôi không cố gắng trở thành công ty lớn nhất. Chúng tôi muốn trở thành người giỏi nhất trong lĩnh vực của mình cam kết lâu dài với lĩnh vực này"
Thiết kế web chuẩn seo
×"Chúng tôi không cố gắng trở thành công ty lớn nhất. Chúng tôi muốn trở thành người giỏi nhất trong lĩnh vực của mình cam kết lâu dài với lĩnh vực này"

Tìm hiểu về file robots.txt File robots.txt là gì?

Trong bài viết này, THIẾT KẾ WEB NẮNG XANH giới thiệu bạn những lời khuyên từ chuyên gia SEO Patrick Stox các điều nên và không nên làm khi tạo file robots.txt. Cùng với đó là các ví dụ về những công ty đã có sự sáng tạo khi làm file này.

Những điều nên, không nên làm với file robots.txt

Một trong những chủ đề khá khô khan trong thủ thuật SEO là robots.txt. Hầu hết những sai lầm xảy ra khi làm file này là do không hiểu về các chỉ thị hoặc lỗi chính tả. Mục đích chính của tập tin robots.txt đơn giản chỉ là mời gọi các crawler đến nơi nào có thể và không thể đến.

Phần cơ bản trong file robots.txt:

  • User-agent: Xác định robot nào
  • Disallow: Yêu cầu robot không crawl khu vực này
  • Allow: Cho phép robot crawl khu vực đó
  • Crawl-delay: Bảo robot chờ vài giây trước khi tiếp tục crawl
  • Sitemap: Xác định cụ thể vị trí sitemap
  • Noindex: Báo cho Google biết là không index page đó
  • #: các comment bên ngoài một dòng để nó không được đọc
  • *: phù hợp với bất kỳ văn bản
  • $: URL phải hoàn tất tại đây

Những điều khác cần biết về robots.txt

  • Robots.txt phải nằm trong folder chính, ví dụ như: domain.com/robots.txt
  • Mỗi subdomain cần phải có phải file robots.txt riêng- ví dụ: www.domain.com/robots.txt thì không giống như domain.com/robots.txt
  • Các crawler có thể bỏ qua robots.txt
  • Các URL và robots.txt đều là các trường hợp nhạy cảm
  • Disallow đơn giản chỉ yêu cầu crawler không đi đến một vị trí. Nhiều người sử dụng nó để thử de-index các trang, nhưng nó không hoạt động. Nếu như ai đó link tới một page ngoài, thì nó vẫn sẽ được hiển thị trên các SERPs.
  • Bạn có thể quản lý cài đặt crawl trong Google Search Console.
  • Cho phép: CSS và JS, theo như chuyên gia Gary Illyes:
  • User-Agent: Googlebot
  • Allow:.js
  • Allow:.css
  • Xác thực file robots.txt trong Google Search Console và Bing Webmaster Tools.
  • Đừng chặn crawl để tránh nội dung bị trùng lắp.
  • Đừng disallow các page bị chuyển hướng. Các spider sẽ không thể follow các chuyển hướng.
  • Bạn có thể tìm kiếm archive.org để tìm các phiên bản cũ hơn của robots.txt chỉ cần gõ URL, ví dụ như domain.com/robots.txt.
  • Kích thước tối đa của file robots.txt là 500KB.

Giờ thì đến phần thú vị hơn

Nhiều công ty đã thực hiện nhiều điều sáng tạo thú vị với file robots.txt. Hãy cùng xem các ví dụ dưới đây nhé:

Nike đã đặt logo của mình vào trong file.

Những điều nên, không nên làm với file robots.txt

Seer cũng tạo một thông điệp đầy tính nghệ thuật.

Những điều nên, không nên làm với file robots.txt

TripAdvisor cũng có một thông điệp tuyển dụng ngay trong file robots.txt

Những điều nên, không nên làm với file robots.txt

Tong bài viết này, THIẾT KẾ WEB NẮNG XANH giới thiệu bạn những lời khuyên từ chuyên gia SEO Patick Stox các điều nên và không nên làm khi tạo file obots.txt. Cùng với đó là các ví dụ về những công ty đã có sự sáng tạo khi làm file này. Một tong những chủ đề khá khô khan tong thủ thuật SEO là
4.85 sao của 2280 phiếu bầu
Tìm hiểu về file robots.txt File robots.txt là gì?
Tìm hiểu về file robots.txt File robots.txt là gì?
Marketing 090.696.7056 093.784.1299 243 Huỳnh Văn Bánh, Phường 12, Q. Phú Nhuận, HCM

BÀI VIẾT LIÊN QUAN

Bí quyết SEO Youtube Cách đưa video trên Youtube lên top
Bí quyết SEO Youtube Cách đưa video trên Youtube lên top
Cách seo youtube rất đơn giản, bạn chỉ cần làm theo hướng dẫn là thành công? Việc đưa video lên top là một chuyện, quan trọng nhất vẫn phải là nội dung video. Nội dung và chất lượng video giúp người xem ở lại xem video của mình lâu...
Thiết kế website chuẩn SEO là gì? Chuẩn SEO cho website là gì?
Thiết kế website chuẩn SEO là gì? Chuẩn SEO cho website là gì?
Thiết kế website chuẩn SEO là gì? Để có một website đạt chuẩn, seo tốt luôn được các cỗ máy tìm kiếm Google, Bing, Yahoo.. đánh giá cao, được ưu tiên xếp hạng cao trong kết quả tìm kiếm phải phụ thuộc vào nhiều yếu tố đặc biệt là "Kỹ thuật" của từng đơn vị thiết kế website.
Thiết kế website bán hàng thời trang chuẩn seo tư vấn seo tổng thể
Thiết kế website bán hàng thời trang chuẩn seo tư vấn seo tổng thể
Việc thiết kế web thời trang là điểm mấu chốt cho công việc kinh doanh online của bất kỳ cửa hàng nào. Website là nơi hiển thị mọi sản phẩm của cửa hàng, là nơi chinh phục người tiêu dùng thúc đẩy đến quyết định mua hàng của...
Những thủ thuật gian lận khi làm seo hướng dẫn seo web hiệu quả
Những thủ thuật gian lận khi làm seo hướng dẫn seo web hiệu quả
Không có gì bí mật rằng thuật toán xếp hạng của Google được tạo thành từ hơn 200 thành phần, hay "các tín hiệu". Và trong khi danh sách này thật ấn tượng, nó có thể trở nên khó chịu nếu bạn chỉ là một người bình thường với 24 giờ trong ngày.
Phần mềm SEO miễn phí Download phần mềm seo miễn phí
Phần mềm SEO miễn phí Download phần mềm seo miễn phí
Dữ liệu SEO có giá trị nhất là giúp bạn hiểu khách truy cập và cách họ tương tác với trang web của bạn. Không có công cụ nào tôi từng sử dụng mà cung cấp dữ liệu giống như Google Analytics, và không một công cụ nào mà tôi đã đề...
Các hình phạt phổ biến của Google trong seo Hình phạt của google
Các hình phạt phổ biến của Google trong seo Hình phạt của google
Seo không đúng cách, seo quá đà là những cách mà rất nhiều website đã lạm dụng đến. Trong quá trình hoc seo theo một quy trình thì bạn cũng có thể biết được đó là cách Seo sai, nó có hại cho website của bạn. Để hạn chế những hình...
SEO địa điểm Xác minh doanh nghiệp trên google
SEO địa điểm Xác minh doanh nghiệp trên google
Tôi đã may mắn có được cuộc phỏng vấn với Sam McRoberts, giám đốc điều hành của Vudu Marketing (Một tổ chức tư vấn SEO uy tín tại Mỹ, với tuổi đời trên 14 năm và đã tư vấn thành công cho hàng trăm tổ chức từ những công ty nhỏ đến những tập đoàn khổng lồ trong danh sách Fortune 500).
Các lợi ích của seo SEO cung cấp thành công dài hạn
Các lợi ích của seo SEO cung cấp thành công dài hạn
Bạn cần giải thích giá trị SEO cho khách hàng tiềm năng, các đối tác kinh doanh hoặc các bên liên quan? Bài viết này sẽ tập trung vào 3 cách chính mà SEO mang lại giá trị cho lớn cho bất kỳ tổ chức nào.
12 mẹo cần biết để thành công với Google Posts seo map
12 mẹo cần biết để thành công với Google Posts seo map
Bạn là một nhà kinh doanh địa phương và bạn đang sử dụng Google Posts? Những chuyên gia từ DỊCH VỤ SEO NẮNG XANH ngày hôm nay sẽ chỉ dẫn cho bạn những mẹo nhỏ giúp bạn thành thạo thủ thuật này hơn.
093.784.1299