Cách sử dụng crawl budget để đẩy SEO của website

Việc này phải được nằm trong chiến lược xây dựng đường link dẫn của bạn. Hãy nhắm tới những website thường xuyên cập nhật và rồi bạn sẽ có thể có một bước gần hơn tới một crawl budget to hơn.

Mục lục

Cách sử dụng crawl budget để đẩy SEO của website

Cách sử dụng crawl budget để đẩy SEO của website

Mỗi khi DỊCH VỤ SEO NẮNG XANH ngồi xuống bàn bạc thảo luận với khách hàng thì điều đầu tiên chúng tôi hỏi luôn là mục tiêu của khách hàng là gì.

Và hầu hết mọi lần đều xuất hiện những câu trả lời như:

  • “Tôi muốn phát triển nội dung của mình cho từ khóa”
  • “Tôi muốn có thứ hạng cao hơn trong Google”
  • “Tôi muốn thu hút thêm nhiều traffic tới website”

Nhưng trong thực tế, SEO còn có rất nhiều nhu cầu quan trọng hơn cần phải được nhắc tới.

Hãy thử nghĩ suy nghĩ mà xem. SEO là gì?

  • SEO chính là sự phát triển website của bạn cho công cụ tìm kiếm, đúng không? Việc đó có nghĩa rằng việc cân nhắc cách công cụ tìm kiếm tương tác với website của bạn là hết sức quan trọng.
  • Đây là một phần lớn trong SEO, nhưng lại không có nhiều chú ý bằng những phần khác như từ khóa hay là thứ hạng tìm kiếm.
  • Có rất nhiều yếu tố ảnh hưởng tới cách công cụ tìm kiếm xem xét nội dung của bạn.

Crawl budget là một trong số đó.

  • Nếu như bạn hiểu được crawl budget là gì, bạn sẽ có thể sử dụng một vài thủ thuật để chắc chắn rằng trang của bạn được crawl một cách có hiệu quả.
  • Việc này đồng nghĩa bạn sẽ có kết quả SERP và SEO tổng thể cao hơn.
  • Đừng lo ngại – việc này không có khó lắm đâu. Đây là những thủ thuật đơn giản mà ai cũng có thể học được nhưng lại có thể giúp bạn có một lợi thế trong SEO rất cao.

Crawl budget là gì?

  • Trong những năm qua, cụm từ “crawl bugdet” dần dần xuất hiện trong lĩnh vực SEO. Đã có rấr nhiều người chuẩn đoán về ý nghĩa thực sự của nó, nhưng vẫn chưa có ai nêu ra được một định nghĩa chính thức.
  • Nhưng vào tháng Một 2017, Google đăng tải một bài blog định nghĩa chi tiết “crawl budget” là gì.
  • Cụm từ “crawl budget” mà mọi người thường dùng thực tế được xem như là hai phần trong mắt thần cùa Google, trong đó bao gồm crawl rate limit và crawl demand.
  • Đây là những gì Google định nghĩa về crawl rate limit
  • Cơ bản mà nói, Google không muốn khiến website của bạn quá tải vì crawl quá nhiều.
  • Crawl rate limite ngăn Googlebot khỏi việc tạo quá nhiều request và làm chậm website của bạn.
  • Nếu như không ai vào website của bạn, thì nó sẽ nhanh chóng báo cáo lên tới Googlebot và Googlebot sẽ vì vậy mà crawl website nhiều hơn.

Bạn đã hiểu chưa? Tốt lắm!

Bây giờ hãy cùng nhìn vào định nghĩa của crawl demand

Việc này có ảnh hưởng rất lớn tới SEO bởi Google nói rằng những nội dung được yêu thích và những nội dung mới lạ sẽ có nhu cầu crawl cao hơn.

Theo lý thuyết, bạn sẽ muốn tất cả các trang của bạn được crawl, và bạn cũng sẽ muốn Googlebot muốn được crawl website của bạn.

  crawl website

Bây giờ đã tới lúc nêu lên câu hỏi đang quẩn quanh trong đầu bạn: Làm sao để có thể mượn crawl budget để có SEO tốt hơn?

  • Tất cả đều nhờ vào việc đưa cho Google đúng thứ mà họ muốn.
  • Google có một nhiệm vụ: cung cấp trải nghiệm tìm kiếm tốt nhất cho người dùng.
  • Cho nên nếu như bạn có thể giúp họ trong vấn đề đó thì bạn sẽ được thưởng.
  • Hãy xem xem bạn có thể làm chuyện đó ra sao.

Phát triển tốc độ tải trang

Tốc độ tải trang rất quan trọng cho một SEO tốt, và đối với crawl budget thì cũng vậy.

Nếu như trang của bạn nhanh hơn và biểu thị tốt hơn, thì website sẽ có thể thực hiện được thêm nhiều yêu cầu từ Googlebot và người dùng cùng một lúc.

Google cũng từng nêu lên vấn đề này trong bài blog của họ:

Vậy nếu như bạn tăng tốc tốc độ tải trang, thì lượng crawl budget của bạn cũng sẽ tăng theo.

Nhưng trước hết, bạn nên kiểm tra tốc độ tải trang của website mình

Bạn có thể sử dụng Pingdom để làm việc này

Bạn có thể sử dụng Pingdom để làm việc này

Bạn có thể kiểm tra tốc độ website từ bốn địa điểm khác nhau và chúng tôi khuyên bạn nên sử dụng hết cả bốn lần để có thể hình dung được người dùng trên toàn thế giới đang trải nghiệm với website của bạn ra sao.

Việc này có thể mất từ vài giây tới một vài phút tùy thuộc vào kích cỡ website của bạn.

Một khi đã hoàn thành, thì bạn sẽ nhìn thấy một bảng tóm tắt như sau:

Một khi đã hoàn thành, thì bạn sẽ nhìn thấy một bảng tóm tắt như sau:

Việc này sẽ giúp cho bạn hiểu được website của mình hoạt động ra sao.

Nhìn chung, thời gian tải trang và số lượng request là quan trọng nhất.

Thời gian của bạn cần phải càng ngắn càng tốt. Tốt nhất là thời gian nên nằm vào khoảng 500 phần nghìn giây tới khoảng 2 giây.

Việc này sẽ giúp cho bạn hiểu được website của mình hoạt động ra sao.

Nếu thời gian tải trang lâu hơn như vậy thì rất có khả năng bạn sẽ bị Google ngó lơ.

Bạn thấy rằng 2 giây rất nhanh đúng không? Nhưng Google không nghĩ như vậy.

Website của bạn cũng nên có càng ít request càng tốt.

Googlebot có thể tăng lượng request và crawl trang của bạn nhanh hơn nếu như bạn có số lượng request ít khi bắt đầu.

Vậy thì ít bao nhiêu mới là đủ?

Chuyên gia website Steve Souders từng tweet rằng con số trung bình mà request cần là 99

Vậy thì ít bao nhiêu mới là đủ?

Nếu như bạn ở dưới vạch mức đó thì chúc mừng bạn! Và nếu như bạn nằm trong khoảng từ 0-50 thì còn tuyệt hơn nữa!

Bạn có thể thấy sự liên quan mật thiết giữa tốc độ tải trang và crawl budget như thế nào rồi, nhưng không phải website nào cũng có được tốc độ tải trang nhanh chóng hết.

Nếu như website của bạn chậm hơn rùa, thì đừng lo lắng. Có một vài thủ thuật đơn giản bạn có thể làm để tăng tốc độ tải lên,

1. Điều chỉnh thiết kế website

Chuyện này có thể khá khó khăn.

Tất cả mọi người ngày nay đều đang cố gắng có được mẫu thiết kế thịnh hành nhất có thể.

Thế nhưng mặc dù có những mẫu thiết kế nhìn rất đẹp mắt nhưng không phải lúc nào cũng biểu thị tốt cho người dùng.

Lấy BuzzFeed làm một ví dụ

Lấy BuzzFeed làm một ví dụ

Thiết kế hết sức thịnh hành.

Nhưng về độ hiệu quả? Con số này lại không ấn tượng lắm.

Nhưng về độ hiệu quả? Con số này lại không ấn tượng lắm.

Tốc độ tải trang chỉ vừa chênh với con số 2 giây và có tới 222 request.

Việc này không có nghĩa thiết kế đẹp sẽ không đi đôi với tốc độ biểu thị tốt mà cái chính ở đây là không phải thiết kế đẹp nào cũng có thể đáng để đánh đổi chất lượng.

Nếu như bạn nhận thấy website của mình chậm hơn mong đợi, hãy nghĩ tới việc tối giản. Bạn vẫn có thể vừa có một thiết kế đẹp, và thực chất, bạn cũng vẫn có thể giữ được thiết kế hiện tại của mình. Bạn chỉ cần chỉnh sửa một vài điểm nhỏ mà thôi.

Bắt đầu bằng việc nén file lại. Việc này sẽ giúp cho tải lượng trang bạn giảm xuống.

Gzip là một trong những công cụ tốt nhất cho vân đề này.

Gzip là một trong những công cụ tốt nhất cho vân đề này.

Tiếp theo, hãy thử giảm tải kích thước hình ảnh của bạn bằng cách nén chúng.

Những hình ảnh lớn có thể trở thành sát thủ giết chết tốc độ tải trang. Chúng có thể dễ dàng khiến cho website của bạn mất nhiều hơn 2 giây để tải.

Chúng tôi khuyên bạn nên thử giảm tải kích thước của file bạn trước, mặc dù việc nén lại thì vẫn tiện lợi hơn.

Compressor.io sẽ giúp bạn trong vấn đề này rất nhanh chóng.

Compressor.io sẽ giúp bạn trong vấn đề này rất nhanh chóng.

Nếu như bạn có những hình ảnh không cần thiết, thì tốt hơn là bạn nên gỡ hết chúng xuống.

Khi bạn thêm hình ảnh mới, hãy cố gắng giới hạn kích cỡ file nếu có thể.

Việc thừa mứa code có thể khiến một website chạy rất chậm. Việc này không chỉ tạo ra trải nghiệm không tốt cho khách hàng  mà còn khiến website của bạn phản ứng lâu hơn rất nhiều.

Nếu như bạn là một lập trình viên hoặc bạn biết một nhà phát triển, việc phát triển code của bạn rất xứng đáng để bạn bỏ thời gian tìm hiểu.

 việc phát triển code của bạn rất xứng đáng để bạn bỏ thời gian tìm hiểu.

Bạn sẽ muốn làm hai việc: 1. Khiến cho Javescript thiếu đồng bộ và  2) Kết hợp càng nhiều file CSS càng tốt.

Bạn có thể sẽ thấy việc này khá lạ lẫm, nhưng những bước này chỉ đang stream code của bạn thôi. Vậy nên hãy nhớ rằng, khi nói tới thiết kế, bạn nên có một sự cân bằng hài hòa giữa sành điệu và hiệu quả. Đừng để những thứ hào nhoáng khiến bạn mất tập trung vào giá trị cốt lõi bên trong. Tất cả những việc này sẽ giúp bạn tăng lượng crawl budget và cho phép Googlebot gửi thêm request. Điều này đồng nghĩa với việc trang của bạn sẽ được crawl nhiều hơn. Xem thêm bài viết Tối ưu SEO cho website.

2. Cẩn thận với crawl error

Trích từ một post từ Google

  • Bạn nên chú ý tập trung tới báo cáo Crawl Errors trong Search Console và giữ cho số lần lỗi máy chủ thấp nhất có thể.
  • Lỗi crawl xuất hiện khi Googlebot đang crawl vào trang của bạn nhưng gặp phải vấn đề.
  • Bạn hiển nhiên là sẽ muốn không có lỗi crawl nào, nhưng làm sao bạn có thể giám sát được chúng?
  • Bạn không biết rằng Google thực chất sẽ thông báo cho bạn bất kì lỗi nào khi họ đang crawl website của bạn.
  • Đây là một tín năng rất hiệu quả của Google Search Console
  • Để có thể tiếp cận phần Crawl Errors, đầu tiên mở Search Console và chọn mục bạn muốn phân tích

Ở thanh công cụ bên trái, click chọn Crawl

Ở thanh công cụ bên trái, click chọn Crawl

Tiếp đó, click chọn “Crawl Errors.”

Ở thanh công cụ bên trái, click chọn Crawl

Bạn sẽ nhìn thấy bảng Crawl Errors

Bạn sẽ nhìn thấy bảng Crawl Errors

  • Sẽ có một biểu đồ hiển thị cho bạn thấy một hình ảnh cụ thể bao nhiêu lỗi mà bạn có.
  • Ở phía dưới cùng, có một danh sách tập trung vào những URL có nguy cơ có crawl error (nếu có)
  • Có hai loại crawl error thường thấy: errors trang và errors URL.
  • Vì mục đích chung, chúng ta sẽ muốn cẩn thận với lỗi máy chủ bởi vì đó chính là điều Google cảnh báo trong bài đăng của họ.

Nếu như bạn gặp phải lỗi máy chủ, thì bạn sẽ nhìn một trang như thế này:

Nếu như bạn gặp phải lỗi máy chủ, thì bạn sẽ nhìn một trang như thế này:

Sau đây là một vài lỗi máy chủ từ Google:

Thế nào là một lỗi máy chủ?

Khi bạn nhìn thấy một lỗi như vậy trên URL thì điều này có nghĩa Googlebot không thể truy cập vào URL của bạn, quá thời gian kết nối, hoặc là trang của bạn đang bận. Chính vì vậy mà Googlebot bắt buộc quả bỏ qua request. Thông thường, những lỗi này có nghĩa rằng trang của bạn đang mất quá nhiều thời gian để phản ứng. Máy chủ của bạn có thể đang quá tải hoặc thậm chí bị đóng tạm thời. Để giúp phòng ngừa những lỗi này, chúng tôi khuyên bạn nên sử dụng

Fetch as Google trong Search Console

Để có thể đạt được mục tiêu này, hãy đi tới thanh công cụ trong Search Console và click chọn Crawl, sau đó chọn Fetch as Google.

Fetch as Google trong Search Console

Hãy thử fetch trang chủ của bạn bằng cách để cho box trống và click “Fetch” ( Bạn cũng nên thử “Fetch and Render” một cách riêng biệt để lấp đầy phần nền tảng )

Fetch as Google trong Search Console

Nếu như Fectch as Google trả kết quả trang của bạn không có bất kì lỗi nào, thì bạn tạm thời có thể chắc rằng Google có thể truy cập vào website của bạn bình thường. Đó là một dấu hiệu tốt, và lỗi đó rất có thể sẽ biến mất.

Nếu như việc xuất hiện lỗi cứ tiếp diễn hoặc bạn không thể kết nối được tới trang của mình, thì hãy tìm cách sửa lỗi máy chủ. Bạn có thể sẽ phải liên lạc với một chuyên gia về vấn đề này, nhưng việc này cũng sẽ không dư thừa bởi vì lỗi máy chủ có thể chứa nhiều nguy cơ tiềm tàng. Xem thêm hướng dẫn làm seo google.

3. Dọn dẹp những URL thấp giá trị

Trong một bài đăng, Google đặc biệt nhắc tới “những URL thấp giá trị” sẽ có ảnh hưởng tiêu cực tới việc crawl và index của website.

Bởi Google muốn những nội dung chất lượng cao – thậm chí phải là tốt nhất. Những URL thấp giá trị chỉ đóng vai trò lấp đầy và theo lý thuyết là không có giá trị gì hết.

Có một vài nguyên tắc đơn giản bạn có thể tuân theo để tránh những vấn đề như trên, đó là:

Đầu tiên, hãy đảm bảo rằng tất cả các trang của bạn đều đang hoạt động bình thường

Bạn muốn có càng ít “404 pages” càng tốt, và bạn chỉ nên dùng redirect khi bạn thật sự cần mà thôi.

Tiếp theo, tránh việc lặp lại nội dung

Bạn chắc hẳn đều biết rằng Google sẽ đánh dấu bạn nếu như họ phát hiện việc lặp lại nội dung, nhưng việc này còn ảnh hưởng rất xấu tới crawl budget của bạn.

Thứ ba, hãy tránh các khoảng trống vô định

Vấn đề này xảy ra khi những đường link cứ lặp đi lặp lại. Google đưa ra ví dụ của một cuốn lịch với đường link “Tháng Sau”. Theo lý thuyết thì Googlebot sẽ đi theo những đường link này mãi mãi.

Như Google từng thông báo “việc crawling những link sử dụng bandwidth không cần thiết như vậy có thể khiến cho Googlebot không thể index toàn diện context thực trên trang của bạn.”

Bạn có nhận ra việc này nguy hiểm như thế nào chưa? Đó là vì sao bạn muốn tránh mắc phải chuyện này bằg mọi giá.

Nói ngắn gọn lại, hãy đảm bảo tất cả những URL của bạn đều đang đóng góp một phần nào đó. Don’t resort to black hat SEO or other shady tactics.

Tăng cao độ nổi tiếng của bạn

Website nào cũng muốn được nổi tiếng. Đó là một phần không thể thiếu trong chiến lược SEO

Và Google cũng rất xem trọng chuyện này.

Cho nên tuy rằng lúc đầu không biển thị rõ ràng nhưng mà một chiến lượng marketing nội dung tốt có thể gia tăng crawl budget của bạn.

Bạn sẽ muốn mọi người chia sẻ nội dung của bạn thật nhiều. Càng có nhiều link dẫn tới website của bạn thì Google sẽ càng crawl bạn.

Một chiến lược link phụ có thể giúp bạn thêm nổi tiếng. Và tất nhiên, nếu như bạn có thể tạo ra một mạng lưới chia sẻ trên mạng xã hội thì website của bạn sẽ đáng giá ngàn vàng.

Google sẽ công nhận bạn như một nguồn ổn định, và bạn sẽ có crawl budget cao hơn.

Nhưng để có thể trở nên nổi tiếng, thì đầu tiên bạn sẽ cần phải

Giữ cho mọi thứ luôn mới mẻ

Một cách khác để tăng crawl budget của bạn chính là đưa cho Google thứ họ muốn: nội dung mới mẻ

Việc này đi đôi với độ nổi tiếng. Bạn càng đưa ra nội dung càng mới mẻ và dễ hiểu thì sẽ càng có nhiều người chia sẻ nội dung đó và bạn sẽ càng có thêm nhiều crawl budget.

Có một vài thủ thuật bạn có thể sử dụng để làm mới nội dung của mình

Cách đầu tiên chính là tạo ra nội dung mới: Tuy là khá hiển nhiên, nhưng đây chính là cách hiệu quả nhất trong việc giữ cho website của bạn luôn mới mẻ.

Cách đầu tiên chính là tạo ra nội dung mới

Nhưng sự mới mẻ này sẽ giảm dần qua thời gian. Nói cách khác, Google sẽ cung cấp sự thúc đẩy ban đầu cho nội dung khi vừa được đăng tải nhưng qua thời gian thì SEO của bài viết sẽ giảm xuống.

Đó chính là lý do vì sao việc giữ cho nội dung luôn mới mẻ và biến nó thành một chiến lược lâu dài cho nội dung có vai trò rất quan trọng.

Cách thứ hai chính là chỉnh sửa lại những nội dung đã có sẵn: Nếu như Google phát hiện ra có sự thay đổi trong nội dung của bạn, sẽ rất có khả năng họ sẽ crawl lại bài viết đó.

Nếu như họ tìm thấy sự phát triển trong nội dung của bạn, Googlebot sẽ cung cấp cho bạn một crawl budget cao hơn.

Cách thứ ba chính là thêm trang mới: Google vận hành với một logic rằng những website tốt sẽ luôn phát triển, và một dấu hiệu tốt của sự phát triển đó chính là việc có thêm trang mới trong website.

Nhưng bạn đừng chỉ nên thêm trang mới rồi để đó bởi vì Google vẫn sẽ luôn xem xét chất lượng là trên hết.

Cách thứ tư chính là được dẫn link từ những website mới: Bạn chắc hẳn cũng đã hiểu được việc những link phụ có thể ảnh hưởng tới website của bạn ra sao.

Cách đầu tiên chính là tạo ra nội dung mới

Nếu như bạn được dẫn link từ những website mà Google xem là mới mẻ, thì một phần của sự mới mẻ đó cũng sẽ được truyền tải tới trang của bạn.

Việc này phải được nằm trong chiến lược xây dựng đường link dẫn của bạn. Hãy nhắm tới những website thường xuyên cập nhật và rồi bạn sẽ có thể có một bước gần hơn tới một crawl budget to hơn.

Tổng kết

  • Crawl budget không phải chỉ đơn giản là hay xuất hiện mà nó chính là cốt lõi trong SEO.
  • Nó khiến bạn nghĩ về những gì website của bạn đang cung cấp cho Internet.
  • Nó cũng là một công cụ thành thật, cho nên bạn không thể nào đi đường tắt trong việc tăng crawl budget của bạn
  • Bạn phải tạo ra những content tuyệt vời và để cho mọi người biết về nó
  • Cuối cùng, Google luôn để tâm tới người dùng của họ. Và người dùng của Googlw muốn gì? Đó chính là kết quả liên quan và tốt nhất có thể.
  • Thêm thế nữa, Google muốn được tăng crawl budget.
  • Họ muốn người dùng tìm thấy nội dung tốt nhất, vì vậy nếu như họ nhìn thấy những website đang cung cấp nội dung như vậy thì họ sẽ thưởng.
  • Mặt khác, nếu như website của bạn không có đóng góp gì nhiều, thì bạn sẽ gặp khó khăn trong việc có crawl budget lớn hơn rất nhiều.
  • Bởi nói thế nào thì, crawl budget luôn chú trọng chất lượng. Và đó là thứ mà bạn phải tập trung vào nhất
  • Cho nên, hãy sử dụng những thủ thuật trên để tăng crawl budget của bạn. Nhưng đừng bao giờ quên việc bỏ quên chất lượng nội dung.

Hiện tại chúng tôi đang có chương trình khuyến mãi thiết kế web trọn gói được thiết kế logo miễn phí + tên miền + hosting + hướng dẫn quảng cáo seo tổng thể marketing online miễn phí. Hãy liên hệ chúng tôi để biết thêm chi tiết.

Henry Hoàng
Henry Hoàng
Chuyên gia SEO Henry Hoàng. Có nhiều năm kinh nghiệm trong lĩnh vực seo, cải thiện % CTR cho website, nhằm tăng tỉ lệ chuyển đổi. Phân tích đánh giá độ cạnh tranh từ khóa, từ đó đưa ra định hướng SEO phù hợp. Xem thêm
FollowAction (12480) - LikeAction (12680) - WriteAction (900)