Mục lục bài viết7 mục
- 1.Vì sao gửi sitemap không đảm bảo trang được lập chỉ mục
- 2.Đọc đúng trạng thái của trang không được index trong Search Console
- 3.Loại trừ nhóm nguyên nhân kỹ thuật khiến trang không được index
- 4.Xử lý khi trang đã thu thập nhưng chưa được lập chỉ mục
- 5.Kiểm tra ở quy mô nhóm thay vì từng URL một
- 6.Thúc đẩy đúng cách và biết khi nào nên chờ thêm
- 7.Sai lầm hay gặp khi xử lý trang không được index
Gửi sitemap xong, chờ hai tuần, trang vẫn không được index. Gửi lại lần nữa cũng không đổi gì. Sitemap chỉ là lời mời, không phải lệnh, nên nguyên nhân gần như luôn nằm ở chỗ khác. Bài này đưa quy trình chẩn đoán đi từ nguyên nhân dễ sửa nhất tới nguyên nhân khó nhất.
Vì sao gửi sitemap không đảm bảo trang được lập chỉ mục
Sitemap làm đúng một việc: cho công cụ tìm kiếm biết những URL nào tồn tại. Nó không cam kết bot sẽ ghé thăm, và càng không cam kết trang sẽ được đưa vào chỉ mục sau khi ghé.
Một URL đi qua ba chặng trước khi xuất hiện trong kết quả tìm kiếm. Một trang không được index là trang chưa đi hết ba chặng đó. Chặng một là được phát hiện, chặng hai là được thu thập, chặng ba là được chọn để lập chỉ mục. Sitemap chỉ giúp chặng một. Trang không được index có thể đang mắc ở chặng hai hoặc chặng ba, và cách xử lý cho hai chặng đó hoàn toàn khác nhau.
Đây là lý do việc gửi lại sitemap nhiều lần không bao giờ giải quyết được vấn đề. Bước đầu tiên phải là xác định trang đang kẹt ở chặng nào, và Google Search Console cho bạn câu trả lời đó trong khoảng một phút.
Đọc đúng trạng thái của trang không được index trong Search Console
Dán URL cần kiểm vào ô tìm kiếm trên cùng của Search Console. Kết quả trả về một dòng trạng thái, và mỗi dòng dẫn tới một hướng xử lý khác nhau.
Nếu trạng thái là URL không có trên Google kèm lý do đã phát hiện nhưng chưa được thu thập, trang mới kẹt ở chặng hai. Bot đã biết URL nhưng chưa ghé. Nguyên nhân thường là mức độ ưu tiên thấp, hay gặp với website mới hoặc website có nhiều URL mà ít liên kết nội bộ trỏ tới.
Nếu lý do là đã thu thập nhưng hiện chưa được lập chỉ mục, trang kẹt ở chặng ba. Bot đã đọc nội dung và quyết định không đưa vào chỉ mục. Đây là tín hiệu về chất lượng hoặc về trùng lặp, không phải lỗi kỹ thuật.
Nếu lý do nhắc tới thẻ noindex, tới robots.txt, tới lỗi máy chủ hoặc tới việc trang là bản sao, bạn có ngay nguyên nhân cụ thể và không cần đoán thêm. Ba nhóm nguyên nhân này chiếm phần lớn các trường hợp trang không được index mà người dùng gặp phải.
Loại trừ nhóm nguyên nhân kỹ thuật khiến trang không được index
Nhóm nguyên nhân này rẻ nhất để kiểm khi trang không được index và cũng hay bị bỏ qua nhất vì không ai nghĩ mình đã tự chặn trang của mình.
Kiểm tra thứ nhất là thẻ robots trong mã nguồn. Mở trang, xem mã nguồn, tìm chuỗi noindex. Trên WordPress, thẻ này có thể tới từ cấu hình theo loại nội dung trong plugin SEO chứ không phải từ ô cài đặt của riêng bài đó.
Kiểm tra thứ hai là tệp robots.txt. Nếu một dòng Disallow trùng với đường dẫn của trang, bot sẽ không thu thập được nội dung. Lưu ý một điểm hay gây nhầm: bị chặn trong robots.txt và bị gắn thẻ noindex là hai chuyện khác nhau, và khi bị chặn thì bot còn không đọc được thẻ noindex bên trong.
Kiểm tra thứ ba là mã trạng thái máy chủ, thủ phạm khiến trang không được index mà không để lại dấu vết trên giao diện. Trang trả về mã lỗi hoặc chuyển hướng sang URL khác thì không có gì để lập chỉ mục. Kiểm nhanh bằng chính công cụ Kiểm tra URL, phần thông tin thu thập có ghi mã phản hồi.
Kiểm tra thứ tư là thẻ canonical. Nếu thẻ canonical của trang trỏ sang một URL khác, bạn đang tự nói rằng trang này chỉ là bản sao. Trang không được index trong trường hợp này là kết quả đúng theo chỉ dẫn bạn đã đưa ra.
Xử lý khi trang đã thu thập nhưng chưa được lập chỉ mục
Đây là nhóm khó chịu nhất vì không có lỗi kỹ thuật nào để sửa. Bot đã đọc và quyết định chưa đáng đưa vào chỉ mục. Ba nguyên nhân thực tế thường gặp, xếp theo tần suất.
Nguyên nhân thứ nhất là nội dung gần trùng với một trang khác trên chính website của bạn. Hai bài viết cùng nhắm một câu hỏi, hoặc trang danh mục lọc theo thuộc tính sinh ra nhiều URL nội dung gần giống nhau. Cách xử lý là gộp nội dung lại thành một trang mạnh hơn, hoặc gắn canonical về bản chính.
Nguyên nhân thứ hai là nội dung mỏng. Trang chỉ có vài dòng, hoặc chỉ là danh sách liên kết không có nội dung riêng. Trang tag và trang lưu trữ tự sinh thuộc nhóm này, và với chúng thì việc trang không được index lại là điều bạn nên chủ động chọn.
Nguyên nhân thứ ba là trang bị cô lập. Không có liên kết nội bộ nào trỏ tới, chỉ tồn tại trong sitemap. Với công cụ tìm kiếm, một trang không ai trong chính website dẫn tới là tín hiệu rằng nó không quan trọng. Thêm hai tới ba liên kết từ những bài liên quan là cách xử lý rẻ nhất và thường hiệu quả nhất trong nhóm này.
Kiểm tra ở quy mô nhóm thay vì từng URL một
Nếu nhiều trang cùng gặp vấn đề, đừng kiểm từng URL. Mở báo cáo Trang trong Search Console, phần các URL không được lập chỉ mục, và đọc theo lý do. Mỗi lý do là một nhóm có cùng nguyên nhân và cùng cách xử lý.
Điều cần nhìn ở đây là xu hướng chứ không phải con số tại một thời điểm. Một nhóm tăng đột ngột trong hai tuần gần nhất luôn liên quan tới một thay đổi cụ thể bạn vừa làm: đổi theme, cài plugin, sửa cấu hình, đổi cấu trúc URL. Đối chiếu ngày tăng với nhật ký thay đổi của website thường cho ra nguyên nhân nhanh hơn mọi cách kiểm khác.
Cũng ở đây bạn sẽ phát hiện các trang không được index mà thực ra bạn không muốn index, ví dụ trang giỏ hàng, trang kết quả tìm kiếm nội bộ, trang đính kèm ảnh. Với nhóm này, việc cần làm là xác nhận chúng đã có thẻ noindex đúng cách, rồi bỏ chúng khỏi sitemap để báo cáo sạch hơn cho lần rà sau.
Thúc đẩy đúng cách và biết khi nào nên chờ thêm
Sau khi sửa nguyên nhân, dùng nút yêu cầu lập chỉ mục trong công cụ Kiểm tra URL cho các trang quan trọng nhất. Nút này đưa URL vào hàng đợi ưu tiên, không đảm bảo kết quả và không nên bấm hàng loạt.
Cách thúc đẩy bền hơn là tăng số đường vào của trang: thêm liên kết nội bộ từ các bài đang có traffic, đưa trang vào menu hoặc vào khối bài liên quan, và chia sẻ ở nơi có người thật ghé đọc. Đường vào càng nhiều thì tần suất bot ghé lại càng cao.
Về thời gian chờ cho một trang không được index, không có mốc cố định. Nguyên tắc thực tế là nếu sau bốn tuần kể từ khi sửa mà trạng thái vẫn không đổi, nguyên nhân bạn sửa không phải nguyên nhân thật, nên quay lại đọc trạng thái từ đầu thay vì tiếp tục chờ. Với website mới hoàn toàn, thời gian để bot ghé đều đặn thường dài hơn, và việc một số trang chưa được index trong vài tháng đầu là chuyện bình thường chứ không phải dấu hiệu hỏng.
Sai lầm hay gặp khi xử lý trang không được index
Sai lầm thứ nhất là gửi lại sitemap nhiều lần. Việc này không thay đổi gì vì sitemap chỉ phục vụ chặng phát hiện, trong khi vấn đề gần như luôn nằm ở hai chặng sau.
Sai lầm thứ hai là dùng công cụ gửi URL hàng loạt của bên thứ ba. Chúng không có quyền truy cập nào đặc biệt, và việc đẩy hàng nghìn URL chất lượng thấp vào hàng đợi không cải thiện tỷ lệ được chọn.
Sai lầm thứ ba là viết thêm nội dung cho trang trong khi nguyên nhân là kỹ thuật. Trước khi sửa nội dung, hãy chắc rằng trạng thái trong Search Console đúng là nhóm chất lượng chứ không phải nhóm bị chặn, vì viết thêm cho một trang đang bị chặn trong robots.txt không thay đổi được gì.
=== FAQ === Q: Trang cũ đang được index bỗng biến mất khỏi kết quả thì xử lý khác gì trang mới chưa từng được index? A: Khác ở chỗ bạn có mốc thời gian để đối chiếu, nên việc đầu tiên là tìm thay đổi nào của website trùng với thời điểm mất chỉ mục, thay vì đi lại toàn bộ quy trình chẩn đoán từ đầu. Q: Website có bao nhiêu phần trăm trang được index thì coi là bình thường? A: Không có ngưỡng chung, nhưng nếu số trang được index thấp hơn nhiều so với số trang nội dung thật mà bạn chủ động viết ra, đó là dấu hiệu cần rà theo nhóm lý do trong báo cáo Trang. Q: Có cần xóa các trang không được index đi không? A: Chỉ nên xóa khi trang đó không phục vụ mục đích nào cho người đọc, còn nếu trang có giá trị thật thì hướng xử lý đúng là gộp hoặc bổ sung nội dung chứ không phải xóa.
Đi hết năm bước trên, bạn biết chính xác trang đang kẹt ở chặng nào và sửa đúng chỗ đó thay vì thử ngẫu nhiên nhiều cách cùng lúc. Nên bắt đầu ngay bằng việc dán một URL đang có vấn đề vào công cụ Kiểm tra URL, vì riêng dòng trạng thái đó đã loại bỏ được phần lớn giả thuyết sai chỉ trong một phút.
