Mỗi trang web dựa trên Google chừng mực nào đó. Rất đơn giản: các trang của bạn được lập chỉ mục bởi Google, mà làm cho nó có thể cho mọi người tìm thấy bạn. Đó là cách mọi thứ nên đi.
Tuy nhiên, đó không phải luôn luôn như vậy. Nhiều trang không bao giờ được lập chỉ mục bởi Google .
Nếu bạn làm việc với một trang web, đặc biệt là một lớn, bạn đã có thể nhận thấy rằng không phải mọi trang trên trang web của bạn được lập chỉ mục, và nhiều trang chờ đợi trong nhiều tuần trước khi Google nhặt lên.
yếu tố khác nhau góp phần vào vấn đề này, và nhiều người trong số họ là những yếu tố tương tự được đề cập liên quan đến bảng xếp hạng với - chất lượng nội dung và các liên kết là hai ví dụ. Đôi khi, những yếu tố này cũng rất phức tạp và kỹ thuật. trang web hiện đại mà chủ yếu dựa vào các công nghệ web mới đã nổi tiếng là bị vấn đề lập chỉ mục trong quá khứ, và một số vẫn làm.
Nhiều SEO vẫn tin rằng đó là những điều rất kỹ thuật ngăn không cho Google từ nội dung lập chỉ mục, nhưng đây là một huyền thoại. Trong khi đó là sự thật rằng Google có thể không index trang của bạn nếu bạn không gửi tín hiệu kỹ thuật phù hợp để những trang bạn muốn lập chỉ mục hoặc nếu bạn không có đủ ngân sách bò, nó cũng quan trọng rằng bạn đang phù hợp với chất lượng nội dung của bạn.
Hầu hết các trang web, lớn hoặc nhỏ, có nhiều nội dung cần được lập chỉ mục - nhưng không. Và trong khi những thứ như JavaScript thực hiện lập chỉ mục phức tạp hơn, trang web của bạn có thể bị các vấn đề lập chỉ mục nghiêm trọng ngay cả khi nó được viết bằng HTML thuần túy. Trong bài đăng này, hãy giải quyết một số vấn đề phổ biến nhất và cách giảm thiểu chúng.
Lý do tại sao Google không lập chỉ mục các trang của bạn
Sử dụng một công cụ kiểm tra lập chỉ mục tùy chỉnh, tôi đã kiểm tra một mẫu lớn của các cửa hàng thương mại điện tử phổ biến nhất ở Mỹ để lập chỉ mục các vấn đề. Tôi phát hiện ra rằng, trung bình, 15% các trang sản phẩm có thể lập chỉ mục của họ không thể tìm thấy trên Google.
Kết quả đó là vô cùng đáng ngạc nhiên. Những gì tôi cần biết tiếp theo là "Tại sao": Những lý do phổ biến nhất là gì tại sao Google quyết định không lập chỉ mục một cái gì đó có nên được lập chỉ mục kỹ thuật?
Bảng điều khiển tìm kiếm của Google báo cáo một số trạng thái cho các trang không bị hủy, như "Crawled - hiện không được lập chỉ mục" hoặc "được phát hiện - hiện không được lập chỉ mục". Trong khi thông tin này không giúp giải quyết rõ ràng vấn đề, đó là một nơi tốt để bắt đầu chẩn đoán.
Các vấn đề lập chỉ mục hàng đầu
Dựa trên một mẫu lớn các trang web tôi đã thu thập, các vấn đề lập chỉ mục phổ biến nhất được báo cáo bởi Google Search Console là:
1. "Crawled - hiện không được lập chỉ mục"
Trong trường hợp này, Google đã truy cập một trang nhưng không lập chỉ mục.
Dựa trên kinh nghiệm của tôi, đây thường là vấn đề chất lượng nội dung. Với sự bùng nổ thương mại điện tử hiện đang xảy ra, chúng ta có thể mong đợi Google để giành chiến sĩ khi nói đến chất lượng. Vì vậy, nếu bạn nhận thấy các trang của mình là "Crawled - hiện không được lập chỉ mục", hãy đảm bảo nội dung trên các trang đó có giá trị duy nhất:
Sử dụng các tiêu đề, mô tả và sao chép độc đáo trên tất cả các trang có thể lập chỉ mục.
Tránh sao chép mô tả sản phẩm từ các nguồn bên ngoài.
Sử dụng thẻ canonical để hợp nhất nội dung trùng lặp.
Chặn Google từ thu thập thông tin hoặc lập chỉ mục các phần chất lượng thấp của trang web của bạn bằng cách sử dụng tệp robot.txt hoặc thẻ noindex.
Nếu bạn quan tâm đến chủ đề này, tôi khuyên bạn nên đọc Crawled của Chris Long - hiện không được lập chỉ mục: Hướng dẫn trạng thái bảo hiểm.
2. "Đã phát hiện - hiện không được lập chỉ mục"
Đây là vấn đề yêu thích của tôi để làm việc, bởi vì nó có thể bao gồm tất cả mọi thứ từ các vấn đề thu thập dữ liệu đến chất lượng nội dung không đủ. Đó là một vấn đề lớn, đặc biệt là trong trường hợp các cửa hàng thương mại điện tử lớn và tôi đã thấy điều này áp dụng cho hàng chục triệu URL trên một trang web duy nhất.
Google có thể báo cáo rằng các trang sản phẩm thương mại điện tử được "phát hiện - hiện không được lập chỉ mục" vì:
Một vấn đề ngân sách thu thập dữ liệu : Có thể có quá nhiều URL trong hàng đợi bò và chúng có thể được thu thập thông tin và lập chỉ mục sau đó.
Vấn đề chất lượng : Google có thể nghĩ rằng một số trang trên tên miền đó không đáng để thu thập dữ liệu và quyết định không truy cập chúng bằng cách tìm kiếm một mẫu trong URL của họ. .: Google may think that some pages on that domain aren't worth crawling and decide not to visit them by looking for a pattern in their URL.
Xử lý vấn đề này cần một số chuyên môn. Nếu bạn phát hiện ra rằng các trang của bạn được "phát hiện - hiện không được lập chỉ mục", hãy làm như sau:
Xác định nếu có các mẫu của các trang rơi vào danh mục này. Có thể vấn đề có liên quan đến một loại sản phẩm cụ thể và toàn bộ danh mục không được liên kết nội bộ? Hoặc có thể một phần lớn các trang sản phẩm đang chờ trong hàng đợi để được lập chỉ mục?
Tối ưu hóa ngân sách thu thập dữ liệu của bạn. Tập trung vào việc phát hiện các trang chất lượng thấp mà Google dành nhiều thời gian bò. Các nghi phạm thông thường bao gồm các trang danh mục được lọc và các trang tìm kiếm nội bộ - các trang này có thể dễ dàng chuyển sang hàng chục triệu trên một trang web thương mại điện tử điển hình. Nếu Googlebot có thể tự do thu thập dữ liệu chúng, nó có thể không có tài nguyên để có được những thứ có giá trị trên trang web của bạn được lập chỉ mục trong Google.
Trong hội thảo trực tuyến "Kết xuất SEO", Martin Splitt của Google đã cho chúng tôi một vài gợi ý về việc khắc phục sự cố không được lập chỉ mục được phát hiện. Kiểm tra xem nếu bạn muốn tìm hiểu thêm.
3. "Nội dung trùng lặp"
Vấn đề này được bao phủ rộng rãi bởi Trung tâm học tập SEO Moz. Tôi chỉ muốn chỉ ra ở đây rằng nội dung trùng lặp có thể được gây ra bởi nhiều lý do, chẳng hạn như:
Các biến thể ngôn ngữ [ví dụ: ngôn ngữ tiếng Anh ở Anh, Mỹ hoặc Canada]. Nếu bạn có một số phiên bản của cùng một trang được nhắm mục tiêu tại các quốc gia khác nhau, một số trang này có thể sẽ không hủy bỏ.
Nội dung trùng lặp được sử dụng bởi các đối thủ cạnh tranh của bạn. Điều này thường xảy ra trong ngành thương mại điện tử khi một số trang web sử dụng cùng một mô tả sản phẩm được cung cấp bởi nhà sản xuất.
Bên cạnh việc sử dụng rel = canonical, 301 chuyển hướng hoặc tạo nội dung duy nhất, tôi sẽ tập trung vào việc cung cấp giá trị duy nhất cho người dùng. Fast-growing-trees.com sẽ là một ví dụ. Thay vì mô tả nhàm chán và các mẹo về trồng và tưới nước, trang web cho phép bạn xem Câu hỏi thường gặp chi tiết cho nhiều sản phẩm.
Ngoài ra, bạn có thể dễ dàng so sánh giữa các sản phẩm tương tự.
Đối với nhiều sản phẩm, nó cung cấp một faq. Ngoài ra, mọi khách hàng đều có thể hỏi một câu hỏi chi tiết về một nhà máy và nhận được câu trả lời từ cộng đồng.
Cách kiểm tra bảo hiểm chỉ số của trang web của bạn
Bạn có thể dễ dàng kiểm tra xem có bao nhiêu trang của trang web của mình không được lập chỉ mục bằng cách mở báo cáo bảo hiểm chỉ mục trong Bảng điều khiển tìm kiếm của Google.
Điều đầu tiên bạn nên nhìn vào đây là số lượng trang bị loại trừ. Sau đó thử tìm một mẫu - loại trang nào không được lập chỉ mục?
Nếu bạn sở hữu một cửa hàng thương mại điện tử, có lẽ bạn sẽ thấy các trang sản phẩm không hủy bỏ. Mặc dù đây phải là một dấu hiệu cảnh báo, bạn không thể mong đợi có tất cả các trang sản phẩm của mình được lập chỉ mục, đặc biệt là với một trang web lớn. Chẳng hạn, một cửa hàng thương mại điện tử lớn nhất định phải có các trang trùng lặp và các sản phẩm hết hạn hoặc hết hàng. Các trang này có thể thiếu chất lượng sẽ đặt chúng ở phía trước hàng đợi lập chỉ mục của Google [và đó là nếu Google quyết định thu thập dữ liệu các trang này ở vị trí đầu tiên].
Ngoài ra, các trang web thương mại điện tử lớn có xu hướng có vấn đề với ngân sách thu thập dữ liệu. Tôi đã thấy các trường hợp các cửa hàng thương mại điện tử có hơn một triệu sản phẩm trong khi 90% trong số họ được phân loại là "phát hiện - hiện không được lập chỉ mục". Nhưng nếu bạn thấy rằng các trang quan trọng đang bị loại khỏi chỉ mục của Google, bạn nên quan tâm sâu sắc.
Cách tăng xác suất Google sẽ lập chỉ mục các trang của bạn
Mỗi trang web khác nhau và có thể bị các vấn đề lập chỉ mục khác nhau. Tuy nhiên, đây là một số thực tiễn tốt nhất sẽ giúp các trang của bạn được lập chỉ mục:
1. Tránh tín hiệu "mềm 404"
Đảm bảo rằng các trang của bạn không chứa bất cứ thứ gì có thể tạo ra một trạng thái mềm 404. Điều này bao gồm bất cứ điều gì từ việc sử dụng "Không tìm thấy" hoặc "Không khả dụng" trong bản sao để có số "404" trong URL.
2. Sử dụng liên kết nội bộ
Liên kết nội bộ là một trong những tín hiệu quan trọng cho Google mà một trang nhất định là một phần quan trọng của trang web và xứng đáng được lập chỉ mục. Để không có trang mồ côi trong cấu trúc trang web của bạn và nhớ bao gồm tất cả các trang có thể lập chỉ mục trong sơ đồ trang web của bạn.
3. Thực hiện một chiến lược thu thập thông tin âm thanh
Đừng để Google thu thập dữ liệu trên trang web của bạn. Nếu quá nhiều tài nguyên được dành để thu thập các phần ít có giá trị của tên miền của bạn, có thể mất quá nhiều thời gian để Google để có được những thứ tốt. Phân tích nhật ký máy chủ có thể cung cấp cho bạn hình ảnh đầy đủ về những gì Googlebot thu thập dữ liệu và cách tối ưu hóa nó.
4. Loại bỏ nội dung chất lượng thấp và trùng lặp
Mỗi trang web lớn cuối cùng kết thúc với một số trang không nên được lập chỉ mục. Đảm bảo rằng các trang này không tìm thấy cách của họ vào sơ đồ trang web của bạn và sử dụng thẻ noindex và tệp robot.txt khi thích hợp. Nếu bạn cho phép Google dành quá nhiều thời gian trong các phần tồi tệ nhất của trang web của bạn, nó có thể đánh giá thấp chất lượng tổng thể của tên miền của bạn.
5. Gửi tín hiệu SEO nhất quán.
Một ví dụ chung về việc gửi tín hiệu SEO không nhất quán vào Google đang thay đổi các thẻ chính tắc bằng JavaScript. Như Martin Splitt của Google được đề cập trong giờ Office JavaScript SEO, bạn không bao giờ có thể đảm bảo Google sẽ làm gì nếu bạn có một thẻ chính mã trong HTML nguồn và một tệp khác sau khi kết xuất JavaScript.
Web đang trở nên quá lớn
Trong vài năm qua, Google đã khiến những bước nhảy vọt trong việc xử lý JavaScript, làm cho công việc của SEO dễ dàng hơn. Ngày nay, nó ít phổ biến hơn khi thấy các trang web được cấp nguồn JavaScript không được lập chỉ mục do ngăn xếp công nghệ cụ thể mà họ đang sử dụng.
Nhưng chúng ta có thể mong đợi điều tương tự sẽ xảy ra với các vấn đề lập chỉ mục không liên quan đến JavaScript không?Tôi không nghĩ vậy.
Internet không ngừng phát triển.Mỗi ngày các trang web mới xuất hiện và các trang web hiện tại phát triển.
Google có thể đối phó với thử thách này?
Câu hỏi này xuất hiện cứ sau một thời gian.Tôi thích trích dẫn Google tại đây:
"Google có số lượng tài nguyên hữu hạn, vì vậy khi phải đối mặt với số lượng nội dung gần như vô hạn có sẵn trực tuyến, Googlebot chỉ có thể tìm và thu thập mã phần trăm nội dung đó.Sau đó, về nội dung chúng tôi đã thu thập được, chúng tôi chỉ có thể lập chỉ mục một phần. "
Để đặt nó khác nhau, Google chỉ có thể truy cập một phần của tất cả các trang trên web và chỉ mục một phần thậm chí còn nhỏ hơn.Và ngay cả khi trang web của bạn thật tuyệt vời, bạn nên ghi nhớ điều đó.
Google có thể sẽ không truy cập mọi trang trang web của bạn, ngay cả khi nó tương đối nhỏ.Công việc của bạn là đảm bảo rằng Google có thể khám phá và chỉ mục các trang cần thiết cho doanh nghiệp của bạn.