Phân tích log server cho SEO: Đọc log và sửa lãng phí crawl

Bài trắc nghiệm nhanh

SEO có phù hợp với bạn không, và nên bắt đầu như thế nào?

Câu hỏi 1 trên 425%

Mọi người có tìm kiếm trên Google những gì bạn bán không?

Có, tôi nghĩ vậyKhông, đó là thứ mới hoặc rất ngáchTôi không biết

Log máy chủ ghi lại điều gì, và vì sao nó hơn hẳn các dữ liệu khác

Mỗi khi có ai đó yêu cầu một tệp từ máy chủ của bạn, máy chủ ghi một dòng vào log truy cập. Phần lớn máy chủ dùng định dạng gần giống Apache "combined". Một yêu cầu của Googlebot trông như sau:

66.249.66.1 - - [13/Nov/2026:08:14:22 +0100] "GET /products/red-running-shoes HTTP/1.1" 200 18342 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Đọc từ trái sang phải: địa chỉ IP, dấu thời gian, phương thức HTTP và URL, mã trạng thái (ở đây là 200), số byte được gửi, referrer và user agent. Mọi yêu cầu đều có trong đó, kể cả những yêu cầu không bao giờ xuất hiện như một lượt xem trang trong công cụ phân tích của bạn: hình ảnh, tệp CSS, chuyển hướng và lỗi 404.

Mỗi nguồn dữ liệu khác của bạn chỉ thấy một phần bức tranh này. Báo cáo Thống kê thu thập dữ liệu trong Search Console được tổng hợp và chỉ bao gồm các crawler của Google. Công cụ phân tích chỉ ghi nhận những khách truy cập có trình duyệt chạy JavaScript của bạn. Một crawler website như Screaming Frog cho thấy những gì nó có thể truy cập bằng cách đi theo liên kết của bạn, điều này không giống với những gì Google chọn để yêu cầu. Chỉ log máy chủ mới ghi lại điều thực sự đã xảy ra.

Vì sao phân tích log quan trọng: ngân sách thu thập dữ liệu nói đơn giản

Ngân sách thu thập dữ liệu là tập hợp các URL mà Google có thể và muốn thu thập trên website của bạn. Google mô tả nó qua hai yếu tố. Yếu tố đầu tiên là giới hạn năng lực thu thập: số kết nối mà các crawler của Google có thể giữ mở tới máy chủ của bạn mà không làm quá tải nó. Giới hạn này tăng khi website hoạt động ổn định và giảm khi phản hồi chậm lại hoặc trả về lỗi 5xx hay 429. Yếu tố thứ hai là nhu cầu thu thập, phụ thuộc vào quy mô website, tần suất nội dung thay đổi, chất lượng và mức độ phổ biến của các trang.

Google trình bày chủ đề này như một hướng dẫn nâng cao dành cho website lớn. Các ngưỡng gần đúng của Google là website có từ 1 triệu trang duy nhất trở lên với nội dung thay đổi khoảng mỗi tuần một lần, và website có từ 10000 trang duy nhất trở lên với nội dung thay đổi mỗi ngày. Những website có nhiều URL nằm ở trạng thái "Đã phát hiện - hiện chưa được lập chỉ mục" cũng thuộc phạm vi này. Website nhỏ hơn thường có thể dựa vào sơ đồ trang (sitemap) được cập nhật và việc kiểm tra định kỳ báo cáo Lập chỉ mục trang. Điều đó không có nghĩa log vô ích với họ. Khi có vấn đề về thu thập dữ liệu, log là cách nhanh nhất để thấy chính xác vấn đề nằm ở đâu.

Nếu website của bạn nằm trong phạm vi đó, câu hỏi không còn là có nên đọc log hay không mà là đọc bao lâu một lần. Một đợt kiểm tra một lần cho bạn thấy lãng phí hôm nay. Bản xuất hằng tháng cho bạn thấy các sửa đổi có thay đổi nơi Googlebot dành thời gian hay không. Để nắm thuật ngữ, mục từ điển về crawl budget trình bày các kiến thức cơ bản, còn hướng dẫn về trạng thái Đã phát hiện, hiện chưa được lập chỉ mục giải thích trạng thái thường khiến người ta phải rà soát kiểu này.

Phương pháp, từng bước một

Quy trình dưới đây áp dụng được với mọi máy chủ và mọi công cụ. Các phần sau giải thích chi tiết từng bước và đưa ra những lệnh bạn có thể chạy trên tệp log thô ngay hôm nay.

Lấy log từ đúng lớp

Hãy yêu cầu nhà phát triển hoặc nhà cung cấp hosting cho bạn log truy cập thô của web server (Apache, Nginx hoặc IIS). Trước khi bắt đầu, kiểm tra ba điều: định dạng log, múi giờ và thời gian lưu giữ. Tùy cách cấu hình, log cũ có thể bị xóa sau vài ngày hoặc vài tuần, vì vậy hãy yêu cầu xuất ngay bây giờ, đừng để sau.

Lớp này quan trọng hơn nhiều người nghĩ. Nếu CDN trả lời yêu cầu từ bộ nhớ đệm, máy chủ gốc của bạn không bao giờ thấy yêu cầu đó. Googlebot có thể thu thập một URL không bao giờ xuất hiện trong log gốc của bạn, nên việc chỉ xuất log từ máy chủ gốc sẽ đếm thiếu hoạt động thu thập đối với nội dung được lưu đệm. Hãy xuất cả log CDN và so sánh hai nguồn với một vài URL trước khi tin vào bất kỳ tổng nào.

Lọc và đếm Googlebot bằng vài lệnh

Với log định dạng combined, mã trạng thái nằm ở cột thứ 9 và đường dẫn URL nằm ở cột thứ 7. Hai cột đó trả lời được phần lớn câu hỏi ban đầu. Lệnh này đếm các yêu cầu của Googlebot theo mã trạng thái:

grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

Lệnh này liệt kê 20 đường dẫn mà Googlebot yêu cầu nhiều nhất, với chuỗi truy vấn đã được bỏ đi để các biến thể bộ lọc được gom lại với nhau:

grep "Googlebot" access.log | awk '{print $7}' | cut -d '?' -f1 | sort | uniq -c | sort -rn | head -20

Lệnh đầu tiên đọc văn bản user agent, thứ mà ai cũng có thể giả mạo. Hãy coi kết quả của nó là danh sách ứng viên cho đến khi bạn hoàn thành phần tiếp theo. Ngoài ra, nếu log của bạn dùng định dạng tùy chỉnh, số thứ tự cột sẽ thay đổi, nên hãy kiểm tra một dòng bằng mắt trước khi tin vào các cột.

Xác minh Googlebot đúng như Google mô tả

Phương pháp chính thức của Google để xác nhận một khách truy cập là Googlebot dựa trên DNS. Chạy tra cứu DNS ngược với địa chỉ IP trong log, kiểm tra tên máy chủ có kết thúc bằng googlebot.com, google.com hoặc googleusercontent.com, rồi chạy tra cứu xuôi với tên máy chủ đó và kiểm tra xem nó có trả về đúng IP ban đầu không. Tài liệu của Google dùng ví dụ này, trong đó 66.249.66.1 được phân giải ngược thành crawl-66-249-66-1.googlebot.com:

host 66.249.66.1

Bước kiểm tra xuôi là lệnh thứ hai, và nó phải trả về cùng một IP:

host crawl-66-249-66-1.googlebot.com

Nếu bạn xử lý hàng triệu dòng, các tra cứu DNS sẽ chậm. Google cũng công bố các tệp JSON chứa dải IP của crawler, bao gồm common-crawlers.json cho Googlebot. Đối chiếu với các dải này nhanh hơn, và hướng dẫn xác minh chính thức mô tả cả hai phương pháp trong hướng dẫn của Google về xác minh Googlebot.

Nhóm, đo lường và đọc kết quả

Số lượng thô theo từng URL rất khó dùng để hành động. Trước tiên hãy nhóm các URL theo template, vì một sửa đổi thường áp dụng cho cả template chứ không phải một trang. Sau đó đo bốn điều cho mỗi nhóm. Đo số lượt truy cập Googlebot mà nó nhận được so với mức độ quan trọng của nó đối với doanh nghiệp. Đo tỷ lệ các mã trạng thái. Đo tốc độ các trang mới nhận được lượt truy cập đầu tiên sau khi xuất bản. Đo xem lượt truy cập có tập trung vào các trang bạn muốn xếp hạng hay không.

Hãy đọc kết quả như một mô hình, không phải một con số đơn lẻ. Nếu phần lớn lượt truy cập của Googlebot rơi vào các URL bộ lọc và chỉ một ít vào trang sản phẩm, ngân sách thu thập đang bị rò rỉ, và vấn đề nhiều khả năng nằm ở liên kết nội bộ hoặc cách xử lý tham số, chứ không phải ở chính các trang sản phẩm. Phần tiếp theo liệt kê các tín hiệu cần tìm.

Bảy tín hiệu ẩn trong log

Khi các dòng Googlebot đã được xác minh và nhóm lại, bảy tín hiệu giải thích được phần lớn vấn đề thu thập dữ liệu. Bảng dưới đây đưa ra mô hình cần tìm và cách sửa thường gặp. Mỗi cách sửa là một thay đổi trên website, vì vậy hãy xác nhận lại trong bản xuất tiếp theo.

Tín hiệu	Log cho thấy gì	Nên làm gì
Lãng phí thu thập	Lượt truy cập Googlebot vào bộ lọc, thứ tự sắp xếp, tìm kiếm nội bộ và các URL phiên	Gộp bằng canonical, gỡ liên kết nội bộ tới các URL này, và chặn trong robots.txt những biến thể vô nghĩa nếu không thể gộp
Chuyển hướng	Lượt truy cập vào phản hồi 301 hoặc 302, và chuỗi từ hai bước nhảy trở lên	Liên kết trực tiếp tới URL cuối cùng. Hướng dẫn 301 so với 302 giúp bạn chọn đúng loại chuyển hướng
Lỗi	Lượt truy cập 404 hoặc 410 lặp lại, và các đợt tăng phản hồi 5xx	Khôi phục hoặc chuyển hướng những trang còn quan trọng, và sửa lỗi máy chủ, vì phản hồi 5xx làm giảm lượng thu thập của Google
Thiếu thu thập	Các URL quan trọng không có lượt truy cập Googlebot nào trong khoảng thời gian đã chọn	Kiểm tra liên kết nội bộ, các mục trong sơ đồ trang và quy tắc robots.txt có thể đang giữ crawler tránh xa chúng
Trùng lặp	Cùng một nội dung nhận lượt truy cập ở nhiều URL, do dấu gạch chéo cuối, chữ hoa hoặc tham số	Chọn một URL chính tắc và liên kết tới nó ở mọi nơi
Thời gian đến lần thu thập đầu tiên	Khoảng thời gian từ lúc xuất bản đến lượt truy cập đầu tiên của Googlebot vào một trang mới	Liên kết trang mới từ các trang đã được thu thập thường xuyên, và giữ sơ đồ trang sạch sẽ
Thời gian phản hồi	Phản hồi chậm ở các template mà Googlebot truy cập nhiều nhất	Tăng tốc các template đó trước, vì Google cho biết phản hồi chậm khiến nó thu thập ít hơn

Dòng "thiếu thu thập" là dòng mọi người hay bỏ qua, và thường là dòng tốn kém nhất. Một trang mà bạn không bao giờ thấy trong log có thể không xếp hạng cho bất cứ điều gì, dù nội dung rất tốt. Nếu một URL có trong sơ đồ trang nhưng không bao giờ xuất hiện trong log, trang đó nhiều khả năng chỉ có thể truy cập qua một đường dẫn mà crawler không đi theo. Hướng dẫn về Đã thu thập, hiện chưa được lập chỉ mục bàn về mặt còn lại của tình huống này, khi Googlebot có ghé thăm nhưng vẫn không lập chỉ mục.

Ba cách chạy phân tích, so sánh

Bạn có thể chạy phân tích log bằng script, bằng ứng dụng máy tính để bàn hoặc bằng một nền tảng. Mỗi cách phù hợp với một khối lượng và một nhóm làm việc khác nhau. Lựa chọn đúng phụ thuộc vào việc bạn cần câu trả lời thường xuyên đến đâu và ai sẽ đọc nó, hơn là quy mô website.

Dòng lệnh: grep, awk và Python

Nguyên tắc: bạn phân tích các tệp thô bằng script và ghi kết quả ra tệp hoặc bảng tính. Khi nào dùng: kiểm tra một lần, website nhỏ, hoặc một nhà phát triển muốn kiểm soát hoàn toàn. Ưu điểm: miễn phí, bạn thấy được từng dòng và có thể tự động hóa bằng một tác vụ định kỳ. Hạn chế: mất thời gian để viết và duy trì, chỉ nhanh bằng chính chiếc máy của bạn, không có biểu đồ, và bạn phải tự xác minh bot.

Ví dụ: các lệnh trong phần phương pháp, chạy mỗi tháng một lần trên cùng một bản xuất, sẽ cho bạn tỷ lệ mã trạng thái và các đường dẫn hàng đầu của Googlebot. Một đoạn script Python ngắn có thể làm việc tương tự và thêm bước kiểm tra DNS, chậm hơn nhưng chính xác hơn.

Công cụ máy tính để bàn: Screaming Frog Log File Analyser

Nguyên tắc: bạn nhập log thô vào một dự án trên máy tính, và công cụ nhóm các bot, kiểm tra danh tính của chúng và vẽ biểu đồ. Khi nào dùng: một chuyên gia tư vấn hoặc nhà phân tích nội bộ làm việc trên website có hàng chục nghìn URL. Ưu điểm: đọc log Apache, IIS và Nginx ở định dạng W3C Extended, xác minh bot của công cụ tìm kiếm, và đánh dấu các trang lớn hoặc chậm. Hạn chế: phiên bản miễn phí có giới hạn, và lượng dữ liệu bạn có thể tải phụ thuộc vào ổ cứng.

Hãy đọc trang Log File Analyser của Screaming Frog trước khi mua. Muốn có hướng dẫn đầy đủ về crawler đi kèm công cụ này, hãy xem hướng dẫn Screaming Frog SEO Spider của chúng tôi. Trình phân tích log làm được một việc mà crawler không làm được: cho thấy bot đã yêu cầu gì trong thực tế, chứ không phải những gì liên kết của bạn gợi ý.

Nền tảng: giám sát log liên tục

Nguyên tắc: nền tảng nhận log của bạn theo lịch, thường từ CDN hoặc máy chủ, và kết hợp chúng với dữ liệu thu thập của website cũng như dữ liệu lập chỉ mục. Khi nào dùng: các website thương mại điện tử lớn hoặc đội ngũ doanh nghiệp theo dõi việc thu thập mỗi tuần trên nhiều thị trường. Ưu điểm: mở rộng được cho log rất lớn, lưu giữ lịch sử, và cho phép nhiều nhóm chia sẻ bảng điều khiển. Hạn chế: tốn kém hơn, mất thời gian để làm quen, và rủi ro bị phụ thuộc vào nhà cung cấp là có thật, vì vậy hãy kiểm tra cách bạn xuất dữ liệu trước khi cam kết. Các nhà cung cấp trong nhóm này gồm Oncrawl và Botify, và đáng để hỏi từng bên cách họ xác minh bot.

Tiêu chí	Dòng lệnh	Công cụ máy tính	Nền tảng
Chi phí	Miễn phí	Miễn phí đến 1000 sự kiện log, £99 mỗi năm cho giấy phép đầy đủ	Đăng ký, giá phụ thuộc vào khối lượng
Thiết lập	Bạn tự viết và bảo trì script	Cài đặt, nhập, bắt đầu	Trình kết nối và quá trình làm quen
Khối lượng	Giới hạn bởi máy của bạn	Giới hạn bởi ổ cứng và giấy phép	Được xây dựng cho log rất lớn
Xác minh bot	Thủ công, bằng kiểm tra DNS hoặc dải IP	Có sẵn	Hỏi nhà cung cấp
Phù hợp nhất với	Kiểm tra một lần và website nhỏ	Chuyên gia tư vấn và website quy mô vừa	Đội ngũ doanh nghiệp và thương mại điện tử giám sát hằng tuần

Báo cáo Thống kê thu thập dữ liệu của Google: hữu ích, nhưng chưa đủ

Trước khi xuất dù chỉ một log, hãy mở báo cáo Thống kê thu thập dữ liệu trong Search Console. Báo cáo cho thấy tổng số yêu cầu thu thập, tổng dung lượng tải xuống, thời gian phản hồi trung bình, các phản hồi được nhóm theo loại, loại tệp, mục đích thu thập và loại Googlebot đã thực hiện mỗi yêu cầu. Để kiểm tra xu hướng, đây là góc nhìn nhanh nhất bạn có, và hướng dẫn Google Search Console của chúng tôi giải thích nơi tìm thấy nó.

Những giới hạn của nó giải thích vì sao log vẫn quan trọng. Báo cáo chỉ khả dụng cho thuộc tính miền và thuộc tính tiền tố URL ở cấp gốc. Nó chỉ bao gồm các crawler của Google, nên GPTBot, ClaudeBot và các bot khác bị thiếu. Nó nhóm dữ liệu thay vì liệt kê từng URL, vì vậy nó có thể cho bạn biết rằng các yêu cầu thu thập đã giảm, nhưng không cho biết template nào đã mất chúng. Hãy dùng nó để nhận ra có điều gì đó đã thay đổi, rồi dùng log để tìm ra nguyên nhân.

Trang trợ giúp về Thống kê thu thập dữ liệu của Google mô tả từng cách nhóm. Khi biểu đồ và bản xuất log của bạn không khớp nhau, đừng tin cả hai cho đến khi bạn kiểm tra khoảng thời gian và bước xác minh. Hầu hết những chênh lệch này đến từ khoảng thời gian khác nhau, một CDN trả lời từ bộ nhớ đệm, hoặc số lượng bot bao gồm các yêu cầu chưa được xác minh.

Khắc phục lãng phí thu thập khi bạn đã thấy nó

Các sửa đổi bắt nguồn từ các tín hiệu. Hầu hết đều quy về ba việc: ngừng gửi crawler đến những trang không quan trọng, đưa họ thẳng tới URL cuối cùng khi một trang đã chuyển đi, và làm cho những trang quan trọng tải nhanh hơn.

Điều hướng theo khía cạnh (faceted navigation). Bộ lọc và thứ tự sắp xếp tạo ra nhiều URL với nội dung gần như giống hệt nhau. Hãy gộp chúng bằng canonical khi có thể, và gỡ các liên kết nội bộ tới những biến thể không có giá trị tìm kiếm. Khi một biến thể không thể gộp và phải nằm ngoài quá trình thu thập, hãy chặn nó trong robots.txt. Hướng dẫn của Google ở đây rất cụ thể: đừng dùng noindex cho việc này, vì Google vẫn phải yêu cầu trang trước khi có thể thấy thẻ đó. Đây là loại quy tắc nên thử nghiệm:

User-agent: Googlebot
Disallow: /*?sort=
Disallow: /*?color=

Hãy giữ thay đổi robots.txt ở mức vừa phải. Google cho biết việc chặn URL không giải phóng ngân sách thu thập cho các trang khác của bạn, trừ khi website đã chạm giới hạn năng lực. Việc chặn chỉ dành cho những URL không có giá trị, không phải cách để dồn ngân sách vào các trang tốt nhất. Mục từ điển về robots.txt của chúng tôi giải thích cách tệp này được đọc.

Chuỗi chuyển hướng. Khi một trang đã chuyển đi hai lần, crawler đi qua cả hai chuyển hướng mỗi lần. Hãy cập nhật liên kết nội bộ để trỏ tới URL cuối cùng, rồi giữ các chuyển hướng cũ cho liên kết bên ngoài. Lựa chọn giữa chuyển hướng vĩnh viễn và tạm thời cũng quan trọng vì cùng lý do, và hướng dẫn 301 so với 302 đề cập chi tiết điều này.

Trang đã gỡ bỏ. Trả về 404 hoặc 410 cho các trang đã bị xóa vĩnh viễn. Google cho biết các soft 404 vẫn tiếp tục bị thu thập và lãng phí ngân sách thu thập, vì vậy thông báo "không tìm thấy trang" gửi kèm trạng thái 200 còn tệ hơn một 404 thật.

Thời gian phản hồi và bộ nhớ đệm. Google cho biết phản hồi chậm hoặc lỗi khiến nó thu thập ít hơn. Hãy hỗ trợ phản hồi 304 (Not Modified) để các trang không thay đổi có thể được phục vụ từ bộ nhớ đệm. Sau đó xem các template nhận nhiều lượt truy cập Googlebot nhất và làm cho phản hồi của chúng nhanh hơn trước.

Những sai lầm tốn kém nhất, và cách tránh

Hầu hết các phân tích log thất bại đều mắc một trong số ít sai lầm. Mỗi sai lầm dưới đây có một dấu hiệu bạn có thể nhận ra trong dữ liệu và một cách khắc phục có thể áp dụng trong cùng tuần.

Tin tưởng chuỗi user agent

Đó là gì: đếm mọi yêu cầu có chữ "Googlebot" như là thu thập của Google. Cách nhận biết: lượt truy cập Googlebot từ những địa chỉ IP không phân giải ngược về tên máy chủ của Google, hoặc một đợt tăng đột biến từ một địa chỉ duy nhất. Cách khắc phục: chạy bước xác minh trong phần phương pháp trước khi đếm bất cứ thứ gì, và giữ các lượt truy cập chưa xác minh trong một nhóm riêng để bạn vẫn thấy hoạt động của scraper.

Chỉ đọc các phản hồi 200

Đó là gì: chỉ tập trung vào các trang trả về 200 và bỏ qua phần còn lại. Cách nhận biết: báo cáo của bạn không có phần 3xx, 4xx hoặc 5xx, hoặc tỷ lệ mã trạng thái không bao giờ được bàn tới. Cách khắc phục: luôn bắt đầu từ phân bố mã trạng thái. Lượt truy cập 404 tăng lên có thể cho thấy một liên kết nội bộ bị hỏng, còn lượt truy cập 5xx tăng lên có thể cho thấy vấn đề máy chủ làm chậm toàn bộ quá trình thu thập.

Chặn một trang bạn muốn gỡ khỏi chỉ mục

Đó là gì: thêm quy tắc robots.txt cho một trang cũng có thẻ noindex. Cách nhận biết: trang vẫn nằm trong chỉ mục, và log không hiện lượt truy cập Googlebot nào, vì crawler bị chặn không cho yêu cầu trang. Cách khắc phục: gỡ khối chặn để Google có thể đọc thẻ noindex, đợi trang rời khỏi chỉ mục, sau đó khôi phục khối chặn nếu bạn vẫn cần. Hướng dẫn Bị chặn bởi robots.txt giải thích trạng thái Search Console xuất hiện trong trường hợp này.

So sánh các khoảng thời gian có độ dài khác nhau

Đó là gì: so sánh bản xuất 3 ngày trước khi sửa với bản xuất 30 ngày sau khi sửa. Cách nhận biết: tổng số thay đổi nhiều, nhưng tỷ lệ theo từng template thì không. Cách khắc phục: so sánh cùng số ngày, nếu được thì cùng thời điểm trong năm, và so sánh tỷ lệ thay vì tổng thô khi khối lượng thay đổi.

Đo lượt truy cập thay vì giá trị

Đó là gì: ăn mừng sự tăng lên của lượt truy cập Googlebot mà không kiểm tra xem các lượt đó có đến được những trang được lập chỉ mục hay không. Cách nhận biết: lượt truy cập tập trung vào các URL không được lập chỉ mục hoặc không bao giờ mang lại lưu lượng. Cách khắc phục: kết hợp các nhóm log với trạng thái lập chỉ mục từ công cụ URL Inspection trong Search Console, và chỉ tính một sửa đổi là thành công khi việc thu thập dịch chuyển về phía các trang quan trọng.

Các bot AI nằm ở đâu trong cùng những log đó

Cùng những log đó cho thấy các crawler AI làm gì trên website của bạn, và phương pháp là như nhau: nhóm chúng, xác minh ở chỗ nhà cung cấp có cách để làm điều đó, và đọc mã trạng thái. Hướng dẫn về log crawler AI của chúng tôi trình bày nên tìm những bot nào và chúng khác Googlebot ra sao. Bài viết này đi sâu vào phương pháp cho Googlebot, còn phần về AI bên dưới cho thấy cách đưa cả hai vào cùng một báo cáo.

Loại bot	Ví dụ	Cần kiểm tra gì trong log	Đọc thêm ở đâu
Crawler tìm kiếm	Googlebot	Lượt truy cập theo template, tỷ lệ mã trạng thái, thời gian đến lần thu thập đầu tiên của trang mới	Các phần ở trên trong bài viết này
Crawler huấn luyện	GPTBot, ClaudeBot, CCBot	Họ có yêu cầu nội dung của bạn hay không, và họ có tôn trọng robots.txt của bạn không	Robots.txt cho crawler AI
Crawler truy xuất	ChatGPT-User, PerplexityBot	Các đợt truy cập ngắn gắn với câu hỏi của người dùng, và những trang mà các đợt đó chạm tới	Log crawler AI

Sự phân chia giữa huấn luyện và truy xuất đến từ cách các crawler AI được tài liệu hóa. Crawler huấn luyện thu thập nội dung cho các mô hình, còn crawler truy xuất lấy trang khi người dùng đặt câu hỏi. Báo cáo của bạn nên tách biệt hai loại này, vì một quyết định chính sách cho loại này không tự động áp dụng cho loại kia.

Nếu bạn muốn xem lưu lượng từ Google và lưu lượng từ AI cạnh nhau trong lúc triển khai các sửa đổi này, bảng điều khiển GEO / SEO của Sorank hiển thị cả hai trong một chế độ xem. Hãy dùng nó để kiểm tra xem những thay đổi bạn thực hiện từ log có thực sự làm dịch chuyển lưu lượng hay không, chứ không chỉ làm thay đổi số lần thu thập.