Screaming Frog SEO Spider: cách thiết lập và chạy một kiểm toán đầy đủ

Bài trắc nghiệm nhanh

Loại công cụ SEO nào phù hợp với bạn?

Câu hỏi 1 trên 425%

Bạn hiểu SEO đến mức nào?

Hoàn toàn chưa, tôi mới bắt đầuTôi biết những điều cơ bảnKhá rõ, đó là công việc của tôi

Screaming Frog SEO Spider chạy trên Windows, macOS và Linux và hoạt động từ máy tính của bạn, nên tốc độ phụ thuộc vào bộ nhớ của máy. hướng dẫn sử dụng của nhà phát triển ghi lại mọi thiết lập. Hướng dẫn này bao quát những gì quan trọng để có một kiểm toán đầu tiên hữu ích.

Screaming Frog SEO Spider làm gì?

Nó bắt đầu từ một URL, theo dõi mọi liên kết tìm thấy và ghi lại những gì một bot nhìn thấy ở mỗi trang. Quá trình này gọi là thu thập dữ liệu. Với mỗi URL, bạn nhận được:

• mã trạng thái HTTP (200, 301, 404, 500...) và thời gian phản hồi;
• thẻ tiêu đề, mô tả meta, H1 và H2, cùng độ dài của chúng;
• thẻ canonical, chỉ thị meta robots và X-Robots-Tag, hreflang;
• liên kết nội bộ và bên ngoài, văn bản neo, độ sâu thu thập;
• hình ảnh, dung lượng và văn bản thay thế (alt);
• dữ liệu có cấu trúc, số từ và dung lượng trang.

Giá trị nằm ở cái nhìn theo quy mô lớn: 10'000 trang được sắp xếp theo vấn đề chỉ trong vài phút, trong khi kiểm tra thủ công sẽ mất hàng tuần.

Phiên bản miễn phí hay giấy phép trả phí: bạn cần cái nào?

Phiên bản miễn phí đủ cho một website nhỏ hoặc kiểm tra nhanh một mục. Ngay khi website vượt 500 URL, hoặc bạn cần kết xuất JavaScript hay theo dõi theo thời gian, giấy phép sẽ tự hoàn vốn.

Nên thay đổi những thiết lập nào trước lần thu thập đầu tiên?

1. Chọn chế độ thu thập

Chế độ Spider thu thập từ một URL bắt đầu. Chế độ List chỉ thu thập các URL bạn dán hoặc tải lên, hữu ích để kiểm tra sitemap, danh sách URL cũ trước khi di chuyển website hay một tập các URL đích backlink.

2. Dùng lưu trữ bằng cơ sở dữ liệu

Trong phần thiết lập, chuyển từ bộ nhớ sang lưu trữ bằng cơ sở dữ liệu trên SSD. Các lần thu thập lớn trở nên khả thi và được lưu tự động.

3. Bật kết xuất JavaScript nếu website cần

Nếu nội dung hoặc liên kết được JavaScript chèn vào (React, Vue, một số giao diện Shopify hay Webflow), hãy đặt kết xuất sang JavaScript. Công cụ khi đó dùng một trình duyệt Chromium không giao diện, giống như bộ kết xuất của Google. So sánh HTML thô và HTML đã kết xuất để phát hiện nội dung chỉ tồn tại sau khi kết xuất.

4. Kết nối các API

Kết nối Google Search Console, GA4 và PageSpeed Insights. Lượt nhấp, lượt hiển thị và Core Web Vitals khi đó sẽ hiện cạnh từng URL, và các URL có trong những nguồn này nhưng không có trong lần thu thập sẽ lộ ra các trang mồ côi.

5. Thiết lập trích xuất tùy chỉnh

Bằng XPath, bộ chọn CSS hoặc regex, bạn có thể trích xuất bất kỳ phần tử nào: ngày xuất bản, tác giả, giá, tình trạng còn hàng, một loại schema. Tiện để kiểm toán khuôn mẫu theo quy mô lớn.

6. Tôn trọng máy chủ

Giảm tốc độ (số luồng hoặc số URL mỗi giây) trên hosting yếu, và chỉ đặt user agent là Googlebot nếu website không chặn các bot lạ.

Làm sao để chạy các kiểm toán thiết yếu từng bước?

Google giải thích cách họ xử lý mã trạng thái HTTP và URL canonical: hãy đọc cả hai trước khi quyết định chuyển hướng hay gộp những gì.

Làm sao để xuất và chia sẻ kết quả?

Mọi tab đều xuất được ra CSV, Excel hoặc Google Sheets. Dùng Bulk Export cho dữ liệu tổng hợp (mọi liên kết đến trang 4xx, mọi hình ảnh thiếu văn bản alt) và menu Reports cho chuỗi chuyển hướng hoặc lỗi canonical. Với khách hàng hay lập trình viên, chỉ xuất danh sách vấn đề đã lọc kèm URL trang và nguồn gốc của vấn đề: một danh sách 40 liên kết hỏng cùng trang nguồn sẽ được sửa, còn một tệp 10'000 dòng thì không. Khi có giấy phép, hãy lên lịch thu thập hằng tuần và dùng so sánh các lần thu thập để xem điều gì thay đổi sau mỗi lần phát hành.

Thu thập dữ liệu giúp ích gì cho SEO và khả năng hiển thị trên AI?

Một trình thu thập nhìn website của bạn theo cách Googlebot, Bingbot và các trình thu thập AI (GPTBot, ClaudeBot, PerplexityBot) nhìn. Một trang mà họ không thể truy cập, trả về lỗi, hoặc nằm sâu bảy cú nhấp sẽ lãng phí ngân sách thu thập và có ít cơ hội được Google lập chỉ mục hoặc được ChatGPT và Perplexity truy xuất. Một lần thu thập sạch (mã trạng thái 200, một canonical, độ sâu nông, liên kết nội bộ thật) là nền tảng của mọi kiểm toán SEO kỹ thuật, đi trước nội dung và liên kết.

Với từng trang một, bạn không phải lúc nào cũng cần trình thu thập: kiểm toán SEO trên trang miễn phí và tiện ích mở rộng Chrome của Sorank cho thấy các việc cần sửa của trang bạn đang xem chỉ trong vài giây.

Screaming Frog SEO Spider tìm các vấn đề kỹ thuật của cả website trong vài phút; công việc mang lại lưu lượng bắt đầu khi bạn sửa chúng theo thứ tự tác động. Khi nền tảng đã sạch, Sorank xuất bản các bài viết đã tối ưu, có liên kết nội bộ một cách tự động để website tiếp tục phát triển trên Google và trong AI.