HoiAiDapBot — trình đọc website
HoiAiDapBot là trình đọc website của HoiAiDap (hoiaidap.com), do Công ty TNHH Kiến Nhảy vận hành.
Chuỗi nhận diện: HoiAiDapBot/1.0 (+https://hoiaidap.com/bot)
Nó đọc gì
- Chỉ trang công khai của một cửa hàng:
robots.txt, sitemap và các trang sản phẩm (dữ liệu JSON-LD / Open Graph). - Khi chủ cửa hàng tự dán website lên HoiAiDap để nhập sản phẩm, hoặc khi HoiAiDap tạo sẵn một trang cửa hàng từ website công khai của doanh nghiệp.
- Không đăng nhập, không vượt tường chắn, không chạy JavaScript, không đọc trang riêng tư.
- Không sao chép ảnh cho tới khi cửa hàng cho phép (nhận trang, hoặc đồng ý qua điện thoại với HoiAiDap). Mô tả sản phẩm chỉ hiển thị dưới dạng trích đoạn ngắn kèm liên kết về website gốc.
Nó cư xử thế nào
- Tôn trọng
robots.txtchoHoiAiDapBotvà cho*, kể cảCrawl-delay. - Chờ ít nhất 2 giây giữa hai lần tải cùng một máy chủ (hoặc lâu hơn nếu
Crawl-delaynói vậy). - Dừng ngay khi gặp mã 403 hoặc 429.
- Đọc tối đa vài chục trang sản phẩm cho một cửa hàng.
Chặn nó
Thêm vào robots.txt của bạn:
User-agent: HoiAiDapBot
Disallow: /
Nguồn và gỡ trang
Mỗi trang cửa hàng HoiAiDap tạo từ website ghi rõ địa chỉ website nguồn và ngày đọc, và mang nhãn “Trang chưa xác nhận” cho tới khi cửa hàng nhận trang. Chủ cửa hàng nhận trang ngay tại trang đó (“Bạn là chủ cửa hàng? Nhận trang”).
Để gỡ một trang, gửi email tới [email protected] với tiêu đề “Gỡ trang <địa chỉ trang>”. Chúng tôi gỡ trong tối đa 3 ngày làm việc; trang sau đó trả về mã 410 và rời khỏi sitemap.