scrape-le-mcp

Phân tích nội dung robots.txt và báo đường dẫn có được thu thập hay không.

Mô tả gốc của tác giả (bản trên do máy dịch)

Analyse robots.txt content and report whether a path may be crawled.

Nhãn kiểm: Chưa kiểm

Chưa ai kiểm mục này. Có trên MCP Registry không có nghĩa đã được kiểm. Cách đọc nhãn

Link