小爬虫Sitemap生成器

软件简介

小爬虫可以生成sitemap.xml及网站地图html文件，该生成工具是一款使用起来很方便的免费网站地图及Sitemap.xml的制作软件，可以装在公司任意一台电脑上，局域网内的其它客户端电脑通过浏览器地址栏输入安装后的小爬虫服务地址比如：http://192.168.0.100:9000 进行操作使用。

软件功能

可以定义多个网址每天自动定时生成sitemap文件，到时管理员可以直接去指定文件夹下去取就行了，用不着每次更新后再去运行生成。

支持robots.txt，如果该网站定义了robots.txt禁止搜索引擎抓取某些页面或目录，小爬虫也将不抓取这些目录或页面。

大型网站页面太多，可支持分页，比如sitemap1.html,sitemap2.html,以减少谷歌爬虫的负担。

使用方法

1.小爬虫软件安装完后，请重新启动机器或者通过 我的电脑-管理-服务和应用程序-启动小爬虫。

2.启动完后可以通过 windows的开始-程序-小爬虫--小爬虫生成网站地图 的路径进入小爬虫软件系统。

3.如果进入软件系统失败，打不开页面，则极有可能是小爬虫服务未启动。

4.如果小爬虫服务装在本电脑可在浏览器地址栏直接输入 http://localhost:9000 进入软件界面

5.如果小爬虫服务装在其它电脑可在浏览器地址栏直接输入 http://其他电脑的IP:9000 进入软件界面