爬虫程序编写爬虫需要用到哪些软件？最后得到的是什么？一个exe程序吗

求用JAVA编写一个网络爬虫的程序

网络爬虫的程序涉及的知识比较多，有开源的框架可以用，要用到，LUCENE或pass对LUCENE进行了封装，比较好的开源网络爬虫的程序是heritrix

你可以参考下这个网址： /68.htm

如何编写爬虫程序

个人以为应该先从一个URL入手。

将此URL内容抓至硬盘， 再启动线程分析此URL内连接， 遍历此连接，分别抓到硬盘 再用线程对硬盘上文件分别分析URL，看到新的就抓。

可能是这样吧。

编写爬虫需要用到哪些软件？最后得到的是什么？一个exe程序吗

写爬虫也不需要什么具体的软件，主要是看你用什么语言用什么库罢了。

用python实现爬虫应该是最简单的，有功能强大的urllib2,beautifulsoup，request等库，用起来很方便，网上找点教程就会了。

写爬虫还可以试试 scrapy框架，可是省去好多细节，用起来很方便。

如果用python等脚本来写的话需要一个解释器就够了。

如果是用java等来写的话就会编译成一个exe可执行文件。