基于广度优先算法的多线程网络爬虫毕业设计

址。一般统一资源定位符的开始标志着一个计算机网络所使用的网络协议。 统一资源定位符是统一资源标志符的一个下种。统一资源标志符确定一个资源，而统一资源定位符不但确定一个资源，而且还表示出它在哪里。 URL结构一般分为两个部分，一个是物理结构，一个是逻辑结构。在物理结构包括扁平结构和树型结构。扁平结构就是网站中所有的页面都是在根目录这一级别，形成一个扁平的物理结构。这比较适合于小型的网站，因为如果太多文件都放在根目录下的话，制作和维护起来比较麻烦。而树型结构的意义是在一级目录下分为多个频道或者称之为目录，然后目录下面再放上属于这个频道的页面，首页、频道首页、频道下的内容就好比树干、树枝、树叶的关系。逻辑结构就是由网页内部链接所形成的逻辑的或链接的网络图。比较好的情况是逻辑结构与前面的树型物理结构相吻合。

统一资源定位符 URL 是对可以从因特网上得到的资源的位置和访问方法的一种简洁的表示。URL 给资源的位置提供一种抽象的识别方法，并用这种方法给资源定位。只要能够对资源定位，系统就可以对资源进行各种操作，如存取、更新、替换和查找其属性。URL 相当于一个文件名在网络范围的扩展。因此 URL 是与因特网相连的机器上的任何可访问对象的一个指针。

URL 的一般形式是：://<主机>:<端口>/<路径>

网络爬虫就是通过提取和分析出网页中的URL地址，对相应网络进行爬取。

2.3.2 HTTP协议

超文本传输协议 (HTTP-Hypertext transfer protocol) 是一种详细规定了浏览器和万维网服务器之间互相通信的规则，通过因特网传送万维网文文件的数据传送协议。

2.3.2.1 HTTP协议简介

超文本传输协议 (HTTP-Hypertext transfer protocol) 是分布式，协作式，超媒体系统应用之间的通信协议。是万维网（world wide web）交换信息的基础。 HTTP是IETF（Internet Engineering Task Force）制定的国际化标准。在HTTP标准制定和实现的过程中，W3C积极参与了其中的工作，并发挥了重要作用。

它允许将超文本标记语言(HTML) 文档从 Web 服务器传送到 Web浏览器。HTML 是一种用于创建文文件的标记语言，这些文文件包含到相关信息的链接。您可以单击一个链接来访问其它文文件、图像或多媒体对象，并获得关于链接项的附加信息。

HTTP协议的主要特点可概括如下：

1、 简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的类型不同。由于HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度很快。 2、灵活：HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记。

3、无连接：无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间。 4、无状态：HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。

另一方面，在服务器不需要先前信息时它的应答就较快。

2.3.2.2 HTTP消息结构

Request 消息结构：

Response消息结构：

2.3.2.3 请求方法

根据HTTP标准，HTTP请求可以使用多种请求方法。

例如：HTTP1.1目前支持7种请求方法：GET、POST、HEAD、OPTIONS、PUT、DELETE和TARCE。

GET 请求获取由Request-URI所标识的资源。 POST 在Request-URI所标识的资源后附加新的数据。

HEAD 请求获取由Request-URI所标识的资源的响应消息报头。 OPTIONS 请求查询服务器的性能，或查询与资源相关的选项和需求。 PUT 请求服务器存储一个资源，并用Request-URI作为其标识。 DELETE 请求服务器删除由Request-URI所标识的资源。 TRACE 请求服务器回送收到的请求信息，主要用语测试或诊断。

URI完整地指定了要访问的网络资源，通常只要给出相对于服务器的根目录的相对目录即可，因此总是以“/”开头，最后，协议版本声明了通信过程中使用HTTP的版本。

一个URL地址用于描述一个网络上的资源，而HTTP中的GET, POST, PUT, DELETE就对应着对这个资源的查，改，增，删4个操作。 其中最常见的就是GET和POST了。

GET一般用于获取/查询资源信息；而POST一般用于更新资源信息。以下是二者的区别：

1. GET提交的数据会放在URL之后，以?分割URL和传输数据，参数之间以&相连，如EditPosts.aspx?name=test1&id=123456； POST方法是把提交的数据放在HTTP包的Body中；

2. GET提交的数据大小有限制（因为浏览器对URL的长度有限制？？也有人说依服务器的处理能力而定）；而POST方法提交的数据没有限制； 3. GET方式需要使用Request.QueryString来取得变量的值；而POST方式通过Request.Form来获取变数的值；

4. GET方式提交数据，会带来安全问题，比如一个登录页面，通过GET方式提交数据时，用户名和密码将出现在URL上，如果页面可以被缓存或者其它人可以访问这台机器，就可以从历史记录获得该用户的账号和密码；

2.3.2.4

HTTP状态代码

状态代码由3位数字组成，表示请求是否被理解或被满足。 状态描述：

状态描述给出了关于状态代码的简短的文字描述。

状态代码的第一个数字定义了响应的类别，后面两位没有具体的分类。 第一个数字有五种可能的取值：

- 1xx: 指示信息—表示请求已接收，继续处理。 - 2xx: 成功—表示请求已经被成功接收、理解、接受。 - 3xx: 复位向—要完成请求必须进行更进一步的操作。 - 4xx: 客户端错误—请求有语法错误或请求无法实现。 - 5xx: 服务器端错误—服务器未能实现合法的请求。 状态代码状态描述说明 200 OK 客户端请求成功

400 Bad Request 由于客户端请求有语法错误，不能被服务器所理解。 401 Unauthonzed 请求未经授权。这个状态代码必须和WWW-Authenticate报头域一起使用

403 Forbidden 服务器收到请求，但是拒绝提供服务。服务器通常会在回应正文中给出不提供服务的原因

404 Not Found 请求的资源不存在，例如，输入了错误的URL。 500 Internal Server Error 服务器发生不可预期的错误，导致无法完成客户端的请求。

503 Service Unavailable 服务器当前不能够处理客户端的请求，在一段时间之后，服务器可能会恢复正常。

2.3.3 JAVA多线程

在一个程序中，一些独立运行的程序片断叫做“线程”（Thread），利用它编程的概念就叫作“多线程处理”。（摘自百度百科[5]）

2.3.3.1 定义