最常见的HTTP Headers

  1. 使用和优化HTTP Headers。这种方法会大大减少您的网络爬虫被各种数据源封锁的可能性，并确保检索到高质量的数据。
  2. Header使客户端和服务器都能够在请求或响应中传输更多详细信息。

HTTP Header User-Agent

  1. User-Agent Header传递的信息包括应用类型，操作系统，软件和版本信息，并允许数据目标来决定使用何种类型的HTML布局来响应，手机、平板电脑或PC均可显示不同的HTML布局。
  2. 网络服务器经常会验证User-Agent Header，这是网站服务器的第一重保障，这个步骤可以让数据源识别出可疑请求。例如，网络抓取时，大量请求传输到网络服务器，如果User-Agent Header相同，那么服务器端就会判定是爬虫行为。因此，有经验的网页抓取者会把User-Agent Header修改成不同的字符串，从而让服务器识别成是多个自然用户在发出请求。
  3. 因此，当涉及到User-Agent Header时，需要经常更改此Header的信息，这样就不容易因为这个Header而被封锁。

HTTP Header Accept-Language

  1. Accept-Language Header向网络服务器传递的信息包含客户端有哪些语言，以及当网络服务器发回响应时首选哪种特定语言。
  2. 当网络服务器无法识别首选语言时，通常会使用特定Header。
  3. 也就是说，Accept-Language Header的关键是相关性。必须确保设置的语言符合数据目标域和客户端的IP位置。原因很简单，如果来自同一个客户端的请求内置有多种语言，网络服务器就会怀疑是爬虫行为，因此，网站就可能会阻止网络抓取过程。

HTTP Header Accept-Encoding

  1. Accept-Encoding Header通知网络服务器在处理请求时使用哪种压缩算法。换句话说，当从网络服务器发送到客户端时，如果服务器可以处理，就会确认可以压缩的信息。
  2. 使用该Header优化后它可以节省流量，从流量负载的角度来看，这对客户端和网络服务器来说都比较好。客户端仍然会获得所需的信息，只是被压缩了。数据压缩后，网络服务器的流量小了，资源就节约下来了。

HTTP Header Accept

  1. Accept Header属于内容协商类别，其目的是通知网络服务器可以向客户端返回什么类型的数据格式。
  2. 听起来很简单，但是网络抓取最常犯的一个错误就是忽略或忘记根据网络服务器接受的格式来配置Header。如果Accept Header配置得当，就会让客户端和服务器之间的通信更加像真实用户行为，从而减少网络爬虫被封锁的可能性。

HTTP Header Referer

  1. 在将请求发送到网络服务器之前，Referer Header会提供请求前用户所在的网页地址。
  2. 在网站试图阻止抓取过程时，Referer Header其实影响不大。一个随机的真实用户很可能上网时间间隔数小时。因此，如果您想网络抓取工具的流量看上去更加自然，只需在开始网络抓取会话之前指定一个随机网站。

HTTP headers 数据类型

  1. Accept：浏览器可接受的MIME类型。
  2. Accept-Charset：浏览器可接受的字符集。
  3. Accept-Encoding：浏览器能够进行解码的数据编码方式，比如gzip。Servlet能够向支持gzip的浏览器返回经gzip编码的HTML页面。许多情形下这可以减少5到10倍的下载时间。
  4. Accept-Language：浏览器所希望的语言种类，当服务器能够提供一种以上的语言版本时要用到。
  5. Authorization：授权信息，通常出现在对服务器发送的WWW-Authenticate头的应答中。
  6. Connection：表示是否需要持久连接。如果Servlet看到这里的值为“Keep-Alive”，或者看到请求使用的是HTTP 1.1（HTTP 1.1默认进行持久连接），它就可以利用持久连接的优点，当页面包含多个元素时（例如Applet，图片），显著地减少下载所需要的时间。要实现这一点，Servlet需要在应答中发送一个Content-Length头，最简单的实现方法是：先把内容写入ByteArrayOutputStream，然后在正式写出内容之前计算它的大小。
  7. Content-Length：表示请求消息正文的长度。
  8. Cookie：这是最重要的请求头信息之一
  9. From：请求发送者的email地址，由一些特殊的Web客户程序使用，浏览器不会用到它。
  10. Host：初始URL中的主机和端口。
  11. If-Modified-Since：只有当所请求的内容在指定的日期之后又经过修改才返回它，否则返回304“Not Modified”应答。
  12. Pragma：指定“no-cache”值表示服务器必须返回一个刷新后的文档，即使它是代理服务器而且已经有了页面的本地拷贝。
  13. Referer：包含一个URL，用户从该URL代表的页面出发访问当前请求的页面。
  14. User-Agent：浏览器类型，如果Servlet返回的内容与浏览器类型有关则该值非常有用。
  15. UA-Pixels，UA-Color，UA-OS，UA-CPU：由某些版本的IE浏览器所发送的非标准的请求头，表示屏幕大小、颜色深度、操作系统和CPU类型。
  16. HTTP应答头概述（HttpServletResponse）
  17. Web服务器的HTTP应答一般由以下几项构成：一个状态行，一个或多个应答头，一个空行，内容文档。设置HTTP应答头往往和设置状态行中的状态代码结合起来。例如，有好几个表示“文档位置已经改变”的状态代码都伴随着一个Location头，而401（Unauthorized）状态代码则必须伴随一个WWW-Authenticate头。
    然而，即使在没有设置特殊含义的状态代码时，指定应答头也是很有用的。应答头可以用来完成：设置Cookie，指定修改日期，指示浏览器按照指定的间隔刷新页面，声明文档的长度以便利用持久HTTP连接，……等等许多其他任务。
    设置应答头最常用的方法是HttpServletResponse的setHeader，该方法有两个参数，分别表示应答头的名字和值。和设置状态代码相似，设置应答头应该在发送任何文档内容之前进行。
  18. HttpServletResponse还提供了许多设置
  19. setContentType：设置Content-Type头。大多数Servlet都要用到这个方法。
  20. setContentLength：设置Content-Length头。对于支持持久HTTP连接的浏览器来说，这个函数是很有用的。
  21. addCookie：设置一个Cookie（Servlet API中没有setCookie方法，因为应答往往包含多个Set-Cookie头）。
    另外，如上节介绍，sendRedirect方法设置状态代码302时也会设置Location头。
  22. HTTP应答头 说明
  23. Allow 服务器支持哪些请求方法（如GET、POST等）。
  24. Content-Encoding 文档的编码（Encode）方法。只有在解码之后才可以得到Content-Type头指定的内容类型。利用gzip压缩文档能够显著地减少HTML文档的下载时间。Java的GZIPOutputStream可以很方便地进行gzip压缩，但只有Unix上的Netscape和Windows上的IE 4、IE 5才支持它。因此，Servlet应该通过查看Accept-Encoding头（即request.getHeader(“Accept-Encoding”)）检查浏览器是否支持gzip，为支持gzip的浏览器返回经gzip压缩的HTML页面，为其他浏览器返回普通页面。
  25. Content-Length 表示内容长度。只有当浏览器使用持久HTTP连接时才需要这个数据。如果你想要利用持久连接的优势，可以把输出文档写入ByteArrayOutputStram，完成后查看其大小，然后把该值放入Content-Length头，最后通过byteArrayStream.writeTo(response.getOutputStream()发送内容。
  26. Content-Type 表示后面的文档属于什么MIME类型。Servlet默认为text/plain，但通常需要显式地指定为text/html。由于经常要设置Content-Type，因此HttpServletResponse提供了一个专用的方法setContentType。
  27. Date 当前的GMT时间。你可以用setDateHeader来设置这个头以避免转换时间格式的麻烦。
  28. Expires 应该在什么时候认为文档已经过期，从而不再缓存它？
  29. Last-Modified 文档的最后改动时间。客户可以通过If-Modified-Since请求头提供一个日期，该请求将被视为一个条件GET，只有改动时间迟于指定时间的文档才会返回，否则返回一个304（Not Modified）状态。Last-Modified也可用setDateHeader方法来设置。
  30. Location 表示客户应当到哪里去提取文档。Location通常不是直接设置的，而是通过HttpServletResponse的sendRedirect方法，该方法同时设置状态代码为302。
  31. Refresh 表示浏览器应该在多少时间之后刷新文档，以秒计。除了刷新当前文档之外，你还可以通过setHeader(“Refresh”, “5; URL=http://host/path")让浏览器读取指定的页面。注意这种功能通常是通过设置HTML页面HEAD区的实现，这是因为，自动刷新或重定向对于那些不能使用CGI或Servlet的HTML编写者十分重要。但是，对于Servlet来说，直接设置Refresh头更加方便。注意Refresh的意义是“N秒之后刷新本页面或访问指定页面”，而不是“每隔N秒刷新本页面或访问指定页面”。因此，连续刷新要求每次都发送一个Refresh头，而发送204状态代码则可以阻止浏览器继续刷新，不管是使用Refresh头还是<META HTTP-EQUIV=”Refresh” …>。注意Refresh头不属于HTTP 1.1正式规范的一部分，而是一个扩展，但Netscape和IE都支持它。
  32. Server 服务器名字。Servlet一般不设置这个值，而是由Web服务器自己设置。
  33. Set-Cookie 设置和页面关联的Cookie。Servlet不应使用response.setHeader(“Set-Cookie”, …)，而是应使用HttpServletResponse提供的专用方法addCookie。参见下文有关Cookie设置的讨论。
  34. WWW-Authenticate 客户应该在Authorization头中提供什么类型的授权信息？在包含401（Unauthorized）状态行的应答中这个头是必需的。例如，response.setHeader(“WWW-Authenticate”, “BASIC realm="executives"“)。注意Servlet一般不进行这方面的处理，而是让Web服务器的专门机制来控制受密码保护页面的访问（例如.htaccess）。