我们日常的实际情况可能会从这些内容中，但没有，因为我们可以在有效的网站上工作，提供API或其他相应的方法来访问数据。此时您提供了一些？的方法。

一、使用工具

首先根据浏览器确定选择需要包含合适的IP 产品，您需要使用站点工具的这些 URL 附加上的数据。

你需要了解关于协议的选择语言知识，信息是高效的中间代理软件和 HTTP 的。分析 HTTP 请求和响应，了解 cookie 和会话查询的。//www.telerik.com/fiddler） Charles Proxy（http:// /www.charlesproxy.com/）是流行的工具。最推荐的是mitmproxy（http://mitmproxy.org/）。

类型类型向工程任务的环境需要非常有用的环境，所以有一个可以 REPL 测试非常有用的测试环境。

二、编写爬虫程序

PHP、繁体等、语言，或者是Java的常用语言隐藏，或者我用语言的语言喻的利器。Python是最常用的语言。

注意：不要使用 HTML 表达式来选择解析。很多时候使用的是因为很广泛的表达方式，来解析它们的作用。xpath / cs 选择器比正则更容易学习，以便解析html和发明的。

在过去，你需要发出一个 http 请求并解析 HTML 回复。，你肯定要处理那些由标准的 HTTP 请求/响应和目标网站的部分进行的由唯一的 HTTP 组成的网站。现在，你的这些请求可能是html，在极有可能和其他错误的情况下，它们会是xml。

在解决此类问题时，我们会仔细检查使用的网站，具体而言

1. 直接解析协议
   1. 以及自己做这些网站的这些网址。
   2. 你可能从http://example.com，提取一个数据，然后从http://example.com/api/baz?b，提取json/foobar等其他结果数据。
   3. 您需要注意提交正确的 cookie 或会话参数。
   4. 但很少有的情况，但javascript参数调用某个ajax，调用网站的会是中的一些疯狂计算的结果，逆向工程会令人厌烦。
2. 模拟渲染
   1. 你需要搞清楚哪些数据在html中来自ajax调用的哪些数据？
   2. 管理所有的会话和cookie数据？
   3. 当你浏览一个网站的时候，而你没有浏览网站的问题，但浏览器的javascript会做这些。这是关键。

你是无头浏览器，如phantomjsx，加载到一个无头浏览器中，到一个页面，运行javascript，告诉你所有的功能完成如果有必要，你可以输入自定义器的javascript页面，通过已经模拟点击点击加载合适的数据。

你现在有输出格式，可以直接选择，或者在页面中的 html，进行解析和数据输出和数据输出（可能）。

方法是最好的吗？

毫无疑问，需要掌握一个方法，一个可靠的代理 IP 工具。它的 HTTP、浏览器请求和响应，是请求、嵌入和嵌入浏览器、网站的 JavaScript 以及你自己的代码进程的联系。