python爬虫默认代理是多少

Answer 1

导读：本篇文章首席CTO笔记来给大家介绍有关python爬虫默认代理是多少的相关内容，希望对大家有所帮助，一起来看看吧。

python爬虫前奏

在浏览器中发送http请求的过程:

1.当用户在浏览器地址栏输入URL并按回车键时，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“获取”和“发布”两种方法。

2.当我们输入网址htp://www百度。com在浏览器中，浏览器发送Request请求获取HTP/wwwBaidu.com的html文件，服务器将Response文件对象发回浏览器。

3.浏览器分析响应中的HTML，发现它引用了很多其他文件，比如Images文件、CSS文件、JS文件。浏览器会自动再次发送一个获取图片、CSS文件或JS文件的请求。

4.当所有文件下载成功后，网页将完全按照HTML语法结构显示。

#url解释:

URL是统一资源定位符的缩写，统一资源定位符。

网址由以下部分组成:

scheme://host:port/path/query-string=XXX#ancho

方案:表示访问的协议，如http或https、ftp等。

主机:主机名、域名，如。

端口:端口号。当您访问网站时，浏览器默认使用端口80。

路径:找到路径。例如，在,，以下趋势/现在是路径。

查询字符串:查询字符串，如?.Wd=python，后跟Wd=python，是搜索字符串。

锚点:锚点，背景一般忽略，前端用于页面定位。

浏览器中的一个ufl，浏览器将对这个url进行编码。除了英文字母、数字和一些符号之外，所有其他符号都用百分号加上十六进制代码值进行编码。

#请求头通用参数:

在http协议中，当向服务器发送请求时，数据被分成三部分。第一个是把数据放在url中，第二个是把数据放在正文中(在post请求中)，第三个是把数据放在头部。这里，我们介绍一些经常在网络爬虫中使用的请求头参数:

用户代理:浏览器名称。这通常用于网络爬虫。当请求网页时，服务器可以通过这个参数知道哪个浏览器发送了请求。如果我们通过爬虫发送请求，那么我们的用户代理就是Python。对于那些有反爬虫机制的网站，很容易判断你的请求是爬虫。因此，我们应该始终将此值设置为某些浏览器的值，以伪装我们的爬虫。

引用者:指示当前请求来自哪个网址。这也可以作为反爬虫技术。如果不是来自指定页面，则不会做出相关响应。

http协议是无状态的。也就是说，同一个人发送了两个请求，服务器无法知道这两个请求是否来自同一个人。因此，此时使用cookie进行标识。一般来说，如果你想成为一个登录后才能访问的网站，你需要发送cookie信息。

常见的请求方法有:

在Http协议中，定义了八种请求方法。这里介绍两种常见的请求方法，即get请求和post请求。

Getrequest:一般来说，getrequest只在从服务器获取数据时使用，不会对服务器资源产生任何影响。

发布请求:发送数据(登录)、上传文件等。，并在会影响服务器资源时使用post请求。

这是网站开发中常用的两种方法。并且一般会遵循使用原则。然而，为了成为一个反爬虫机制，一些网站和服务器经常出于常识玩牌。应该使用get方法的请求可能必须更改为post请求，这取决于具体情况。

常见响应状态代码:

00:请求正常，服务器正常最近数据。

31:永久重定向。例如，当您访问时，您将被重定向到。

32:临时重定向。例如，当访问需要登录的页面时，此时没有登录，您将被重定向到登录页面。

400:在服务器上找不到请求的网址。换句话说，盾请求ur1错误。

403:服务器拒绝访问，权限不足。

50:服务器内部错误。可能是服务器有bug。

「2022年」崔庆才Python3爬虫教程-代理的使用方法

前面我们介绍了多种请求库，如urllib、requests、Selenium、Playwright等用法，但是没有统一梳理代理的设置方法，本节我们来针对这些库来梳理下代理的设置方法。

在本节开始之前，请先根据上一节了解一下代理的基本原理，了解了基本原理之后我们可以更好地理解和学习本节的内容。

另外我们需要先获取一个可用代理，代理就是IP地址和端口的组合，就是:这样的格式。如果代理需要访问认证，那就还需要额外的用户名密码两个信息。

那怎么获取一个可用代理呢？

使用搜索引擎搜索“代理”关键字，可以看到许多代理服务网站，网站上会有很多免费或付费代理，比如快代理的免费HTTP代理：上面就写了很多免费代理，但是这些免费代理大多数情况下并不一定稳定，所以比较靠谱的方法是购买付费代理。付费代理的各大代理商家都有套餐，数量不用多，稳定可用即可，我们可以自行选购。

另外除了购买付费HTTP代理，我们也可以在本机配置一些代理软件，具体的配置方法可以参考，软件运行之后会在本机创建HTTP或SOCKS代理服务，所以代理地址一般都是127.0.0.1:这样的格式，不同的软件用的端口可能不同。

这里我的本机安装了一部代理软件，它会在本地7890端口上创建HTTP代理服务，即代理为127.0.0.1:7890。另外，该软件还会在7891端口上创建SOCKS代理服务，即代理为127.0.0.1:7891，所以只要设置了这个代理，就可以成功将本机IP切换到代理软件连接的服务器的IP了。

在本章下面的示例里，我使用上述代理来演示其设置方法，你也可以自行替换成自己的可用代理。

设置代理后，测试的网址是，访问该链接我们可以得到请求的相关信息，其中返回结果的origin字段就是客户端的IP，我们可以根据它来判断代理是否设置成功，即是否成功伪装了IP。

好，接下来我们就来看下各个请求库的代理设置方法吧。

首先我们以最基础的urllib为例，来看一下代理的设置方法，代码如下：

运行结果如下：

这里我们需要借助ProxyHandler设置代理，参数是字典类型，键名为协议类型，键值是代理。注意，此处代理前面需要加上协议，即http://或者https://，当请求的链接是HTTP协议的时候，会使用http键名对应的代理，当请求的链接是HTTPS协议的时候，会使用https键名对应的代理。不过这里我们把代理本身设置为了HTTP协议，即前缀统一设置为了http://，所以不论访问HTTP还是HTTPS协议的链接，都会使用我们配置的HTTP协议的代理进行请求。

创建完ProxyHandler对象之后，我们需要利用build_opener方法传入该对象来创建一个Opener，这样就相当于此Opener已经设置好代理了。接下来直接调用Opener对象的open方法，即可访问我们所想要的链接。

运行输出结果是一个JSON，它有一个字段origin，标明了客户端的IP。验证一下，此处的IP确实为代理的IP，并不是真实的IP。这样我们就成功设置好代理，并可以隐藏真实IP了。

如果遇到需要认证的代理，我们可以用如下的方法设置：

这里改变的只是proxy变量，只需要在代理前面加入代理认证的用户名密码即可，其中username就是用户名，password为密码，例如username为foo，密码为bar，那么代理就是foo:bar@127.0.0.1:7890。

如果代理是SOCKS5类型，那么可以用如下方式设置代理：

此处需要一个socks模块，可以通过如下命令安装：

这里需要本地运行一个SOCKS5代理，运行在7891端口，运行成功之后和上文HTTP代理输出结果是一样的：

结果的origin字段同样为代理的IP，代理设置成功。

对于requests来说，代理设置非常简单，我们只需要传入proxies参数即可。

这里以我本机的代理为例，来看下requests的HTTP代理设置，代码如下：

运行结果如下：

和urllib一样，当请求的链接是HTTP协议的时候，会使用http键名对应的代理，当请求的链接是HTTPS协议的时候，会使用https键名对应的代理，不过这里统一使用了HTTP协议的代理。

运行结果中的origin若是代理服务器的IP，则证明代理已经设置成功。

如果代理需要认证，那么在代理的前面加上用户名和密码即可，代理的写法就变成如下所示：

这里只需要将username和password替换即可。

如果需要使用SOCKS代理，则可以使用如下方式来设置：

这里我们需要额外安装一个包requests[socks]，相关命令如下所示：

运行结果是完全相同的：

另外，还有一种设置方式，即使用socks模块，也需要像上文一样安装socks库。这种设置方法如下所示：

使用这种方法也可以设置SOCKS代理，运行结果完全相同。相比第一种方法，此方法是全局设置的。我们可以在不同情况下选用不同的方法。

httpx的用法本身就与requests的使用非常相似，所以其也是通过proxies参数来设置代理的，不过与requests不同的是，proxies参数的键名不能再是http或https，而需要更改为http://或https://，其他的设置是一样的。

对于HTTP代理来说，设置方法如下：

对于需要认证的代理，也是改下proxy的值即可：

这里只需要将username和password替换即可。

运行结果和使用requests是类似的，结果如下：

对于SOCKS代理，我们需要安装httpx-socks库，安装方法如下：

这样会同时安装同步和异步两种模式的支持。

对于同步模式，设置方法如下：

对于异步模式，设置方法如下：

和同步模式不同的是，transport对象我们用的是AsyncProxyTransport而不是SyncProxyTransport，同时需要将Client对象更改为AsyncClient对象，其他的不变，运行结果是一样的。

Selenium同样可以设置代理，这里以Chrome为例来介绍其设置方法。

对于无认证的代理，设置方法如下：

运行结果如下：

代理设置成功，origin同样为代理IP的地址。

如果代理是认证代理，则设置方法相对比较繁琐，具体如下所示：

这里需要在本地创建一个manifest.json配置文件和background.js脚本来设置认证代理。运行代码之后，本地会生成一个proxy_auth_plugin.zip文件来保存当前配置。

运行结果和上例一致，origin同样为代理IP。

SOCKS代理的设置也比较简单，把对应的协议修改为socks5即可，如无密码认证的代理设置方法为：

运行结果是一样的。

对于aiohttp来说，我们可以通过proxy参数直接设置。HTTP代理设置如下：

如果代理有用户名和密码，像requests一样，把proxy修改为如下内容：

这里只需要将username和password替换即可。

对于SOCKS代理，我们需要安装一个支持库aiohttp-socks，其安装命令如下：

我们可以借助于这个库的ProxyConnector来设置SOCKS代理，其代码如下：

运行结果是一样的。

另外，这个库还支持设置SOCKS4、HTTP代理以及对应的代理认证，可以参考其官方介绍。

对于Pyppeteer来说，由于其默认使用的是类似Chrome的Chromium浏览器，因此其设置方法和Selenium的Chrome一样，如HTTP无认证代理设置方法都是通过args来设置的，实现如下：

运行结果如下：

同样可以看到设置成功。

SOCKS代理也一样，只需要将协议修改为socks5即可，代码实现如下：

运行结果也是一样的。

相对Selenium和Pyppeteer来说，Playwright的代理设置更加方便，其预留了一个proxy参数，可以在启动Playwright的时候设置。

对于HTTP代理来说，可以这样设置：

在调用launch方法的时候，我们可以传一个proxy参数，是一个字典。字典有一个必填的字段叫做server，这里我们可以直接填写HTTP代理的地址即可。

运行结果如下：

对于SOCKS代理，设置方法也是完全一样的，我们只需要把server字段的值换成SOCKS代理的地址即可：

运行结果和刚才也是完全一样的。

对于有用户名和密码的代理，Playwright的设置也非常简单，我们只需要在proxy参数额外设置username和password字段即可，假如用户名和密码分别是foo和bar，则设置方法如下：

这样我们就能非常方便地为Playwright实现认证代理的设置。

以上我们就总结了各个请求库的代理使用方式，各种库的设置方法大同小异，学会了这些方法之后，以后如果遇到封IP的问题，我们可以轻松通过加代理的方式来解决。

本节代码：

python中，进行爬虫抓取怎么样能够使用代理IP？

网络数据量越来越大，从网页中获取信息变得越来越困难，如何有效地抓取并利用信息，已成为网络爬虫一个巨大的挑战。下面IPIDEA为大家讲明爬虫代理IP的使用方法。

1.?利用爬虫脚本每天定时爬取代理网站上的ip，写入MongoDB或者其他的数据库中，这张表作为原始表。

2.?使用之前需要做一步测试，就是测试这个ip是否有效，方法就是利用curl访问一个网站查看返回值，需要创建一张新表，循环读取原始表有效则插入，验证之后将其从原始表中删除，验证的同时能够利用响应时间来计算这个ip的质量，和最大使用次数，有一个算法能够参考一种基于连接代理优化管理的多线程网络爬虫处理方法。

3.?把有效的ip写入ip代理池的配置文件，重新加载配置文件。

4.让爬虫程序去指定的dailiy的服务ip和端口，进行爬取。

Python爬虫笔记（二）requests模块get，post，代理

?importrequests

?base_url=''

?response=requests.get(base_url)

????url=请求url，

????headers=请求头字典，

????params=请求参数字典。

????timeout=超时时长，

??)----response对象

?服务器响应包含：状态行（协议，状态码）、响应头，空行，响应正文

??字符串格式：response.text

??bytes类型：response.content

????response.headers['cookie']

??response.text获取到的字符串类型的响应正文，

??其实是通过下面的步骤获取的：

????response.text=response.content.decode(response.encoding)

??产生的原因：编码和解码的编码格式不一致造成的。

????str.encode('编码')---将字符串按指定编码解码成bytes类型

????bytes.decode('编码')---将bytes类型按指定编码编码成字符串。

??a、response.content.decode('页面正确的编码格式')

????metahttp-equiv="content-type"content="text/html;charset=utf-8"

??b、找到正确的编码，设置到response.encoding中

????response.encoding=正确的编码

????response.text---正确的页面内容。

?a、没有请求参数的情况下，只需要确定url和headers字典。

?b、get请求是有请求参数。

??在chrome浏览器中，下面找query_string_params,

??将里面的参数封装到params字典中。

?c、分页主要是查看每页中，请求参数页码字段的变化，

?找到变化规律，用for循环就可以做到分页。

?requests.post(

??url=请求url，

??headers=请求头字典，

??data=请求数据字典

??timeout=超时时长

?)---response对象

?post请求一般返回数据都是json数据。

（1）response.json()---json字符串所对应的python的list或者dict

（2）用json模块。

??json.loads(json_str)----json_data(python的list或者dict)

??json.dumps(json_data)---json_str

?post请求能否成功，关键看**请求参数**。

?如何查找是哪个请求参数在影响数据获取？

?---通过对比，找到变化的参数。

?变化参数如何找到参数的生成方式，就是解决这个ajax请求数据获取的途径。

**寻找的办法**有以下几种：

??（1）写死在页面。

??（2）写在js中。

??（3）请求参数是在之前的一条ajax请求的数据里面提前获取好的。

?代理形象的说，他是网络信息中转站。

?实际上就是在本机和服务器之间架了一座桥。

?a、突破自身ip访问现实，可以访问一些平时访问不到网站。

?b、访问一些单位或者团体的资源。

?c、提高访问速度。代理的服务器主要作用就是中转，

?所以一般代理服务里面都是用内存来进行数据存储的。

?d、隐藏ip。

??FTP代理服务器---21,2121

??HTTP代理服务器---80,8080

??SSL/TLS代理：主要用访问加密网站。端口：443

??telnet代理：主要用telnet远程控制，端口一般为23

??高度匿名代理：数据包会原封不动转化，在服务段看来，就好像一个普通用户在访问，做到完全隐藏ip。

??普通匿名代理：数据包会做一些改动，服务器有可能找到原ip。

??透明代理：不但改动数据，还会告诉服务，是谁访问的。

??间谍代理：指组织或者个人用于记录用户传输数据，然后进行研究，监控等目的的代理。??

?proxies={

??'代理服务器的类型':'代理ip'

?}

?response=requests.get(proxies=proxies)

?代理服务器的类型:http,https,ftp

?代理ip:

结语：以上就是首席CTO笔记为大家整理的关于python爬虫默认代理是多少的相关内容解答汇总了，希望对您有所帮助！如果解决了您的问题欢迎分享给更多关注此问题的朋友喔～