Python爬虫优雅地自动启用代理

之前有提到过如何使用 Python + Clash，爬取外网数据，然而这样写并不够优雅：

1. 代理的IP地址以及端口号是固定的、写死的
2. 含有urllib3.disable_warnings()这样不优雅的代码

GetProxies

urllib.request中的getproxies可以轻松的获取系统Web代理信息。当未开启代理时，返回空字典，开启代理时，返回如下的字典

{
    'http': 'http://127.0.0.1:7890',
 	'https': 'https://127.0.0.1:7890',
 	'ftp': 'ftp://127.0.0.1:7890'
}

HTTPX

使用httpx则不用设置urllib3.disable_warnings()、verify=False

from urllib.request import getproxies
import httpx


response = httpx.get(
	"https://www.google.com/",
    proxy=getproxies().get("http")
)

也可以使用Client，和requests的session基本一致

from urllib.request import getproxies
import httpx


client = httpx.Client(
    proxy=getproxies().get("http")
)

response = client.get("https://www.google.com/")