用python爬虫需要用到哪些函数 Python爬虫函数

文章摘要：用python爬虫需要用到哪些函数 Python爬虫函数

python爬虫中常用的函数有以下几种 1.urlopen函数 urlopen()函数是创建一个表示远程url […]

python爬虫中常用的函数有以下几种

1.urlopen函数

urlopen()函数是创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。

urlopen()函数语法：

urllib.urlopen(url[, data[, proxies]])

参数：

url：外部或者本地url。

data：表示以post方式提交到url的数据。

proxies：用于设置代理。

2.urlretrieve函数

urlretrieve()函数的作用是直接将远程数据下载到本地。

urlretrieve()函数语法：

urllib.urlretrieve(url[, filename[, reporthook[, data]]])

参数：

url：外部或者本地url。

filename：指定了保存到本地的路径。

reporthook：是一个回调函数，当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。

data：指post到服务器的数据。

3.request函数

request()函数是用于构造一个请求，可以是getpostput请求等。

request()函数参数：

url：请求URL。

params：请求参数，字典类型，常用于发送 GET 请求时使用。

timeout：超时时间 ，整数类型。

headers：设置请求头。

auth：指定登陆时的账号和密码，元祖类型。

verify:请求网站时是否需要验证，布尔类型。

proxies:设置代理。

cookies：cookies值。