python有什么爬虫函数 Python爬虫函数

文章摘要：python有什么爬虫函数 Python爬虫函数

python中的爬虫函数有以下几种 1.urlopen()函数 urlopen()函数的作用主要是获取远程数据 […]

python中的爬虫函数有以下几种

1.urlopen()函数

urlopen()函数的作用主要是获取远程数据。

语法：

urllib.urlopen(url[, data[, proxies]])

url：表示远程数据的路径，一般是网址；

data：表示以post方式提交到url的数据；

proxies：用于设置代理；

2.urlretrieve函数

urlretrieve函数的作用是直接将远程数据下载到本地。

语法：

urllib.urlretrieve(url[, filename[, reporthook[, data]]])

注：

url：外部或者本地url；

filename：指定了保存到本地的路径；

reporthook：回调函数，用来显示当前的下载进度；

data：指post到服务器的数据；