做网站练手项目,网站要怎么备案,餐饮 公司 网站建设,做网站首页图片学习资料#xff1a;尚硅谷_爬虫
学习环境: pycharm
一.爬虫基本概念 爬虫定义 解释1#xff1a;通过程序#xff0c;根据URL进行爬取网页#xff0c;获取有用信息 解释2#xff1a;使用程序模拟浏览器#xff0c;向服务器发送请求#xff0c;获取相应信息…学习资料尚硅谷_爬虫
学习环境: pycharm
一.爬虫基本概念 爬虫定义 解释1通过程序根据URL进行爬取网页获取有用信息 解释2使用程序模拟浏览器向服务器发送请求获取相应信息 爬虫核心 1.爬取整个网页 2.解析数据,获取关心的数据 3.难点爬虫VS非爬虫 爬虫设计思路 1.确定爬取的url 2.模拟浏览器通过http协议访问url获取服务器返回的html代码 3.解析html代码 二、urllib库基础
1.任务一下载想要的网页、图片、视频、音频 1确定下载文件的url 2urllib.request.urlretrieve(url,文件名) 注意文件的格式(网页html图片jpg、png...视频mp4...音频mp3...) import urllib.request#下载网页
url_pagehttp://www.baidu.com
#url:下载路径filename:文件名字
#在python中 可以变量的名字 也可以直接写值
urllib.request.urlretrieve(url_page,baidu.html)#下载图片
url_imghttps://img2.baidu.com/it/u1239151102,985906506fm253fmtautoapp120fJPEG?w500h756urllib.request.urlretrieve(url_img,SunNan.jpg)#下载视频
url_videohttps://vdept3.bdstatic.com/mda-qfki2ugsvapzwmi5/360p/h264/1718974059553088160/mda-qfki2ugsvapzwmi5.mp4?v_from_shkapp-haokan-hbeauth_key1718992706-0-0-ec02705d0acdbcc898d46a43306803c0bcevod_channelsearchbox_feedpd1cr0cd0pt3logid3506132986vid18030693424817568764klogid3506132986abtest101830_1-102148_2-17451_1urllib.request.urlretrieve(url_video,Kind Of Sadness By Sun Nan.mp4)#下载音频
url_audiohttps://ws6.stream.qqmusic.qq.com/C4000044M6Un0RXph2.m4a?guid3844259990vkeyFE194254F48E7427320B0F215EDE6F31C0FE911757B199D0332896D1D5E837402D5BFFD5FADE06533C81288B334789E9411E173F9FED349Fuin2131640053fromtag120032urllib.request.urlretrieve(url_audio,Maple.mp3)
2.任务二获取百度首页(http协议)的源码 (1)确定url“http://www.baidu.com” (2)模拟浏览器向服务器发送请求 responseurllib.request.urlopen(url) HTTPResponse (3)获取页面源码 contentresponse.read().decode(UTF-8) 解码二进制-字符串 #使用urllib来获取百度首页的源码
#一个类型 response:HTTPResponse
#六个方法 read、readline、readlines、getcode、geturl、getheaders
import urllib.request#(1)定义url 就是要访问的地址
urlhttp://www.baidu.com#(2)模拟浏览器向服务器发送请求 response 是 HTTPResponse的类型
responseurllib.request.urlopen(url)#(3)获取相应中页面源码 content 内容
#read方法 返回的是字节形式的二进制数据 需要转化为字符串
#二进制-字符串 解码 decode(编码的格式)
#read() 按照一个一个字节的去读
#read(n) 返回n个字节
#readline() 读取一行
#readlines() 一行一行读
#response.getcode() 返回状态码 如果是200了 证明逻辑没有错
#response.geturl() 返回url地址
#response.getheaders() 获取状态信息
contentresponse.read().decode(UTF-8)#(4) 打印数据
print(content)
3.任务三获取百度首页(https协议)的源码(请求对象的定制) url的组成 例如 #https://www.baidu.com/sf/vsearch?pdvideotnvsearch #url的组成 #http/https www.baidu.com 80/443 sf/vsearch pdxxx... # #协议 主机 端口号 路径 参数 锚点 #协议默认端口号http 80 https 443 mysql 3306 oracle 1521 mongodb 27017 redis 6379 UA介绍User Agent中文名为用户代理简称UA它是一个特殊字符串头是的服务器识别客户是用的操作系统及 #版本、CPU类型、浏览器及版本等等例如Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36 #UA反爬网站通过检查请求中的User-Agent字段来判断请求是否来自正常的浏览器。如果一个请求的User-Agent字段看起来像是一个爬虫程序例如没有包含常见的浏览器信息或者包含明显的爬虫标识 # 网站可能会拒绝响应这个请求或者返回错误信息、验证码等以此来阻止爬虫的访问。 遇到UA反爬解决策略请求对象的定制 1确定url 2将UA字段以字典形式保存在headers中 [网页右键检查-network-刷新网页点击name栏第一行-在headers中的request Headers中查看UA] headers{User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 SLBrowser/9.0.3.5211 SLBChan/111} 3定制请求对象 requesturllib.request.Request(urlurl,headersheaders) 4模拟浏览器向服务器发送请求 responseurllib.request.urlopen(request) (5)获取数据 contentresponse.read().decode(utf-8) import urllib.requesturlhttps://www.baidu.com #这里使用https协议按之前的方法爬取得到的只是有限数据因为遇到了UA反爬#headers以字典形式保存UA字段
headers{User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 SLBrowser/9.0.3.5211 SLBChan/111}#因为urlopen中不能存储字典headers不能传递进去
#urlopenOpen the URL url, which can be either a string or a Request object.
#因为参数顺序问题需要关键字传参
#用url和UA创建Request对象
requesturllib.request.Request(urlurl,headersheaders)responseurllib.request.urlopen(request)contentresponse.read().decode(UTF-8)print(content)
4.任务四获取百度周杰伦界面的源码掌握urllib.parse.quote/urlencode使用 GET和POST是HTTP协议中两种常用的请求方法它们在数据传输和使用场景上有一些区别 GET数据通过URL的查询字符串query string发送即附加在URL后面以?开始参数之间用分隔。例如上面的百度首页案例均是get请求 POST数据通过请求体request body发送不直接显示在URL中。例如百度翻译首页 可以看到对于post请求类型参数被放在请求体payload中在form Data中可以看到各个参数 确定url: https://www.baidu.com/s?wd周杰伦 请求方式get请求 编码将url中参数周杰伦转化为url编码使用urllib.parse.quote(name)quote针对一个参数的转化 #https://www.baidu.com/s?wd%E5%91%A8%E6%9D%B0%E4%BC%A6 wd后面的是周杰伦的url编码#我的需求:获取 https://www.baidu.com/s?wd周杰伦的网页源码import urllib.request
import urllib.parseheaders{User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 SLBrowser/9.0.3.5211 SLBChan/111}urlhttps://www.baidu.com/s?wd#将周杰伦三个字变成url编码的格式,否则引发UnicodeEncodeError: ascii codec cant encode characters
#需要 urllib.parse.quote()
nameurllib.parse.quote(周杰伦)
# print(name) %E5%91%A8%E6%9D%B0%E4%BC%A6
urlurlnamerequesturllib.request.Request(urlurl,headersheaders)responseurllib.request.urlopen(request)contentresponse.read().decode(UTF-8)print(content)当额外增加几个参数时如何编解码这时候使用parse中的urlencode方法将参数及其值表示为字典形式作为urlencode的参数周杰伦_百度搜索http://www.baidu.com/s?wd%E5%91%A8%E6%9D%B0%E4%BC%A6sex%E7%94%B7location%E4%B8%AD%E5%9B%BD%E5%8F%B0%E6%B9%BE%E7%9C%81 #urlencode应用场景多个参数的时候#http://www.baidu.com/s?wd周杰伦sex男location中国台湾省
#urllib.parse.urlencode(dict) 把字典中键值对拼接并转化为url码
import urllib.parse
import urllib.request#获取https://www.baidu.com/s?wd%E5%91%A8%E6%9D%B0%E4%BC%A6sex%E7%94%B7location%E4%B8%AD%E5%9B%BD%E5%8F%B0%E6%B9%BE%E7%9C%81base_urlhttps://www.baidu.com/s?data{wd:周杰伦,sex:男,location:中国台湾省
}new_dataurllib.parse.urlencode(data)urlbase_urlnew_dataheaders{User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 SLBrowser/9.0.3.5211 SLBChan/111}requesturllib.request.Request(urlurl,headersheaders)responseurllib.request.urlopen(request)contentresponse.read().decode(UTF-8)print(content) 5.任务五获取百度翻译中输入spider翻译的信息post请求 post请求要点与前面的get请求的区别 ①url中不包含参数信息 ②post请求的参数必须进行被编码为二进制形式 dataurllib.parse.urlencode(data).encode(UTF-8) ③定制请求参数时除了传入url、headers还需传入data import urllib.request
import urllib.parse
#在百度翻译中以英文输入法模式下输入spider在network-Name栏中找到最后一个sug在payload中显示
#kwspider,点击preview可以看到翻译信息这就是我们这次任务中想要获取的数据
urlhttps://fanyi.baidu.com/sugheaders{User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 SLBrowser/9.0.3.5211 SLBChan/111}data{kw:spider
}#post请求的参数 必须要进行编码
# #TypeError: POST data should be bytes
dataurllib.parse.urlencode(data).encode(utf-8)#post的请求的参数是不会拼接在url后面的 而是放在请求对象定制的参数中
#post的请求参数
requesturllib.request.Request(urlurl,datadata,headersheaders)responseurllib.request.urlopen(request)contentresponse.read().decode(utf-8)
#content是字符串形式将其转化为json形式后查看
import json
objectjson.loads(content)
print(object)
#{errno: 0, data: [{k: spider, v: n. 蜘蛛; 星形轮十字叉; 带柄三脚平底锅; 三脚架}, {k: Spider, v: [电影]蜘蛛}, {k: SPIDER, v: abbr. SEMATECH process induced damage effect revea}, {k: spiders, v: n. 蜘蛛( spider的名词复数 )}, {k: spidery, v: adj. 像蜘蛛腿一般细长的; 象蜘蛛网的十分精致的}], logid: 669976824} JSONJavaScript Object Notation是一种轻量级的数据交换格式易于人阅读和编写同时也易于机器解析和生成。它基于JavaScript编程语言的一个子集但已经成为一种独立于语言的数据格式广泛用于网络数据传输。 JSON数据结构以键值对的形式存在类似于编程语言中的字典或哈希表。它支持两种结构对象和数组。 JSON的设计目标是易于理解同时也便于机器处理。它广泛用于Web服务中作为客户端和服务器之间数据交换的格式。由于JSON的简洁性和通用性它也被许多编程语言支持如JavaScript、Python、Java、C#等这些语言都有内置的或第三方库来解析和生成JSON数据。 6.任务六获取百度翻译中输入love的详细翻译(面对cookie反爬) 同样是post请求首先从网页中sug中复制相关的多个参数可以让AI帮忙转化为字典形式使用urlencode转化为url编码拼接后进行二进制编码得到data。然后同之前的步骤处理运行后报错。 解决策略将包括UA内的所有的headers信息都复制到程序中成功解决问题得到love的想详细翻译。那么这么多参数哪一个是核心的呢逐一排除后发现只有Cookie是必须的 import urllib.request
import urllib.parseurlhttps://fanyi.baidu.com/v2transapi?fromentozh#UA-完整请求头-cookie
headers{#Accept: */*,#Accept-Encoding: gzip, deflate, br, 不接受“utf-8”编码必须注释掉#Accept-Language: zh-CN,zh;q0.9,#Acs-Token: 1718971209892_1719022928933_8nzwX5twPOKQPPQ3Gs5LZGYbAri59V00Ta4ke2H7AvNlBKzPK6FHgYroNKt9mYJcsG01nwmwi39IozLVmaEF0pdbMC0UEXUrB0O8hB6lTNcvgd5HWEdhaRREE16dqgb/x2yDM2yiqufJp0xOZ18PhxWK6vHB1c67WwejkTJax3ZJ/2JgVvW/O6NbTYXh94IrKqykNcvhTx2IOKaNdbGgsKMaUMN2NCOPPxFFtCFLbHTdTuPH6qls2nSqOxD95oUOkUkwP5EWPO6Z97YwL37cvQ9CSKNl3rUlOwX3QyyylvZd3ivr1XyzX5VzCkD5Y/JV0QTGm/x0ApxGltv6/0Z39TKvJ8Qdi31qwcMmPdaD4PcLGYfbjGFhwQfSFTq2f1pwJwgVevqFijvhOCdO0YfoFQi8fNrOJYMM8f5YJ7j7b72H7UdpQ7FygCvCkgsMP22O6tIpeMQyeoR/rFuiH/j/VI2q0aJss/mCpEGdDYR33bfW17uco7EKH6dPsASzMjy9JznU6X0WPB6ft7EtsHTM4xWWTMN/JyDwmkhk,#Connection: keep-alive,#Content-Length: 152,#Content-Type: application/x-www-form-urlencoded; charsetUTF-8,Cookie: PSTM1706692650; BIDUPSID9EC23CDD0A68506C733194BAC20084DC; REALTIME_TRANS_SWITCH1; FANYI_WORD_SWITCH1; HISTORY_SWITCH1; SOUND_SPD_SWITCH1; SOUND_PREFER_SWITCH1; BAIDUID038EB8BBA6B3B98D0F3CD34454C2B3D0:SL0:NR10:FG1; APPGUIDE_10_7_21; smallFlowVersionold; BDUSSZuSE54fmRta2JxcDJqaHNDZTl1dWt4alVTTkZZekNyMVNDb0JWazVQTGxYb2xtSVFBQUFBJCQAAAAAAAAAAAEAAADgYXqpxKfBpsH6zf4AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAOXRYWbl0WFmM0; BDUSS_BFESSZuSE54fmRta2JxcDJqaHNDZTl1dWt4alVTTkZZekNyMVNDb0JWazVQTGxYb2xtSVFBQUFBJCQAAAAAAAAAAAEAAADgYXqpxKfBpsH6zf4AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAOXRYWbl0WFmM0; APPGUIDE_10_7_61; MCITY-%3A; H_PS_PSSID60325_60338_60346_60375; H_WISE_SIDS60325_60338_60346_60375; BDORZB490B5EBF6F3CD402E515D22BCDA1598; H_WISE_SIDS_BFESS60325_60338_60346_60375; delPer0; PSINO1; BAIDUID_BFESS038EB8BBA6B3B98D0F3CD34454C2B3D0:SL0:NR10:FG1; Hm_lvt_64ecd82404c51e03dc91cb9e8c0255741716720771,1716993063,1718525943,1719019024; APPGUIDE_10_7_11; BA_HECTOR208ka025052lag0504a001ah1rpknh1j7ca2b1u; ZFYqJR93VzT2VCx9I9zcuFIZz:A2i9qHFnc7vfUK5FlgszQ:C; ZD_ENTRYbaidu; __bid_n19039d5e2da491256372a5; Hm_lpvt_64ecd82404c51e03dc91cb9e8c0255741719022909; ab_sr1.0.1_MGU3OTVlZDgwMzZlYjQxZTc4YTRkMTE1NmZhM2U5NWI0YTgzMjMyMWEyMDFkMTQyZjY4YTg4Y2IxM2NhOTEwYjYzMGI3ZDgzYmQ1YmYxYWJhMzkyODk2YmQ4OTJmZWEzNjI1MTE3YWMxNzgzNDRiMjA2MzY3MWRjMjI1YmVlYzEwYjQ2M2YwN2NhNGU3MDViZWZmMzYyY2Y0NDBkZTBhODNkMGVlZTJmZTFiNzQ1MTIwY2JmMjY0ODM1ZDA5NDk0,#Host: fanyi.baidu.com,#Origin: https://fanyi.baidu.com,#Referer: https://fanyi.baidu.com/?aldtype16047ext_channelAldtype,#sec-ch-ua: \Chromium\;v\9\, \Not?A_Brand\;v\8\,#sec-ch-ua-mobile: ?0,#sec-ch-ua-platform: \Windows\,#Sec-Fetch-Dest: empty,#Sec-Fetch-Mode: cors,#Sec-Fetch-Site: same-origin,#User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 SLBrowser/9.0.3.5211 SLBChan/111,#X-Requested-With: XMLHttpRequest
}data{from: en,to: zh,query: love,transtype: realtime,simple_means_flag: 3,sign: 198772.518981,token: b7b40b128d3f17ed7eb0890423d7df9e,domain: common,ts: 1719022928902
}#post请求 参数必须进行编码
dataurllib.parse.urlencode(data).encode(UTF-8)#请求对象定制
requesturllib.request.Request(urlurl,datadata,headersheaders)#模拟浏览器向服务器发送请求
responseurllib.request.urlopen(request)#获取响应数据
contentresponse.read().decode(utf-8)import json
objjson.loads(content)
print(obj)
7.任务七获取豆瓣电影第一页的数据(ajax中的get请求) 前端中的AJAXAsynchronous JavaScript and XML是一种在无需重新加载整个页面的情况下能够更新部分网页的技术。它通过在后台与服务器进行少量数据交换使得网页可以异步地更新内容从而提供更流畅的用户体验。 用这个例子熟悉get请求时的步骤 1确定url (2)确定UA 3定制请求对象 4模拟浏览器向服务器发出请求 5获得数据并解码为字符串形式 这里最后利用文件操作的知识把数据保存在douban.jason中 import urllib.request
import urllib.parseurlhttps://movie.douban.com/j/chart/top_list?type5interval_id100%3A90actionstart0limit20headers{User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 SLBrowser/9.0.3.5211 SLBChan/111}requesturllib.request.Request(urlurl,headersheaders)responseurllib.request.urlopen(request)contentresponse.read().decode(utf-8)#数据下载到本地,写入jason类型文件
#open方法默认情况下使用的是gbk的编码想要保存汉字需要在open方法中指定编码格式为utf-8encodingutf-8
# fpopen(douban.jason,w,encodingutf-8)
# fp.write(content)
with open(double1.jason,w,encodingutf-8) as fp:fp.write(content)
8.任务八获取豆瓣电影前十页的数据(ajax中的get请求) 在任务七的基础上任务升级。首先通过向下移动界面记录不同page对应的url寻找规律。 很容易发现不同点在于参数中start的值并且有规律start20(page-1) 对每一页我们的核心步骤是 1定制请求对象封装函数create_request要点是通过字符串拼接得到不同page对应的url使用urlencode方法将start和limit组合 2获取响应的数据封装函数get_content; 3下载数据,封装函数down_load. import urllib.request
import urllib.parse#找前十页url规律
# page1:https://movie.douban.com/j/chart/top_list?type5interval_id100%3A90actionstart0limit20
# page2:https://movie.douban.com/j/chart/top_list?type5interval_id100%3A90actionstart20limit20
# page3:https://movie.douban.com/j/chart/top_list?type5interval_id100%3A90actionstart30limit20
#pagen-start20(page-1)#下载豆瓣电影前十页的数据
#1请求对象的定制
#2获取响应的数据
#3下载数据def create_request(page):base_urlhttps://movie.douban.com/j/chart/top_list?type5interval_id100%3A90actiondata{start:20*(page-1),limit:20}urlbase_urlurllib.parse.urlencode(data)headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 SLBrowser/9.0.3.5211 SLBChan/111}requesturllib.request.Request(urlurl,headersheaders)return requestdef get_content(request):response urllib.request.urlopen(request)content response.read().decode(UTF-8)return contentdef down_load(page,content):with open(doubanstr(page).json,w, encodingutf-8) as fp:fp.write(content)#程序的入口
if __name____main__:start_pageint(input(请输入起始的页码:))end_pageint(input(请输入结束的页码:))for page in range(start_page,end_page1):
#每一页都有自己请求对象的定制requestcreate_request(page)
#每一页获取响应的数据contentget_content(request)
#下载每一页数据down_load(page,content)
9.任务九获取KFC官网广州餐厅十页信息 import urllib.request
import urllib.parse#1页
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?opcname
#cname: 广州
#pid:
#pageIndex: 1
# pageSize: 10#2页
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?opcname
#cname: 广州
#pid:
#pageIndex: 2
# pageSize: 10urlhttp://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?opcnameheaders {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 SLBrowser/9.0.3.5211 SLBChan/111
}def create_request(page):data{cname:广州,pid:,pageIndex:page,pagesize:10}dataurllib.parse.urlencode(data).encode(UTF-8)requesturllib.request.Request(urlurl,datadata,headersheaders)return requestdef get_content(request):responseurllib.request.urlopen(request)contentresponse.read().decode(utf-8)return contentdef down_load(page,content):with open(KFCstr(page).json,w,encodingUTF-8) as fp:fp.write(content)if __name____main__:start_pageint(input(输入起始的页码:))end_page int(input(输入最后的页码:))for page in range(start_page,end_page1):requestcreate_request(page)contentget_content(request)down_load(page,content) 累了o(╥﹏╥)o这个任务的要点是进一步熟练掌握post请求的处理方法然后同任务八面对多页面时先找页之间的url规律然后使用循环、函数、文件等基础知识下载所需的数据。 10.异常处理 简介:1.HTTPError类是URLError类的子类 2.导入的包urllib.error.HTTPError urllib.error.URLErron 3.http错误:http错误是针对浏览器无法连接到服务器而增加出来的错误提示。引导并告诉浏览者该页是哪里出了问题。 4.通过ur11ib发送请求的时候有可能会发送失败这个时候如果想让你的代码更加的健壮可以通过try-except进行捕获异常异常有两类URLError\HTTPError **HTTPError** HTTPError是一个特定于HTTP协议的异常它是URLError的子类。当使用urllib库发送HTTP请求时如果服务器返回了一个HTTP错误状态码如404 Not Found、500 Internal Server Error等就会抛出HTTPError。这个异常包含了HTTP响应的详细信息如状态码、原因短语和响应头。 **URLError** URLError表示更一般的网络错误它通常发生在网络请求无法完成的情况下比如网络不可达、DNS解析失败、服务器不存在等。URLError通常由urlopen函数抛出当它无法建立到服务器的连接时。
