自建站是属于什么模式,实训网站开发目的,崇文手机网站建设,利用模板如何制作网站HTTP响应状态码响应状态码
下面来看下详细的状态码数值和说明#xff1a;
200系列#xff1a; 200 OK#xff1a;这个是最常见的#xff0c;也是爬虫工程师最喜欢的#xff0c;代表你本次的请求顺利拿到了响应#xff0c;没有任何问题 201 Created#xff1a;201代表…HTTP响应状态码响应状态码
下面来看下详细的状态码数值和说明
200系列 200 OK这个是最常见的也是爬虫工程师最喜欢的代表你本次的请求顺利拿到了响应没有任何问题 201 Created201代表创建成功。通常是指浏览器或爬虫给服务器上传数据服务器接受并验证数据没有问题之后服务器返回客户端一个201代表成功。提交数据通常是POST方法提交 202 Accepted服务器拿到了数据但是还没处理好结果所以先发回一个202.这个状态码一般在爬虫中看不到但是适合在异步操作的情况下返回。
300系列 301 Moved Permanently当前资源的网址永久性迁移并且会给你一个新的网址。值得注意的是如果是POST请求拿到301则下一次请求自动变成GET。 301 Moved Permanently当前资源的网址永久性迁移并且会给你一个新的网址。值得注意的是如果是POST请求拿到301则下一次请求自动变成GET。 301 Moved Permanently当前资源的网址永久性迁移并且会给你一个新的网址。值得注意的是如果是POST请求拿到301则下一次请求自动变成GET。
400系列 400 Bad Request错误请求400系列最典型的看到这个错误要么是请求头参数不对要么是请求主体的内容错误。 401 Unauthorized401认证错误这个还是非常好识别的身份无法识别或者身份权限不够检查请求头中的身份字段信息和Cookie值。 403 Forbidden禁止访问大并发爬虫中比较容易碰到问题很直观你访问太多了【换IP或电脑】或者身份权限不够【换身份信息】。 404 Not Found404找不到这个错误不用太在意用浏览器测试几次就好要么是你的网址写错了要么是网址对应的网络资源无法加载【这不怪程序】。 405 Method Not Allowed405方法不被允许简单且少见的错误意思就是你请求的姿势不对检查请求方法如Get、Post、Put、Delete总有一个是对的。
500系列 500 Internal Server Error网络错误就和你断网了一样具体点就是你的网络和网址所在网络无法连通。 502 Bad Gateway网关错误请求出去要被网关解析目的地址并转发你的请求这个错误就是网关不工作了无法把你的请求发出去。这里的网关可以理解成你的路由器或者你用的代理IP服务器。 503 Service Unavailable服务不可用这个就是目标服务器的问题了你要做的是通知网站管理员或者等。一般情况下国家网站部分有休息时间例如晚上关网。商业服务器的服务不可用大多是升级或者临时卡了可以过段时间再试。 504 Gateway Timeout网关超时这个504和502都是网关的问题但是又不一样。504是你找网关转发你默认等待180秒【3分钟】然后网关超时了没理你502的问题是你压根就找不 到网关。 505 HTTP Version Not SupportedHTTP版本不支持这个比较少见但是肯定有。网站内容太新或者太旧对客户端的http版本要求不一样。你需要检查下本次请求所使用的http版本然后改 成网站指定版本就可以解决这个问题。
爬虫解决HTTPS认证的解决问题认证的解决问题
解决方法 验证错误那就不验证 更新系统的证书库 更新pip库pyopenssl和cryptography
解决思路 优先使用不认证简单暴力还有效 运行或者部署爬虫时记得同步pyopenssl和cryptography 操作系统越新约不容易碰到 爬虫请求不进行不验证
请求不验证操作
requests.get(中国铁路12306网站,verifyFalse) 优势在客户端与服务端建立连接的情况下不会出现什么问题数据会照常传输。 缺点可能被盗。
更新系统的证书库
更新系统证书库 更新pip库
更新pip库 总结 优先使用不认证简单暴力还有效 运行或部署爬虫时记得同步pyopenssl和cryptography 操作系统越新越不容易碰到SSL错误
