第一个爬虫程序的开发

要点：

1. 先要进行调用urlopen函数
2. 设置网址的变量
3. 内容获取：
   1.直接获只会得到源代码，是html文件
2.若需要以网页的形式进行展示，需要将源代码以html的文件进行保存，并保存到本地，再执行命令

点击查看代码

from idlelib.iomenu import encoding
from urllib.request import urlopen  # 在url这个库里面请求模块里调用一个urlopen这个函数  模拟浏览器url = "http://www.baidu.com"   # 网址resp = urlopen(url) # 获取网页内容# print(resp.read().decode("UTF-8"))  # 打印内容.decode是为了字节解码,需要填写字符集（搜索charset,可以找出字符集），可以拿到页码面源代码with open("mybaidyu.html",mode = "w",encoding = "utf-8") as f:f.write(resp.read().decode("UTF-8")) #将源代码以html文件的形式存放在本地，之后可以打开，注意这是自己的网址，从页面源代码中提取内容到自己的网址