怎么新建MySQL数据库

发布时间:2022-06-28 作者:admin
阅读:546
这篇文章主要介绍“Python爬虫中requests模块的导入和使用方法是什么”的相关知识,下面会通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“Python爬虫中requests模块的导入和使用方法是什么”文章能帮助大家解决问题。

一、爬虫的流程

开始学习爬虫,我们必须了解爬虫的流程框架。在我看来爬虫的流程大概就是三步,即不论我们爬取的是什么数据,总是可以把爬虫的流程归纳总结为这三步:

1.指定 url,可以简单的理解为指定要爬取的网址

2.发送请求。requests 模块的请求一般为 get 和 post

3.将爬取的数据存储

二、requests模块的导入

因为 requests 模块属于外部库,所以需要我们自己导入库

导入的步骤:

1.右键Windows图标

2.点击“运行”

3.输入“cmd”打开命令面板

4.输入“pip install requests”,等待下载完成

如图:


如果还是下载失败,我的建议是百度一下,你就知道(我也是边学边写,是在是水平有限)

欧克,既然导入成功后我们就简单的来爬取一下搜狗的首页吧!

三、完整代码

import requests

if __name__ == "__main__":
    # 指定url
    url = "https://www.sougou.com/"

    # 发起请求
    # get方法会返回一个响应数据
    response = requests.get(url)

    # 获取响应数据
    page_txt = response.text # text返回一个字符串的响应数据
    # print(page_txt)

    # 存储
    with open("./sougou.html", "w", encoding = "utf-8") as fp:
        fp.write(page_txt)

    print("爬取数据结束!!!")

我们打开保存的文件,如图

欧克,这就是最基本的爬取,如果学会了,那就试一试爬取 B站 的首页吧。


以上就是关于“Python爬虫中requests模块的导入和使用方法是什么”的介绍了,感谢各位的阅读,希望这篇文章能帮助大家解决问题。如果想要了解更多知识,欢迎关注群英网络,小编每天都会为大家更新不同的知识。

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。

二维码-群英

长按识别二维码并关注微信

更方便到期提醒、手机管理

7*24 全天候服务

售前 400-678-4567

售后 0668-2555666

售后 400 678 4567

信息安全 0668-2555 118

域名空间 3004329145