










初中信息技术川教版(2019)九年级上册第1节 爬取网络信息优秀课件ppt
展开新学期,欢欢的老师向欢欢推荐了很多的课外阅读书目,但是欢欢在浏览器上直接搜索得出的信息过于的杂乱繁多,欢欢只好向老师求助。
我有一个好办法。可以先用搜索引擎找到一个书目介绍网页,再用Pythn编写一个小程序,快速从这个网页上获取书籍的各种信息。
Pythn太强大了,可是我们应该怎么做呢?
接下来,我们就一步步的来完成这个任务。我们先来分析一下这个任务,并梳理出实现的方法
老师,搜索出来的网站好丰富。
网上类似的网站很多,我给你推荐一个网页“好书推荐”。网址是Ttpcalh /hashu bhm".你可以用程序把这个网页的信息获取下来,对信息进行筛选和整理,并且保存下来。还可以进行简单的处理,最后得到你想要的信息。
嗯。我明白了!我们要做一个表格来存储书籍的各种信息
接下来,分析任务要达到的目标
我们按照以下流程进行: 1、搜索满足需求的网站; 2、编写程序从网页获取信息; 3、筛选出所需信息 4、将信息转化成表格的格式; 5、保存信息; 6、使用/分析信息。
以上流程又可以进一步概括为获取信息、处理信息、保存信息、使用/分析信息等步骤
用Pythn编写爬虫软件
根据刚才的任务分析图,我们需要一些相关知识的辅助才能更好的完成任务如下表所示:
表中的知识与方法是我们编写好爬虫程序的基础,表中列举的requests模块、BeautifulSup模块请提前安装。只要掌握了这些知识,就可以编写出符合我们需求的爬虫程序。
Requests模块是一个用于网络请求的模块,主要用来模拟浏览器发请求。类似的模块有很多,但是与requests模块相比较复杂得多。
BeautifulSup模块
Beautiful Sup 是一个可以从HTML或XML文件中提取数据的Pythn库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。
三、Pythn爬虫访问网页
编写程序,让程序访问网络并获取我们需要的信息,这样的程序我们叫它“网络爬虫”。接下来我们就进行编写网络爬虫具体的操作。
首先,从浏览器中打开“好书推荐”的网页,网页出现了很多的搜索结果,包括每本书的书籍名、内容简介、好评数、作者、价格等信息。如下图:
而后, 在页面上点击右键,选择“查看页面源代码”,这些源代码就是一些纯文本。有如...,...,...,
接着使用requests模块的ger函数,可获取以上页面的源代码。
获取“好书推荐”页面信息并显示的完整代码如下:imprt requests #引入Pythn中的网络访问库requestsres=requests.get( httplcalhst/hashu.html’) #使用requests模块的get函数访问网址res.encding='UTF-8 ’ #将获取到的内容,编码为UTF-8resTxt=res.text #页面源代码转码之后的内容赋值给resTxtprint(resTxt)
之后,将上一个步骤的代码保存文件“我的课外读物.py”,然后执行,可获得执行结果如下:
通过以上的操作获取到网页的源代码。但是我们不需要全部的内容,只需要书籍名称及它的好评数和价格、作者、内容简介等信息。
接下来,我们仔细观察源代码,发现书籍名称代码中有一些相同的代码:
最后,根据代码特征,就可以从全部源代码中提取我们需要的信息。这需要对txt文件中的“字符串”进行操作。在之前的学习中,我们了解过input函数获取到的数据默认是字符串类型,前面获取的页面源代码“resTxt”也是一个字符串。接下来我们来进一步的了解字符串。
字符串:在Pythn中,字符串通常都放在单引号或者双引号之中,如果字符串较长,甚至有分段,我们还可以使用三个单引号或者三个双引号,来将这种长字符串“包括”在其中。
请大家运行以下代码,观察运行结果,总结定义字符串的方式。
stra='我是字符串a'strb="我是字符串b"print(stra)print(strb)stre="Let' s g!"strd=""欢欢说:"Let' s g!""stre=""乐乐说:Let's g!""print(strc)print(strd)print(stre)
从上面代码中,可以看出,定义字符串有四种不同的方式,请填写在下表中:
拓展:请大家说一说什么是网络爬虫和它的作用
网络爬虫,又被称为网页蜘妹、网络机器人等。它的本质是一种按照一定的规则,自动爬取网络信息的程序成脚本。网络爬出帮助搜索引擎从互联网上读取网页,是搜索引擎最重要也是最基础的组成部分。
网络爬虫能快速、高效地帮助我们获取到有用的信息,特别是当我们需要从网络上大规模的获取某类信息时,网络爬虫将会使我们的工,事半功倍。所以,理解网络爬出的基本原理,甚至能够自己编写爬虫。是我们生活在信息时代应该具备的技能。
一、明确任务二、实现方法
信息技术第2节 安装家庭云公开课ppt课件: 这是一份信息技术<a href="/xx/tb_c4024171_t3/?tag_id=26" target="_blank">第2节 安装家庭云公开课ppt课件</a>,文件包含新课标川教版2019信息技术九上12《安装家庭云》课件pptx、新课标川教版2019信息技术九上12《安装家庭云》教案docx等2份课件配套教学资源,其中PPT共50页, 欢迎下载使用。
初中信息技术川教版(2019)九年级上册第1节 认识家庭云精品课件ppt: 这是一份初中信息技术川教版(2019)九年级上册<a href="/xx/tb_c4024170_t3/?tag_id=26" target="_blank">第1节 认识家庭云精品课件ppt</a>,文件包含新课标川教版2019信息技术九上11《认识家庭云》课件pptx、新课标川教版2019信息技术九上11《认识家庭云》教案docx、四种常用方法建立家用NAS网络存储mp4、家庭云介绍视频mp4、海尔云生活mp4等5份课件配套教学资源,其中PPT共30页, 欢迎下载使用。
初中第2小节 网络信息的获取与使用一等奖课件ppt: 这是一份初中第2小节 网络信息的获取与使用一等奖课件ppt,文件包含2022年川教版2019信息技术七年级下册第一单元第2节网络信息的获取与使用课件第1课时共14页pptx、2022年川教版2019信息技术七年级下册第一单元第2节网络信息的获取与使用教案第1课时共1课时docx、2022年川教版2019信息技术七年级下册第一单元第2节网络信息的获取与使用练习习题docx、2022年川教版2019信息技术七年级下册第一单元第2节网络信息的获取与使用练习答案docx等4份课件配套教学资源,其中PPT共14页, 欢迎下载使用。