认识达内从这里开始

认真做教育专心促就业

运城python编程开发爬虫的基础以及应用分析

发布：运城达内教育官网
来源：互联网
时间：2019-12-05 09:48

爬虫是我们在学习python编程开发技术的时候需要重点掌握的一个功能应用，而今天我们就来了解一下爬虫的基础以及应用分析。

运城python编程开发爬虫的基础以及应用分析

1、爬虫的核心

什么是爬虫，讲点通俗易懂的，爬虫就是爬取网页，从中按照一定规则提取信息，重复以上过程自动化重复完成的程序。

2、抓取的数据格式

一般而言，我们抓取到的都是HTML的网页源代码，这个是我们看得到的、常规的、直观的网页信息。

但是有些信息，并不是直接和HTML一起返回至网页的，会存在各种各样的API接口，这种接口返回的数据现在大多数是JSON的格式，也有一些会返回XML的数据格式，还会有一些个别的奇葩的接口直接返回程序猿自定义的字符串。这种API数据接口就需要具体问题具体分析了。

还有一些信息，比如各大图片站、视频站(如抖音、B站)，我们想要爬取的信息是图片或者视频，这些信息是已二进制的形式存在的，我们需要将这些二进制的数据爬取下来再进行转储。

此外，我们还能抓取到一些资源文件，如CSS、JavaScript等脚本资源，有的还会有一些woff等字体信息。这些信息是一个网页组成不可或缺的元素，只要浏览器能访问到的，我们都可以将其爬取下来。

3、网页的组成

我们的数据来源是网页，那么我们在真正抓取数据之前，有必要先了解一下一个网页的组成。

网页是由HTML、CSS、JavaScript组成的。

HTML是用来搭建整个网页的骨架，而CSS是为了让整个页面更好看，包括我们看到的颜色，每个模块的大小、位置等都是由CSS来控制的，JavaScript是用来让整个网页“动起来”，这个动起来有两层意思，一层是网页的数据动态交互，还有一层是真正的动，比如我们都见过一些网页上的动画，一般都是由JavaScript配合CSS来完成的。

4、为什么使用爬虫

平时我们在上网的时候，看到一些感兴趣的网络资源，可以使用复制黏贴的方式将这些资源下载回来，比如看知乎的时候，一些回答很精彩的高赞回答，数据量小的时候，我们动动鼠标右键也就搞定了，但是如果这种数据量非常大，有时候可以大到超出你的想像，再用鼠标右键复制黏贴就有些捉襟见肘了。

这时，我们就需要勤劳的爬虫出马了，爬虫这种“生物”，可以全天候24小时候不间断工作，只需提供必要的网络和电力，就可以一直勤劳的工作下去，让你解放双手，再也无需人工使用CV大法了。

可以看出，爬虫非常适合帮我们做两类事情：

大量数据的提取，在一定规则条件下。

完全自动化，无需人工过多干预。

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。

< 上一篇：云计算应用过程中会遇到的问题以及解决方法

下一篇：数据库的架构方式都有哪些类型 >