Python小白想爬取网络数据，该怎么办？

Python小白想爬取网络数据？

python是一种很老的语言，以前一直不是很火，但是最近几年，由于全世界都在讨论大数据，人工智能，导致python也火起来了。

python因为是老语言，所以很多框架都很成熟，社区支持也很友好！

那么话说回来，使用python怎么进行网络爬虫，究竟需要什么知识呢？

1、网页的基础知识

假如你想抓包拿数据，那就另外说。

要想爬取网页数据，肯定需要网页的基础知识，知道网页的构建语法，所以要了解html，css，js的这些基础知识。

2、python基础知识

还要必须知道python的语法知识，这样才能写代码呀！

3、python爬虫框架的使用

主流的scrapy的使用，毕竟爬虫肯定不是单线程爬去，被人开源的框架已经非常强大了

例如一些教学网站就推出一些教程

小生自己，当初学习后，去网上爬了很多好东西！学了一会，爬了半个钟，大概十万条记录，存在我电脑的数据库后，每次用sql就可以查询了，不用上网查种子了

学下去就知道自己缺什么，再去补回来，哪里不会学哪里！加油！

用爬虫爬一些平台的数据是怎么爬？

将页面用字符的形式分析（正则表达式取出）所有的url存入特点数据结构（如链表），然后分别下载链表中的url指示的页面。再分析，再下载，不断循环。那么下载的页面，就是网上的网页。按一定的算法索引起来，就是你的数据了。按url转跳的顺序可以分为深度和广度优先。这是最简单的一个爬虫。只要防止无限的循环，（就是一个页面的url中全部都指向自身，那么爬虫就不断下载一个页面了）网上的数据最终都可以下载下来。爬虫就是这个思想。但真正的爬虫都是有智能的取舍算法，多只爬虫并行采集的复杂系统。