1 篇博文 含有标签「spider」

这篇文章主要讲解 python如何实现简易爬虫

爬虫流程​

打开种子url ----> 获取种子url页面中所有的url ----> 判断是否被爬取过，未爬取过的url添加到url列表中 ----> 解析页面中需要的信息 ----> 写入数据库 编写爬虫前应查看站点服务条款和 robots 规则，并控制请求频率。公开页面可访问不等于可以无限抓取，涉及账号、个人信息或访问控制时必须获得授权。