目录

Python 注释
Python 简介

Python 爬虫



Python 爬虫

搞懂Python 爬虫抓取、分析、存储三要素和具体操作

何谓爬虫？

所谓爬虫，就是按照一定的规则，自动的从网络中抓取信息的程序或者脚本。万维网就像一个巨大的蜘蛛网，我们的爬虫就是上面的一个蜘蛛，不断的去抓取我们需要的信息。
拓展阅读
Python爬虫学到什么样就可以找工作了？
学习Python爬虫要具备哪些基础？
Python网络爬虫学习建议？
Python网络爬虫能否一天“速成”？

爬虫三要素

抓取
分析
存储

1、urllib

在Python2.x中我们可以通过urllib 或者urllib2 进行网页抓取，但是再Python3.x 移除了urllib2。只能通过urllib进行操作 
 import urllib.request
 # 网站是https访问的需要引入ssl模块
 import ssl
 # 导入ssl时关闭证书验证
 ssl._create_default_https_context = ssl._create_unverified_context
 response = urllib.request.urlopen('https://www.lidihuo.com/python/spider-test.html')
 print(response.read().decode('utf-8'))

运行结果： 
 <html lang="en">
 <head>
    <meta charset="UTF-8">
    <title>python spider </title>
 </head>
 <body>
    Hello，I am lidihuo
    Welcome to Python spider
 </body>
 </html>

带参数的urllib 
 import urllib.request
 # 网站是https访问的需要引入ssl模块
 import ssl
 # 导入ssl时关闭证书验证
 ssl._create_default_https_context = ssl._create_unverified_context
 url = 'https://www.lidihuo.com/python/spider-test.html'
 url = url + '?' + key + '=' + value1 + '&' + key2 + '=' + value2
 response = urllib.request.urlopen(url)
 # print(response.read().decode('utf-8'))

2、requests

requests库是一个非常实用的HTPP客户端库，是抓取操作最常用的一个库。Requests库满足很多需求 
 import requests
 # get请求
 response = requests.get(url='https://www.lidihuo.com/python/spider-test.html')
 print(response.text)
 # 带参数的requests get请求 # response = requests.get(url='https://www.lidihuo.com/python/spider-test.html', params={'key1':'value1', 'key2':'value2'})

运行结果： 
 <html lang="en">
 <head>
    <meta charset="UTF-8">
    <title>python spider </title>
 </head>
 <body>
    Hello，I am lidihuo
    Welcome to Python spider
 </body>
 </html>

需要登录的情况下

1、表单提交登录

向服务器发送一个post请求并携带相关参数，将服务器返回的cookie保存在本地,cookie是服务器在客户端上的“监视器”，记录了登录信息等。客户端通过识别请求携带的cookie，确定是否登录。 
 params = {'username': 'root', 'passwd': 'root'}
 response = requests.post("http:xxx.com/login", data=params)
 for key,value in response.cookies.items():
     print('key = ', key + ' ||| value :'+ value)

2、cookie登录

我们可以将登录的cookie存储在文件中 
 import urllib.request
 import http.cookiejar
 import http.cookiejar
 # 网站是https访问的需要引入ssl模块
 import ssl
 # 导入ssl时关闭证书验证
 ssl._create_default_https_context = ssl._create_unverified_context
 """
 保存登录的cookie
 """
 """
 MozillaCookieJar ： cookiejar的子类
 从FileCookieJar派生而来，创建与Mozilla浏览器 cookies.txt兼容的FileCookieJar实例。
 """
 cookie = http.cookiejar.MozillaCookieJar('cookie.txt')
 # 构建一个cookie的处理器
 handler = urllib.request.HTTPCookieProcessor(cookie)
 # 获取一个opener对象
 opener = urllib.request.build_opener(handler)
 # # 获取一个请求对象
 request = urllib.request.Request('https://www.lidihuo.com/python/spider-test.html',headers={"Connection": "keep-alive"})
 # 请求服务器，获取响应对象。cookie会在response里一起响应
 response = opener.open(request)
 # 保存cookie到文件
 cookie.save(ignore_discard=True, ignore_expires=True)
 """
 请求携带文件中的cookie
 """
 import urllib.request
 import http.cookiejar
 # 网站是https访问的需要引入ssl模块
 import ssl
 # 导入ssl时关闭证书验证
 ssl._create_default_https_context = ssl._create_unverified_context
 cookie = http.cookiejar.MozillaCookieJar()
 cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)
 handler = urllib.request.HTTPCookieProcessor(cookie)
 opener = urllib.request.build_opener(handler)
 request = urllib.request.Request('https://www.lidihuo.com/python/spider-test.html')
 html = opener.open(request).read().decode('utf-8')
 print(html)

运行结果： 
 <html lang="en">
 <head>
    <meta charset="UTF-8">
    <title>python spider </title>
 </head>
 <body>
    Hello，I am lidihuo
    Welcome to Python spider
 </body>
 </html>

常见的反爬有哪些

1、通过user-agent来控制访问

user-agent能够使服务器识别出用户的操作系统及版本、cpu类型、浏览器类型和版本。很多网站会设置user-agent白名单，只有在白名单范围内的请求才能正常访问。所以在我们的爬虫代码中需要设置user-agent伪装成一个浏览器请求。有时候服务器还可能会校验Referer，所以还可能需要设置Referer(用来表示此时的请求是从哪个页面链接过来的)。 
 # 设置请求头信息
 headers = {
         'Host': 'https://www.lidihuo.com',
         'Referer': 'https://www.lidihuo.com/python/spider-test.html',
         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
     }
 response = requests.get("http://www.xxxxx.com", headers=headers)

如下是CSDN中的Request Header中的信息 
 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
 Accept-Encoding: gzip, deflate, br
 Accept-Language: zh-CN,zh;q=0.9,en;q=0.8
 Cache-Control: max-age=0
 Connection: keep-alive
 Cookie: OUTFOX_SEARCH_USER_ID_NCOO=1091135338.9776888; JSESSIONID=FD8597A7CE469BD49E3BB2696FFA92EA
 Host: www.lidihuo.com
 If-Modified-Since: Mon, 27 Jul 2020 03:42:05 GMT
 If-None-Match: W/"5f1e4d0d-81dc"
 Sec-Fetch-Dest: document
 Sec-Fetch-Mode: navigate
 Sec-Fetch-Site: none
 Sec-Fetch-User: ?1
 Upgrade-Insecure-Requests: 1
 User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36

2、通过IP来限制

当我们用同一个ip多次频繁访问服务器时，服务器会检测到该请求可能是爬虫操作。因此就不能正常的响应页面的信息了。解决办法常用的是使用IP代理池。网上就有很多提供代理的网站。 
 proxies = {
   "http": "http://ip地址",
   "https": "http://ip地址",
 }
 response =requests.get("http://www.xxxxx.com",proxies=random.choices(proxies))

3、设置请求间隔

 import time
time.sleep(1)

　　

4、自动化测试工具Selenium

Web应用程序测试的Selenium工具。该工具可以用于单元测试，集成测试，系统测试等等。它可以像真正的用户一样去操作浏览器(包括字符填充、鼠标点击、获取元素、页面切换)，支持Mozilla Firefox、Google、Chrome、Safari、Opera、IE等等浏览器。

5、参数通过加密

某些网站可能会将参数进行某些加密，或者对参数进行拼接发送给服务器，以此来达到反爬虫的目的。这个时候我们可以试图通过js代码，查看激活成功教程的办法。

连接xxx

或者可以使用"PhantomJS",PhantomJS是一个基于Webkit的"无界面"(headless)。

浏览器，它会把网站加载到内存并执行页面上的JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器更高效。

6、通过robots.txt来限制爬虫

robots.txt是一个限制爬虫的规范，该文件是用来声明哪些东西不能被爬取。如果根目录存在该文件，爬虫就会按照文件的内容来爬取指定的范围。
浏览器访问https://www.taobao.com/robots.txt

可以查看淘宝的robots.txt文件

部分内容如下 
 User-agent: Baiduspider
 Disallow: /
 User-agent: baiduspider
 Disallow: /

可以看出淘宝拒绝了百度爬虫、谷歌爬虫、必应爬虫、360爬虫、神马爬虫，搜狗爬虫、雅虎爬虫等约束。

分析

我们可以分析爬取的网页内容，获得我们真正需要的数据，常用的有正则表达式，BeautifulSoup,XPath、lxml等。正则表达式是进行内容匹配，将符合要求的内容全部获取。

xpath()能将字符串转化为标签，它会检测字符串内容是否为标签，但是不能检测出内容是否为真的标签。

Beautifulsoup是Python的一个第三方库，它的作用和 xpath 作用一样，都是用来解析html数据的相比之下，xpath的速度会快一点，因为xpath底层是用c来实现的。

存储

通过分析网页内容，获取到我们想要的数据，我们可以选择存到文本文件中，亦可以存储在数据库中，常用的数据库有MySql、MongoDB。

存储为json文件 
 import json
 dictObj = {
     'aa':{
         'age': 20,
         'city': 'beijing',
     },
     'bb': {
         'age': 24,
         'city': 'shanghai',
     }
 }
 jsObj = json.dumps(dictObj, ensure_ascii=False)
 fileObject = open('jsonFile.json', 'w')
 fileObject.write(jsObj)
 fileObject.close()

存储为cvs文件 
 import csv
 with open('student.csv', 'w', newline='') as csvfile:
     writer = csv.writer(csvfile)
     writer.writerow(['姓名', '年龄', '城市'])
     writer.writerows([['小明', 20 , '北京'],['杰克', 22, '上海']])

存储到Mongo 
 # mongo服务
 client = pymongo.MongoClient('mongodb://127.0.0.1:27017/')
 # lidihuo数据库
 db = client.lidihuo
 # student表,没有自动创建
 student_db = db.student
 student_json = {
     'name': '小明',
     'age': 20,
     'city': '北京'
 }
 student_db.insert(student_json)


Python 注释
Python 简介