Requests+正则表达式爬取猫眼电影TOP100

般爬猫眼电影有两种方法，一种就像我前段时间写的豆瓣电影爬取方法一样，可以只获取全部电影所在的详情页内容，
然后利用 正则表达式 一个一个提取，另一种就是先获取全部电影所在的详情页内容，在分别获取每个电影对应的详情页内容，再利用 正则表达式 或 pyquery 获取。

# -*- coding: utf-8 -*-
"""
@Time ： 2021/1/24 15:52
@Auth ： Ne-21
@File ：maoyan_spider.py
@IDE ：PyCharm
@Motto：Another me.

"""
import requests
from requests.exceptions import RequestException
import re
import json
from multiprocessing import Pool

def get_one_page(url):
    try:
        # 没有UA网页会乱码
        headers = {
            'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3239.132 Safari/537.36'
        }
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException as e:
        print(e)
        return None

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a.*?">(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
    items = re.findall(pattern, html)
    for i in items:
    # yield 是一个生成器
        yield {
            'index': i[0],
            'image': i[1],
            'title': i[2],
            # str.strip()就是把这个字符串头和尾的空格，以及位于头尾的\n \t之类给删掉
            'actor': i[3].strip()[3:],
            'time': i[4].strip()[5:],
            'score': i[5]+i[6]
        }

def write_to_file(content):
    # # 编码输出
    # with open('result.txt', 'a') as f:
    #     f.write(json.dumps(content) + "\n")
    #     f.close()
    # 中文输出
    with open('result.txt', 'a', encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False) + '\n')
        f.close()

def main(offset):
    url = 'https://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)

if __name__ == '__main__':
    # for i in range(10):
    #     main(i*10)

    # 多进程
    pool = Pool()
    pool.map(main, [i*10 for i in range(10)])