秒客网

 1 import json
import requests
from requests.exceptions import RequestException
import re
import time


def get_one_page(url):
    try:
        headers = {
            \'User-Agent\': \'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36\'
        }
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None


def parse_one_page(html):
    pattern = re.compile(\'<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a\'
                         + \'.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>\'
                         + \'.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>\', re.S)
    items = re.findall(pattern, html)
    for item in items:
        yield {
            \'index\': item[0],
            \'image\': item[1],
            \'title\': item[2],
            \'actor\': item[3].strip()[3:],
            \'time\': item[4].strip()[5:],
            \'score\': item[5] + item[6]
        }


def write_to_file(content):
    with open(\'result.txt\', \'a\', encoding=\'utf-8\') as f:
        f.write(json.dumps(content, ensure_ascii=False) + \'\n\')


def main(offset):
    url = \'http://maoyan.com/board/4?offset=\' + str(offset)
    html = get_one_page(url)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)


if __name__ == \'__main__\':
    for i in range(10):
        main(offset=i * 10)
        time.sleep(1)

看下结果

{"paiming": "{{= title}}", "title": "<span>{{= sub_title}}"}
{"paiming": "1", "title": "肖申克的救赎"}
{"paiming": "2", "title": "霸王别姬"}
{"paiming": "3", "title": "这个杀手不太冷"}
{"paiming": "4", "title": "阿甘正传"}
{"paiming": "5", "title": "美丽人生"}
{"paiming": "6", "title": "泰坦尼克号"}
{"paiming": "7", "title": "千与千寻"}
{"paiming": "8", "title": "辛德勒的名单"}
{"paiming": "9", "title": "盗梦空间"}
{"paiming": "10", "title": "机器人总动员"}
{"paiming": "11", "title": "忠犬八公的故事"}
{"paiming": "12", "title": "三傻大闹宝莱坞"}
{"paiming": "13", "title": "海上钢琴师"}
{"paiming": "14", "title": "放牛班的春天"}
{"paiming": "15", "title": "大话西游之大圣娶亲"}
{"paiming": "16", "title": "楚门的世界"}
{"paiming": "17", "title": "教父"}
{"paiming": "18", "title": "龙猫"}
{"paiming": "19", "title": "星际穿越"}
{"paiming": "20", "title": "熔炉"}
{"paiming": "21", "title": "无间道"}
{"paiming": "22", "title": "触不可及"}
{"paiming": "23", "title": "当幸福来敲门"}
{"paiming": "24", "title": "乱世佳人"}
{"paiming": "25", "title": "怦然心动"}
{"paiming": "{{= title}}", "title": "<span>{{= sub_title}}"}
{"paiming": "26", "title": "疯狂动物城"}
{"paiming": "27", "title": "天堂电影院"}
{"paiming": "28", "title": "蝙蝠侠：黑暗骑士"}
{"paiming": "29", "title": "十二怒汉"}
{"paiming": "30", "title": "鬼子来了"}
{"paiming": "31", "title": "活着"}
{"paiming": "32", "title": "少年派的奇幻漂流"}
{"paiming": "33", "title": "指环王3：王者无敌"}
{"paiming": "34", "title": "搏击俱乐部"}
{"paiming": "35", "title": "天空之城"}
{"paiming": "36", "title": "控方证人"}
{"paiming": "37", "title": "飞屋环游记"}
{"paiming": "38", "title": "大话西游之月光宝盒"}
{"paiming": "39", "title": "罗马假日"}
{"paiming": "40", "title": "窃听风暴"}
{"paiming": "41", "title": "两杆大烟枪"}
{"paiming": "42", "title": "飞越疯人院"}
{"paiming": "43", "title": "闻香识女人"}
{"paiming": "44", "title": "哈尔的移动城堡"}
{"paiming": "45", "title": "摔跤吧！爸爸"}
{"paiming": "46", "title": "辩护人"}
{"paiming": "47", "title": "死亡诗社"}
{"paiming": "48", "title": "V字仇杀队"}
{"paiming": "49", "title": "海豚湾"}
{"paiming": "50", "title": "教父2"}
{"paiming": "{{= title}}", "title": "<span>{{= sub_title}}"}
{"paiming": "51", "title": "指环王2：双塔奇兵"}
{"paiming": "52", "title": "美丽心灵"}
{"paiming": "53", "title": "指环王1：魔戒再现"}
{"paiming": "54", "title": "饮食男女"}
{"paiming": "55", "title": "情书"}
{"paiming": "56", "title": "素媛"}
{"paiming": "57", "title": "狮子王"}
{"paiming": "58", "title": "美国往事"}
{"paiming": "59", "title": "钢琴家"}
{"paiming": "60", "title": "小鞋子"}
{"paiming": "61", "title": "七宗罪"}
{"paiming": "62", "title": "被嫌弃的松子的一生"}
{"paiming": "63", "title": "致命魔术"}
{"paiming": "64", "title": "天使爱美丽"}
{"paiming": "65", "title": "本杰明·巴顿奇事"}
{"paiming": "66", "title": "西西里的美丽传说"}
{"paiming": "67", "title": "音乐之声"}
{"paiming": "68", "title": "黑客帝国"}
{"paiming": "69", "title": "让子弹飞"}
{"paiming": "70", "title": "拯救大兵瑞恩"}
{"paiming": "71", "title": "看不见的客人"}
{"paiming": "72", "title": "低俗小说"}
{"paiming": "73", "title": "勇敢的心"}
{"paiming": "74", "title": "剪刀手爱德华"}
{"paiming": "75", "title": "沉默的羔羊"}
{"paiming": "{{= title}}", "title": "<span>{{= sub_title}}"}
{"paiming": "76", "title": "末代皇帝"}
{"paiming": "77", "title": "大闹天宫"}
{"paiming": "78", "title": "蝴蝶效应"}
{"paiming": "79", "title": "入殓师"}
{"paiming": "80", "title": "春光乍泄"}
{"paiming": "81", "title": "心灵捕手"}
{"paiming": "82", "title": "玛丽和马克思"}
{"paiming": "83", "title": "哈利·波特与魔法石"}
{"paiming": "84", "title": "阳光灿烂的日子"}
{"paiming": "85", "title": "布达佩斯大饭店"}
{"paiming": "86", "title": "禁闭岛"}
{"paiming": "87", "title": "幽灵公主"}
{"paiming": "88", "title": "第六感"}
{"paiming": "89", "title": "猫鼠游戏"}
{"paiming": "90", "title": "重庆森林"}
{"paiming": "91", "title": "狩猎"}
{"paiming": "92", "title": "致命ID"}
{"paiming": "93", "title": "断背山"}
{"paiming": "94", "title": "大鱼"}
{"paiming": "95", "title": "穿条纹睡衣的男孩"}
{"paiming": "96", "title": "加勒比海盗"}
{"paiming": "97", "title": "告白"}
{"paiming": "98", "title": "甜蜜蜜"}
{"paiming": "99", "title": "一一"}
{"paiming": "100", "title": "射雕英雄传之东成西就"}
{"paiming": "{{= title}}", "title": "<span>{{= sub_title}}"}
{"paiming": "101", "title": "阿凡达"}
{"paiming": "102", "title": "摩登时代"}
{"paiming": "103", "title": "阳光姐妹淘"}
{"paiming": "104", "title": "上帝之城"}
{"paiming": "105", "title": "爱在黎明破晓前"}
{"paiming": "106", "title": "消失的爱人"}
{"paiming": "107", "title": "侧耳倾听"}
{"paiming": "108", "title": "风之谷"}
{"paiming": "109", "title": "爱在日落黄昏时"}
{"paiming": "110", "title": "超脱"}
{"paiming": "111", "title": "倩女幽魂"}
{"paiming": "112", "title": "恐怖直播"}
{"paiming": "113", "title": "红辣椒"}
{"paiming": "114", "title": "小森林 夏秋篇"}
{"paiming": "115", "title": "喜剧之王"}
{"paiming": "116", "title": "菊次郎的夏天"}
{"paiming": "117", "title": "驯龙高手"}
{"paiming": "118", "title": "幸福终点站"}
{"paiming": "119", "title": "借东西的小人阿莉埃蒂"}
{"paiming": "120", "title": "神偷奶爸"}
{"paiming": "121", "title": "萤火虫之墓"}
{"paiming": "122", "title": "七武士"}
{"paiming": "123", "title": "岁月神偷"}
{"paiming": "124", "title": "杀人回忆"}
{"paiming": "125", "title": "怪兽电力公司"}
{"paiming": "{{= title}}", "title": "<span>{{= sub_title}}"}
{"paiming": "126", "title": "谍影重重3"}
{"paiming": "127", "title": "喜宴"}
{"paiming": "128", "title": "贫民窟的百万富翁"}
{"paiming": "129", "title": "电锯惊魂"}
{"paiming": "130", "title": "东邪西毒"}
{"paiming": "131", "title": "真爱至上"}
{"paiming": "132", "title": "记忆碎片"}
{"paiming": "133", "title": "黑天鹅"}
{"paiming": "134", "title": "疯狂原始人"}
{"paiming": "135", "title": "小森林 冬春篇"}
{"paiming": "136", "title": "雨人"}
{"paiming": "137", "title": "海洋"}
{"paiming": "138", "title": "哈利·波特与死亡圣器(下)"}
{"paiming": "139", "title": "请以你的名字呼唤我"}
{"paiming": "140", "title": "卢旺达饭店"}
{"paiming": "141", "title": "萤火之森"}
{"paiming": "142", "title": "英雄本色"}
{"paiming": "143", "title": "7号房的礼物"}
{"paiming": "144", "title": "心迷宫"}
{"paiming": "145", "title": "虎口脱险"}
{"paiming": "146", "title": "燃情岁月"}
{"paiming": "147", "title": "荒蛮故事"}
{"paiming": "148", "title": "傲慢与偏见"}
{"paiming": "149", "title": "超能陆战队"}
{"paiming": "150", "title": "蝙蝠侠：黑暗骑士崛起"}
{"paiming": "{{= title}}", "title": "<span>{{= sub_title}}"}
{"paiming": "151", "title": "海边的曼彻斯特"}
{"paiming": "152", "title": "唐伯虎点秋香"}
{"paiming": "153", "title": "教父3"}
{"paiming": "154", "title": "纵横四海"}
{"paiming": "155", "title": "恋恋笔记本"}
{"paiming": "156", "title": "时空恋旅人"}
{"paiming": "157", "title": "玩具总动员3"}
{"paiming": "158", "title": "完美的世界"}
{"paiming": "159", "title": "花样年华"}
{"paiming": "160", "title": "达拉斯买家俱乐部"}
{"paiming": "161", "title": "二十二"}
{"paiming": "162", "title": "猜火车"}
{"paiming": "163", "title": "魂断蓝桥"}
{"paiming": "164", "title": "雨中曲"}
{"paiming": "165", "title": "无人知晓"}
{"paiming": "166", "title": "穿越时空的少女"}
{"paiming": "167", "title": "我是山姆"}
{"paiming": "168", "title": "冰川时代"}
{"paiming": "169", "title": "人工智能"}
{"paiming": "170", "title": "血战钢锯岭"}
{"paiming": "171", "title": "爆裂鼓手"}
{"paiming": "172", "title": "浪潮"}
{"paiming": "173", "title": "朗读者"}
{"paiming": "174", "title": "罗生门"}
{"paiming": "175", "title": "香水"}
{"paiming": "{{= title}}", "title": "<span>{{= sub_title}}"}
{"paiming": "176", "title": "未麻的部屋"}
{"paiming": "177", "title": "被解救的姜戈"}
{"paiming": "178", "title": "阿飞正传"}
{"paiming": "179", "title": "头脑特工队"}
{"paiming": "180", "title": "可可西里"}
{"paiming": "181", "title": "恐怖游轮"}
{"paiming": "182", "title": "一次别离"}
{"paiming": "183", "title": "追随"}
{"paiming": "184", "title": "房间"}
{"paiming": "185", "title": "撞车"}
{"paiming": "186", "title": "战争之王"}
{"paiming": "187", "title": "你的名字。"}
{"paiming": "188", "title": "地球上的星星"}
{"paiming": "189", "title": "模仿游戏"}
{"paiming": "190", "title": "魔女宅急便"}
{"paiming": "191", "title": "一个叫欧维的男人决定去死"}
{"paiming": "192", "title": "忠犬八公物语"}
{"paiming": "193", "title": "牯岭街少年杀人事件"}
{"paiming": "194", "title": "谍影重重"}
{"paiming": "195", "title": "梦之安魂曲"}
{"paiming": "196", "title": "谍影重重2"}
{"paiming": "197", "title": "完美陌生人"}
{"paiming": "198", "title": "青蛇"}
{"paiming": "199", "title": "惊魂记"}
{"paiming": "200", "title": "哪吒闹海"}
{"paiming": "{{= title}}", "title": "<span>{{= sub_title}}"}
{"paiming": "201", "title": "再次出发之纽约遇见你"}
{"paiming": "202", "title": "小萝莉的猴神大叔"}
{"paiming": "203", "title": "黑客帝国3：矩阵革命"}
{"paiming": "204", "title": "东京物语"}
{"paiming": "205", "title": "新龙门客栈"}
{"paiming": "206", "title": "源代码"}
{"paiming": "207", "title": "终结者2：审判日"}
{"paiming": "208", "title": "末路狂花"}
{"paiming": "209", "title": "步履不停"}
{"paiming": "210", "title": "绿里奇迹"}
{"paiming": "211", "title": "秒速5厘米"}
{"paiming": "212", "title": "海街日记"}
{"paiming": "213", "title": "碧海蓝天"}
{"paiming": "214", "title": "城市之光"}
{"paiming": "215", "title": "初恋这件小事"}
{"paiming": "216", "title": "无敌破坏王"}
{"paiming": "217", "title": "这个男人来自地球"}
{"paiming": "218", "title": "勇闯夺命岛"}
{"paiming": "219", "title": "无耻混蛋"}
{"paiming": "220", "title": "爱在午夜降临前"}
{"paiming": "221", "title": "海盗电台"}
{"paiming": "222", "title": "疯狂的石头"}
{"paiming": "223", "title": "卡萨布兰卡"}
{"paiming": "224", "title": "变脸"}
{"paiming": "225", "title": "E.T. 外星人"}
{"paiming": "{{= title}}", "title": "<span>{{= sub_title}}"}
{"paiming": "226", "title": "发条橙"}
{"paiming": "227", "title": "黄金三镖客"}
{"paiming": "228", "title": "美国丽人"}
{"paiming": "229", "title": "彗星来的那一夜"}
{"paiming": "230", "title": "荒野生存"}
{"paiming": "231", "title": "英国病人"}
{"paiming": "232", "title": "聚焦"}
{"paiming": "233", "title": "血钻"}
{"paiming": "234", "title": "国王的演讲"}
{"paiming": "235", "title": "迁徙的鸟"}
{"paiming": "236", "title": "非常嫌疑犯"}
{"paiming": "237", "title": "勇士"}
{"paiming": "238", "title": "燕尾蝶"}
{"paiming": "239", "title": "黑鹰坠落"}
{"paiming": "240", "title": "遗愿清单"}
{"paiming": "241", "title": "穆赫兰道"}
{"paiming": "242", "title": "叫我第一名"}
{"paiming": "243", "title": "我爱你"}
{"paiming": "244", "title": "枪火"}
{"paiming": "245", "title": "荒岛余生"}
{"paiming": "246", "title": "2001太空漫游"}
{"paiming": "247", "title": "上帝也疯狂"}
{"paiming": "248", "title": "千钧一发"}
{"paiming": "249", "title": "大卫·戈尔的一生"}
{"paiming": "250", "title": "蓝色大门"}