vps交流
当前位置：嘟嘟社区 > bbs > 正文

爬虫大佬们 帮我看看这个到底哪里没搞对

2024-07-19 分类：bbs

本帖最后由 花菜大魔王 于 2024-7-18 22:56 编辑

目的是根据电影名字爬取豆瓣ID  保存格式为文件夹名字  一个电影生产一个文件夹《电影名字,豆瓣ID》  
搞了好久都获取不到ID
下面还有一段 一起发说安全问题 发不出来…

  1. import requests
  2. from bs4 import BeautifulSoup
  3. import os
  4. import re
  5. import time
  7. # 搜索链接
  8. search_url = "https://search.douban.com/movie/subject_search?search_text={}&cat=1002"
  10. movies = [
  11.     "毒舌律师",
  12.     "满江红",
  13.     "倒数说爱你",
  14.     "别叫我“赌神”",
  15.     "银河护卫队3",
  16.     "温柔壳",
  17.     "盟约",
  18.     "检察风云",
  19.     "消失的她",
  20.     "蚁人与黄蜂女：量子狂潮",
  21.     "惊声尖叫6",
  22.     "荒原",
  23.     "无名",
  24.     "望道",
  25.     "龙与地下城：侠盗荣耀",
  26.     "小行星城",
  27.     "交涉",
  28.     "疾速追杀4",
  29.     "茶啊二中",
  30.     "中国乒乓之绝地反击",
  31.     "再见，我的灵魂伴侣",
  32.     "这么多年",
  33.     "星条红与皇室蓝",
  34.     "网络谜踪2",
  35.     "蜘蛛侠：纵横宇宙",
  36.     "变形金刚：超能勇士崛起",
  37.     "小美人鱼",
  38.     "我爱你！",
  39.     "长沙夜生活",
  40.     "人生路不熟"
  41. ]

复制代码

爬虫大佬们 帮我看看这个到底哪里没搞对
无语   后面一段发不出来  就图片了
代码交给gpt分分钟给你搞明白

Far 发表于 2024-7-18 23:01
代码交给gpt分分钟给你搞明白

就是gpt写的

数据在 window.__DATA__

wusir 发表于 2024-7-18 23:13
数据在 window.__DATA__

但是没获取到豆瓣ID

花菜大魔王 发表于 2024-7-18 23:18
但是没获取到豆瓣ID

  2. pattern = re.compile(r’https://movie.douban.com/subject/(d+)/’)
  3. douban_id = pattern.findall(response.text)


复制代码

注意我用 findall 返回的是一个 list 哦

2569138941 发表于 2024-7-18 23:36
注意我用 findall 返回的是一个 list 哦

老哥能给个全部的吗   搞一晚上没搞好  

花菜大魔王 发表于 2024-7-18 23:58
老哥能给个全部的吗   搞一晚上没搞好

就去soup直接正则匹配就好
https://paste.ubuntu.com/p/v7pFZsbs9m/
标签：