ITIMO创新库

Weibo Crawler | 新浪微博爬虫 下载微博图片和微博视频

精选开源项目评分 3.9226 阅读

用python爬取新浪微博数据 并下载微博图片和微博视频

比如爬取Dear-迪丽热巴,程序会自动生成一个weibo文件夹,我们以后爬取的所有微博都被存储在weibo文件夹里。然后程序在该文件夹下生成一个名为"Dear-迪丽热巴"的文件夹,迪丽热巴的所有微博爬取结果都在这里。"Dear-迪丽热巴"文件夹里包含一个csv文件、一个img文件夹和一个video文件夹,img文件夹用来存储下载到的图片,video文件夹用来存储下载到的视频。

image.png

微博信息

  • 微博id:微博的id,为一串数字形式

  • 微博bid:微博的bid,与cookie版中的微博id是同一个值

  • 微博内容:微博正文

  • 头条文章url:微博中头条文章的url,如果微博中存在头条文章,就获取该头条文章的url,否则该值为''

  • 原始图片url:原创微博图片和转发微博转发理由中图片的url,若某条微博存在多张图片,则每个url以英文逗号分隔,若没有图片则值为''

  • 视频url: 微博中的视频url和Live Photo中的视频url,若某条微博存在多个视频,则每个url以英文分号分隔,若没有视频则值为''

  • 微博发布位置:位置微博中的发布位置

  • 微博发布时间:微博发布时的时间,精确到天

  • 点赞数:微博被赞的数量

  • 转发数:微博被转发的数量

  • 评论数:微博被评论的数量

  • 微博发布工具:微博的发布工具,如iPhone客户端、HUAWEI Mate 20 Pro等,若没有则值为''

  • 话题:微博话题,即两个#中的内容,若存在多个话题,每个url以英文逗号分隔,若没有则值为''

  • @用户:微博@的用户,若存在多个@用户,每个url以英文逗号分隔,若没有则值为''

  • 原始微博:为转发微博所特有,是转发微博中那条被转发的微博,存储为字典形式,包含了上述微博信息中的所有内容,如微博id、微博内容等等

  • 结果文件:保存在当前目录weibo文件夹下以用户昵称为名的文件夹里,名字为"user_id.csv"形式

  • 微博图片:微博中的图片,保存在以用户昵称为名的文件夹下的img文件夹里

  • 微博视频:微博中的视频,保存在以用户昵称为名的文件夹下的video文件夹里

开源地址:https://github.com/dataabc/weibo-crawler