虫部落

查看: 2695|回复: 22

解决方案 - 使用 Google Chrome 抓取资源

[复制链接]

18

主题

133

帖子

2092

积分

高级会员

积分
2092

我的家乡在广东

QQ
发表于 2017-11-11 20:28:16 | 显示全部楼层 |阅读模式
GifFox
【本文首发 惶心 | 技术博客 博客地址自己百度】

这是一篇小白文。本来不打算写的,毕竟自己觉得很简单。但是挺多人在问我,所以想着还是水一篇吧。

首先,你需要Google Chrome。请自行安装。

在某些时候,我们需要获取网页上的多媒体资源。比如 视频、音频以及图片。

而正常一点的音视频网站都不会直接在网页端直接嵌入下载按钮,因为那样会增加服务器压力,也不利于推广,更不利于版权保护。

而图片,我们大多数情况下可以在图片上单击右键,选择复制图片或者保存。而在小部分情况下,网站刻意隐藏了这一部分,导致右键里面看不到保存的选项。
这些时候,我们就需要使用Google Chrome的开发人员工具(或称“审查元素”、“检查”),去实现获取资源的目标。


图片示例:Apple.com,iPhone 8 图片。




我们在图片上点击右键,但是发现并没有保存图片之类的选项。

最快也是最有效的方法是,在页面任意地方 点击右键,然后选择“检查”或者“审查元素”。然后选择“Network”标签。



有的时候在“Element”标签里也能找到图片,但是不是所有的都可以(比如Apple的图片),而且对音视频不通用。

这个时候,勾选“Network”标签右上角的“Disable Cache(禁用缓存)”,然后刷新页面。



如果我们找的是图片,那么就切到img标签,然后在size那里排一下序...



然后我们很尴尬地发现原来图片里的iPhone 8 是由几张图片组成的...果然是苹果霸霸。不过我们还是能看到这个页面的其他图片。比如说iPhone 8 的合影。(下面的图片引用自https://images.apple.com


通过这样也可以发现很多很有意思的事情。比如说https://image.apple.com 是一个苹果官网的镜像。


音频示例:网易云音乐




我们先随便找到一首歌的播放页。比如我现在在听的:山有木兮-橙光游戏《人鱼传说之长生烛》主题曲

先把Developer Tool 准备好,切到Network。(挖好陷阱等网易云来跳)




挖好陷阱以后,点击播放。然而我打完这行字以后按了播放,Network里面并没有出现什么东西。

所以我们刷新一下。然后切换到Media标签。




我也不知道为什么网易云加载了两个一模一样的音频文件,但是无论如何,我们是抓到了音乐的直链。在文件上双击,浏览器会自动打开文件。



点击一下下载即可把音乐文件下载下来。

这是完整的外链:http://m8.music.126.net/20171111185920/d95d1b83d5cf60a79db0bd23a6e2a3ee/ymusic/c7e7/b231/558e/1538daf5705622db129335e89902ee6b.mp3

视频示例:CCTV视频 【国家领导人 部落编辑器屏蔽了名字】:深入推进“一带一路”建设 增添共同发展新动力
http://m.news.cctv.com/2017/11/10/ARTIuZAzRE2EcMbvgYB5GJ3u171110.shtml

同样的方法。直接上图。






一些小型视频网站,以及Youku的短视频,都可以用这种方法下载,基本一个抓一个准。


敲黑板,这是要点:
  • 在资源载入之前打开Google Chrome 的开发人员工具,然后选择Network标签。想办法让资源加载,比如刷新页面,注意禁用缓存。
  • 进入Network标签收资源。
  • 大喊一句惶心最帅。

评分

参与人数 3蚕丝 +5 虫币 +5 蜂蜜 +5 收起 理由
池塘畔底 + 2 + 2 + 2 写的太棒了!忍不住给你的蹦极绳加长50米!.
ww8350 + 1 + 1 + 1 写的太棒了!忍不住给你的蹦极绳加长50米!.
缱绻流年 + 2 + 2 + 2 惶心最帅

查看全部评分

我闻琵琶已叹息,又闻此语重唧唧。
同是天涯沦落人,相逢何必曾相识。

2

主题

25

帖子

776

积分

中级会员

积分
776
发表于 2017-11-12 01:02:44 | 显示全部楼层
感谢。头像是啥?

点评

应该是wlop大大画的鬼刀 http://www.u17.com/comic/68471.html?source=baidu  详情 回复 发表于 2017-11-12 13:14

19

主题

186

帖子

4062

积分

高级会员

积分
4062

友谊小船现居江苏我的家乡在江苏

QQ
发表于 2017-11-12 13:14:30 | 显示全部楼层
向基友安利虫部落
KokonoeRin 发表于 2017-11-12 01:02
感谢。头像是啥?

应该是wlop大大画的鬼刀
http://www.u17.com/comic/68471.html?source=baidu

0

主题

14

帖子

788

积分

中级会员

积分
788
发表于 2017-11-12 14:23:22 | 显示全部楼层
惶心最帅
回复

使用道具 举报

0

主题

12

帖子

2743

积分

高级会员

积分
2743
发表于 2017-11-13 08:05:47 | 显示全部楼层
6有飞起

点评

7777  发表于 2017-11-15 04:47
回复

使用道具 举报

0

主题

23

帖子

275

积分

注册会员

积分
275
发表于 2017-11-13 12:39:15 | 显示全部楼层
惶心最帅

点评

嘿嘿  发表于 2017-11-15 04:47
一路奋战,不是为了改变世界,而是不让世界改变自己
回复

使用道具 举报

2

主题

25

帖子

776

积分

中级会员

积分
776
发表于 2017-11-15 01:00:49 | 显示全部楼层
呃呃呃,怎么抓取到这个
  1. https://imgsa.baidu.com/forum/w%3D580/sign=ae133d77bb389b5038ffe05ab534e5f1/a238fd1f4134970aa88c374697cad1c8a5865dc2.jpg?v=tbs
复制代码

的真实地址呢

点评

已经是真实地址了,这个不是视频,是JPG动图...(貌似是不太为人所知的黑科技  详情 回复 发表于 2017-11-15 04:46

18

主题

133

帖子

2092

积分

高级会员

积分
2092

我的家乡在广东

QQ
 楼主| 发表于 2017-11-15 04:46:58 | 显示全部楼层
KokonoeRin 发表于 2017-11-15 01:00
呃呃呃,怎么抓取到这个

的真实地址呢

已经是真实地址了,这个不是视频,是JPG动图...(貌似是不太为人所知的黑科技

点评

不不不,实际上是gif动图  详情 回复 发表于 2017-11-15 10:28
我闻琵琶已叹息,又闻此语重唧唧。
同是天涯沦落人,相逢何必曾相识。

2

主题

25

帖子

776

积分

中级会员

积分
776
发表于 2017-11-15 10:28:15 | 显示全部楼层
本帖最后由 KokonoeRin 于 2017-11-15 10:29 编辑
惶心 发表于 2017-11-15 04:46
已经是真实地址了,这个不是视频,是JPG动图...(貌似是不太为人所知的黑科技
...

不不不,实际上是gif动图
后面的"?v=tbs"又是什么鬼?这个也是真实地址的一部分吗?

2

主题

25

帖子

776

积分

中级会员

积分
776
发表于 2017-11-15 15:05:33 | 显示全部楼层
又比如说
  1. https://thumbnail10.baidupcs.com/thumbnail/fef115ff57847630057c5f8f5e07c9b8?fid=1730791166-250528-1037537287362259&time=1510729200&rt=pr&sign=FDTAER-DCb740ccc5511e5e8fedcff06b081203-o1kFX3cXT04yFr5uxWI%2fAZAfYoI%3d&expires=8h&chkbd=0&chkv=0&dp-logid=7389832295594459059&dp-callid=0&size=c1440_u960&quality=90&vuk=1730791166&ft=image
复制代码

这是一张jpg,然而获取的地址根本就不是jpg啊
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表