请选择 进入手机版 | 继续访问电脑版

易学智能

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 1900|回复: 5

上班时间请勿打开,158万张鉴黄图片数据集来喽~

[复制链接]

663

主题

1230

帖子

6390

积分

xdtech

Rank: 5Rank: 5

积分
6390
发表于 2019-2-17 19:33:07 | 显示全部楼层 |阅读模式
前方高能预警,非战斗人士请火速撤离……

今天给大家介绍一个在 GitHub 上一个开源的鉴黄图像数据集,它拥有 158万的数据量,叫做 NSFW data source URLs,目前该项目已收获 918 star 了。

项目地址:
在 raw_data 文件夹里,可以找到不同的 .txt 格式的文档,每个文档都含有一组 URL,以下是关于该数据集的一些统计信息:

  • 159个 不同的类别
  • 158.9331 万个 URL
  • 下载并清洗后大约有 500GB,或者说有 130 万张 NSFW 图像


以下为项目中图片截图示例:

注意事项:

1. 建议下载后清洗下数据集,例如:

  • 删除重复图片
  • 移动被禁止/删除掉的图片(它们有一个特殊的图像占位符)
  • 找出损坏的数据并将其删除


2. 注意噪声,一些资源提供了 NSFW 和中性图像的高度混合数据。

3. 该库还可以帮助检索 NSFW 图像,针对中性图像没有专用的 URL。

值得一提的是,在该项目之前还有一个类似的开源项目 nsfw_data_scrapper,里面有 22 万张图像,同样也可以用来检测或训练鉴黄系统。

项目地址:
回复

使用道具 举报

165

主题

614

帖子

8618

积分

xdtech

Rank: 5Rank: 5

积分
8618
发表于 2019-3-24 10:59:34 | 显示全部楼层
这个里面
很多确实可以下载
回复

使用道具 举报

165

主题

614

帖子

8618

积分

xdtech

Rank: 5Rank: 5

积分
8618
发表于 2019-3-24 10:59:50 | 显示全部楼层
污的很
回复

使用道具 举报

165

主题

614

帖子

8618

积分

xdtech

Rank: 5Rank: 5

积分
8618
发表于 2019-3-24 10:59:57 | 显示全部楼层
辛苦作者收集啊
回复

使用道具 举报

165

主题

614

帖子

8618

积分

xdtech

Rank: 5Rank: 5

积分
8618
发表于 2019-3-24 11:00:06 | 显示全部楼层
值得深入研究的数据集
回复

使用道具 举报

165

主题

614

帖子

8618

积分

xdtech

Rank: 5Rank: 5

积分
8618
发表于 2019-3-24 11:00:10 | 显示全部楼层
大有用途
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|易学智能

GMT+8, 2021-6-19 17:51 , Processed in 0.029187 second(s), 20 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表