下载豆瓣客户端

豆瓣 6.0 全新发布 ×

豆瓣

扫码直接下载

iPhone · Android

豆瓣小组

NLP部分数据集共享

来自：☁
2020-12-16 20:35:39 已编辑

2021.1.9跟新

整理了一下，我这现在有DUC2003、DUC2004、Gigaword、CNN/Daily Mail 、Mul-ti Times、New York Times、KBP2014、KBP2015、 LCSTS 等数据集，需要啥的请直接邮件：2059371445@qq.com,或微信: jzlcream。（因私信人较多耗废部分时间2021/6/6后需要的收50RMB/份手续费）感谢体谅~

1.DUC有500篇文档，每篇文章对应四个摘要（文本较短）

DUC2004

2.Gigaword文本与摘要都非常非常短，训练集有3803957篇。如下图

Gigaword

Gigaword（train.src）

3.

Multi-New是长文本多文档语料，我这里的是将多文档拼成单文档的缩减版本（文本非常长）

Multi-News

Multi-News

4.CNN/Daily Mail 文本与摘要都比较长,篇章数如下

CNN/Daily Mail

5.New York Times从LDC官网下载下来的有1987-2007年的，原格式是xml的。可以根据需要自己写代码整理自己要的。我是做摘要自己整理了2003-2007年的。

New York Times

原格式是xml：

2003-2007年抽取出文章与摘要整理后大小与内容格式：

NYT2003-2007年抽取出文章与摘要整理后大小

2003-2007年抽取出文章与摘要整理后内容

6.KBP下载于LDC官网:

2014KBP目录示例

目录内文档示例

文档内详细内容示例

7.中文数据集LCSTS：

所含目录

8.其余未详细展示的数据集（需要的可以自己看一下）：

×

加入小组后即可参加投票

确定

回复转发赞收藏只看楼主

sea2603 (一起摸鱼) 2020-12-17 13:19:24

本来我想说gigword不是有版权吗会有人发吗结果在这里发现了个链接 https://github.com/tensorflow/datasets/blob/master/tensorflow_datasets/summarization/gigaword.py

删除 |

赞回复
☁ 楼主 2020-12-17 13:22:11

本来我想说gigword不是有版权吗会有人发吗结果在这里发现了个链接 https://github.com/tensorflo 本来我想说gigword不是有版权吗会有人发吗结果在这里发现了个链接 https://github.com/tensorflow/datasets/blob/master/tensorflow_datasets/summarization/gigaword.py ... sea2603

感谢老板我试试我还没搞下来

删除 |

赞回复
sea2603 (一起摸鱼) 2020-12-17 13:28:36

感谢老板我试试我还没搞下来感谢老板我试试我还没搞下来 ☁

没用过原版gigaword，不知道这个578m的对不对，你可能得自己甄别一下

删除 |

赞回复
☁ 楼主 2020-12-17 13:29:18

没用过原版gigaword，不知道这个578m的对不对，你可能得自己甄别一下没用过原版gigaword，不知道这个578m的对不对，你可能得自己甄别一下 sea2603

你有自己存下的这两数据集吗

删除 |

赞回复
☁ 楼主 2020-12-17 13:29:48

没用过原版gigaword，不知道这个578m的对不对，你可能得自己甄别一下没用过原版gigaword，不知道这个578m的对不对，你可能得自己甄别一下 sea2603

好的

删除 |

赞回复
sea2603 (一起摸鱼) 2020-12-17 13:31:15

wow，现在没有老板的资源感觉也能搞nlp了，github google drive上好多人共享啊哈哈哈，以前都是有版权的大家都不敢发，这里搜了个duc2004的，你也得自己看看数据量对不对了 https://github.com/NightFury13/TextSummarizer/tree/master/DUC-2004

删除 |

赞回复
sea2603 (一起摸鱼) 2020-12-17 13:32:32

你有自己存下的这两数据集吗你有自己存下的这两数据集吗 ☁

暂时不做文档，这俩数据集我都用不上，我就是好奇去搜了一下

删除 |

赞回复
☁ 楼主 2020-12-17 13:35:54

暂时不做文档，这俩数据集我都用不上，我就是好奇去搜了一下暂时不做文档，这俩数据集我都用不上，我就是好奇去搜了一下 sea2603

好的很感谢我自己也搜了很多都下载不下来或者不完整等着补实验我好难

删除 |

赞回复
☁ 楼主 2020-12-17 13:46:01

wow，现在没有老板的资源感觉也能搞nlp了，github google drive上好多人共享啊哈哈哈，以前都是 wow，现在没有老板的资源感觉也能搞nlp了，github google drive上好多人共享啊哈哈哈，以前都是有版权的大家都不敢发，这里搜了个duc2004的，你也得自己看看数据量对不对了 https://github.com/NightFury13/TextSummarizer/tree/master/DUC-2004 ... sea2603

不行哦用不了

删除 |

赞回复
sea2603 (一起摸鱼) 2020-12-18 16:58:36

不行哦用不了不行哦用不了 ☁

反正我看gigaword的测试集大小跟其他文章提到的数据是一样的，duc2004也都是50篇文档

删除 |

赞回复
☁ 楼主 2020-12-22 14:02:18

已经都弄到了感谢需要的我可以分享

删除 |

赞回复
剑魄琴心 2020-12-28 15:20:15

求楼主分享一下gigaword，如果方便能发到我的邮箱吗？1879831167@qq.com，感谢您！

删除 |

赞回复
剑魄琴心 2020-12-28 15:22:06

求楼主分享一下gigaword，如果方便能发到我的邮箱吗？1879831167@qq.com，感谢您！求楼主分享一下gigaword，如果方便能发到我的邮箱吗？1879831167@qq.com，感谢您！剑魄琴心

突然发现想复现的论文也用了duc，呜呜呜求楼主也发一下duc吧，头都大了

删除 |

赞回复
☁ 楼主 2020-12-28 17:32:16

突然发现想复现的论文也用了duc，呜呜呜求楼主也发一下duc吧，头都大了突然发现想复现的论文也用了duc，呜呜呜求楼主也发一下duc吧，头都大了剑魄琴心

你是要做啥，DUC只有500篇text，每篇很短一两句话对应4个abstractive summarizations 你看看是不是你要的。gigaword 挺大的我不知道邮箱能不能发

删除 |

赞回复
☁ 楼主 2020-12-28 17:33:29

突然发现想复现的论文也用了duc，呜呜呜求楼主也发一下duc吧，头都大了突然发现想复现的论文也用了duc，呜呜呜求楼主也发一下duc吧，头都大了剑魄琴心

给你发了

删除 |

赞 (1) 回复
ChenHeng 2021-01-08 21:40:24

楼主，求这俩个数据集，chenheng199898@163.com。。。另外这个是哪一年的DUC吖？感谢感谢

删除 |

赞 (1) 回复
☁ 楼主 2021-01-09 11:17:06

楼主，求这俩个数据集，chenheng199898@163.com。。。另外这个是哪一年的DUC吖？感谢感谢楼主，求这俩个数据集，chenheng199898@163.com。。。另外这个是哪一年的DUC吖？感谢感谢 ChenHeng

DUC2003 2004

删除 |

赞回复
☁ 楼主 2021-01-09 12:22:38

DUC2003 2004 DUC2003 2004 ☁

已发

删除 |

赞回复
ChenHeng 2021-01-09 15:10:55

已发已发 ☁

多谢楼主

删除 |

赞回复
佳 2021-01-13 20:10:43

楼主，求 DUC的数据集，多谢多谢～～～782720268@qq.com

删除 |

赞回复
☁ 楼主 2021-01-14 09:31:41

楼主，求 DUC的数据集，多谢多谢～～～782720268@qq.com 楼主，求 DUC的数据集，多谢多谢～～～782720268@qq.com 佳

不客气，麻烦主页关注我一下中午回去给你发

删除 |

赞回复
momo 2021-01-17 22:25:22

楼主，求gigaword和duc的数据集。感谢。1351844234@qq.com

删除 |

赞回复
☁ 楼主 2021-01-18 18:23:11

楼主，求gigaword和duc的数据集。感谢。1351844234@qq.com 楼主，求gigaword和duc的数据集。感谢。1351844234@qq.com momo

你好已发你邮箱

删除 |

赞回复
berryberry 2021-01-19 12:21:42

楼主，求duc数据集，非常感谢！！1551759772@qq.com

删除 |

赞回复
☁ 楼主 2021-01-19 14:11:46

楼主，求duc数据集，非常感谢！！1551759772@qq.com 楼主，求duc数据集，非常感谢！！1551759772@qq.com berryberry

03 04均已发

删除 |

赞回复
Dawn 2021-01-25 17:44:00

求gigaword，CNN/Daily Mail，和DUC的数据集。我的邮箱是boyangwa@umich.edu 太感谢楼主了！

删除 |

赞回复
Ambition 2021-01-30 20:31:58

您好，我想请问下有gigaword中文数据集吗？急求，万分感谢，有的话，请发给我谢谢🙏，邮箱是648260708@qq.com

删除 |

赞回复
☁ 楼主 2021-01-31 00:46:20

您好，我想请问下有gigaword中文数据集吗？急求，万分感谢，有的话，请发给我谢谢🙏，邮箱是64 您好，我想请问下有gigaword中文数据集吗？急求，万分感谢，有的话，请发给我谢谢🙏，邮箱是648260708@qq.com ... Ambition

不好意思，我这gigaword是英文的。中文的你可以用LCSTS数据集。

删除 |

赞回复
小肥猪糯糯 2021-02-09 09:48:26

您好楼主！我想求gigaword和duc的数据集。非常感谢！muhe0820@gmail.com

删除 |

赞回复
三 2021-02-14 20:04:01

您好楼主求一份gigaword数据集合万分感谢 1450809549@qq.com

删除 |

赞回复
☁ 楼主 2021-02-16 14:18:16

您好楼主！我想求gigaword和duc的数据集。非常感谢！muhe0820@gmail.com 您好楼主！我想求gigaword和duc的数据集。非常感谢！muhe0820@gmail.com 小肥猪糯糯

已发

删除 |

赞回复
小肥猪糯糯 2021-02-16 14:19:01

已发已发 ☁

非常感谢！

删除 |

赞回复
豆友232159672 2021-02-24 10:09:59

[内容不可见]

删除 |

赞回复
Dawn 2021-02-24 12:00:54

求gigaword，和DUC的数据集。我的邮箱是boyangwa@umich.edu 太感谢楼主了！

删除 |

赞回复
失落的人 2021-02-26 15:43:15

楼主，求duc数据集，非常感谢！！2677250566@qq.com

删除 |

赞回复
☁ 楼主 2021-03-03 10:09:13

楼主，求duc数据集，非常感谢！！2677250566@qq.com 楼主，求duc数据集，非常感谢！！2677250566@qq.com 失落的人

已发

删除 |

赞回复
☁ 楼主 2021-03-03 10:09:32

求gigaword，和DUC的数据集。我的邮箱是boyangwa@umich.edu 太感谢楼主了！求gigaword，和DUC的数据集。我的邮箱是boyangwa@umich.edu 太感谢楼主了！ Dawn

已发

删除 |

赞回复
☁ 楼主 2021-03-03 12:27:32

[内容不可见] [内容不可见] 豆友232159672

CNN/DM已发

删除 |

赞回复
豆友232159672 2021-03-03 13:54:45

CNN/DM已发 CNN/DM已发 ☁

[内容不可见]

删除 |

赞回复
爱神曾冰封 2021-03-10 18:11:56

您好楼主！我想求gigaword和您有的所有年份的DUC的数据集。拜托了，非常感谢！邮箱是1837458172@qq.com

删除 |

赞回复
☁ 楼主 2021-03-13 07:09:14

您好楼主！我想求gigaword和您有的所有年份的DUC的数据集。拜托了，非常感谢！邮箱是1837458172@ 您好楼主！我想求gigaword和您有的所有年份的DUC的数据集。拜托了，非常感谢！邮箱是1837458172@qq.com ... 爱神曾冰封

好下午私你

删除 |

赞回复
北狼 2021-03-16 14:25:41

您好楼主！我想求gigaword和您有的所有年份的DUC的数据集和CNNDM的数据集。拜托了，非常感谢！邮箱是547205480@qq.com,希望可以一起讨论文本摘要的问题

删除 |

赞回复
冬白 2021-03-16 22:47:40

楼主你好，可以求个DUC数据集吗，03和04都想要，非常感谢。邮箱是1031177686@qq.com

删除 |

赞回复
爱神曾冰封 2021-03-17 18:52:30

好下午私你好下午私你 ☁

楼主，我好像没有收到，能再发一下吗？邮箱是：1837458172@qq.com，不胜感激！！

删除 |

赞回复
☁ 楼主 2021-03-18 12:20:04

您好楼主！我想求gigaword和您有的所有年份的DUC的数据集和CNNDM的数据集。拜托了，非常感谢！邮您好楼主！我想求gigaword和您有的所有年份的DUC的数据集和CNNDM的数据集。拜托了，非常感谢！邮箱是547205480@qq.com,希望可以一起讨论文本摘要的问题 ... 北狼

gigaword,DUC03 04均已发

删除 |

赞回复
爱神曾冰封 2021-03-18 12:25:41

楼主，我好像没有收到，能再发一下吗？邮箱是：1837458172@qq.com，不胜感激！！楼主，我好像没有收到，能再发一下吗？邮箱是：1837458172@qq.com，不胜感激！！爱神曾冰封

收到了，十分感谢楼主！！

删除 |

赞回复
☁ 楼主 2021-03-18 12:28:44

收到了，十分感谢楼主！！收到了，十分感谢楼主！！爱神曾冰封

看你邮件回信了，你呢哈哈哈有可能是邻校哦

删除 |

赞回复
☁ 楼主 2021-03-22 14:21:25

楼主你好，可以求个DUC数据集吗，03和04都想要，非常感谢。邮箱是1031177686@qq.com 楼主你好，可以求个DUC数据集吗，03和04都想要，非常感谢。邮箱是1031177686@qq.com 冬白

均已发

删除 |

赞 (1) 回复
zoucx 2021-03-23 11:04:11

楼主你好，可以分享你的DUC 03和04的数据集吗？邮箱是791178256@qq.com。非常感谢！

删除 |

赞回复
fff 2021-03-24 11:34:57

楼主您好，可以分享所有年份的数据集Gigaword、CNN/Daily Mail 、New York Times吗，邮箱是784289064@qq.com，拜托了，万分感谢谢谢谢谢谢谢谢谢谢谢

删除 |

赞 (1) 回复
冷酒易安 2021-04-15 14:51:16

楼主你好！可以麻烦你分享一下所有年份发DUC和Gigaword、CNN/Daily Mail数据集吗？邮箱2836426294@qq.com。非常感谢！

删除 |

赞回复
咖啡 2021-04-20 23:25:12

楼主您好！可以分享一份Gigaword数据集给我吗？835915585@qq.com 另外问一句，如果做摘要的话训练集大概要多少条，预测能出不错的效果呀。

删除 |

赞回复
bluekey 2021-04-21 11:55:41

楼主你好，麻烦帮忙分享一下DUC-2004和gigaword的数据集，非常感谢，邮箱shengxin1124@gmail.com

删除 |

赞回复
☁ 楼主 2021-04-22 11:16:18

楼主您好！可以分享一份Gigaword数据集给我吗？835915585@qq.com 另外问一句，如果做摘要的话训楼主您好！可以分享一份Gigaword数据集给我吗？835915585@qq.com 另外问一句，如果做摘要的话训练集大概要多少条，预测能出不错的效果呀。 ... 咖啡

你按照我上面截图的训练集大小做出来效果已经很好了

删除 |

赞回复
☁ 楼主 2021-04-22 11:20:21

楼主你好，麻烦帮忙分享一下DUC-2004和gigaword的数据集，非常感谢，邮箱shengxin1124@gmail.com 楼主你好，麻烦帮忙分享一下DUC-2004和gigaword的数据集，非常感谢，邮箱shengxin1124@gmail.com bluekey

你好,DUC-2004已发给你

删除 |

赞回复
☁ 楼主 2021-04-22 11:58:56

楼主您好，可以分享所有年份的数据集Gigaword、CNN/Daily Mail 、New York Times吗，邮箱是784 楼主您好，可以分享所有年份的数据集Gigaword、CNN/Daily Mail 、New York Times吗，邮箱是784289064@qq.com，拜托了，万分感谢谢谢谢谢谢谢谢谢谢谢 ... fff

CNN/Daily Mail已发

删除 |

赞回复
☁ 楼主 2021-04-22 12:01:07

楼主你好！可以麻烦你分享一下所有年份发DUC和Gigaword、CNN/Daily Mail数据集吗？邮箱283642629 楼主你好！可以麻烦你分享一下所有年份发DUC和Gigaword、CNN/Daily Mail数据集吗？邮箱2836426294@qq.com。非常感谢！ ... 冷酒易安

DUC已私

删除 |

赞回复
xiaoH 2021-04-29 10:42:25

楼主你好，麻烦帮忙分享一下DUC-2004和gigaword的数据集，非常感谢，邮箱765512740@qq.com

删除 |

赞回复
☁ 楼主 2021-04-29 10:49:42

楼主你好，麻烦帮忙分享一下DUC-2004和gigaword的数据集，非常感谢，邮箱765512740@qq.com 楼主你好，麻烦帮忙分享一下DUC-2004和gigaword的数据集，非常感谢，邮箱765512740@qq.com xiaoH

先关注

删除 |

赞回复
娜美丸子 2021-05-10 15:38:48

楼主好，求发DUC2004~differentangle@126.com 已关注

删除 |

赞回复
Hugo 2021-05-25 15:27:37

楼主大大，麻烦发一下gigaword数据集。邮箱：1604467087@qq.com

删除 |

赞回复
qinwei 2021-06-01 12:34:59

楼主你好，求发一下New York Times数据集。邮箱：1102249863@qq.com.已关注

删除 |

赞回复
newcoder_ (LDC语料下载，597955373@qq.com) 2021-06-03 23:18:04

[内容不可见]

删除 |

赞回复
newcoder_ (LDC语料下载，597955373@qq.com) 2021-06-03 23:19:36

[内容不可见] [内容不可见] newcoder_

[内容不可见]

删除 |

赞回复
mushroom 2021-06-05 22:17:04

楼主求一份gigaword数据集，已经关注啦邮箱是643372794@qq.com 谢谢

删除 |

赞回复
☁ 楼主 2021-06-06 20:33:57

楼主好，求发DUC2004~differentangle@126.com 已关注楼主好，求发DUC2004~differentangle@126.com 已关注娜美丸子

已私

删除 |

赞回复
☁ 楼主 2021-06-06 20:38:33

[内容不可见] [内容不可见] newcoder_

DUC已私

删除 |

赞回复
泡泡茶壶 2021-06-11 00:52:52

你好，希望可以获得DUC-2003和DUC-2004的数据集，十分感谢。 jeffery.kim.1994@outlook.com

删除 |

赞回复
☁ 楼主 2021-06-11 00:56:20

你好，希望可以获得DUC-2003和DUC-2004的数据集，十分感谢。 jeffery.kim.1994@outlook.com 你好，希望可以获得DUC-2003和DUC-2004的数据集，十分感谢。 jeffery.kim.1994@outlook.com 泡泡茶壶

明早发您

删除 |

赞 (1) 回复
☁ 楼主 2021-06-11 16:59:38

你好，希望可以获得DUC-2003和DUC-2004的数据集，十分感谢。 jeffery.kim.1994@outlook.com 你好，希望可以获得DUC-2003和DUC-2004的数据集，十分感谢。 jeffery.kim.1994@outlook.com 泡泡茶壶

已发邮箱

删除 |

赞回复
。。。 2021-07-22 09:46:42

老师，您好！求NYT数据集，谢谢您。邮箱：978105863@qq.com

删除 |

赞回复
☁ 楼主 2021-07-24 00:50:20

老师，您好！求NYT数据集，谢谢您。邮箱：978105863@qq.com 老师，您好！求NYT数据集，谢谢您。邮箱：978105863@qq.com 。。。

好周一给你发

删除 |

赞回复
于亚杰 2021-07-25 18:50:52

您好，求一份NYT数据集，谢谢啦~邮箱821415351@qq.com

删除 |

赞回复
☁ 楼主 2021-08-07 22:15:04

老师，您好！求NYT数据集，谢谢您。邮箱：978105863@qq.com 老师，您好！求NYT数据集，谢谢您。邮箱：978105863@qq.com 。。。

已私

删除 |

赞回复
nlp小小学生 2021-08-18 14:39:03

老师您好求一下 CNN/DM 感谢 807696182@qq.com

删除 |

赞回复
木马 2021-08-23 14:54:04

老师您好！求NYT数据集，谢谢您。邮箱：linmou_people@126.com

删除 |

赞回复
乖小晗 2021-09-16 16:59:06

楼主你好～我最近也在看文本摘要方面的内容，请问方便的话，可以发一下Duc、gig

删除 |

赞回复
LarFii 2021-10-14 15:20:20

楼主你好！求NYT数据集，已关注，感谢 834462287@qq.com

删除 |

赞回复
范特西 2021-10-28 20:54:47

楼主您好！求一份NYT数据集，万分感谢！ 619718554@qq.com

删除 |

赞回复
林俊杰的女朋友 2021-11-16 19:00:25

楼主您好，如果宁方便的话求一份Gigaword与DUC的数据集超级感靴！1479760018@qq.com

删除 |

赞回复
☁ 楼主 2021-11-18 18:04:00

楼主您好，如果宁方便的话求一份Gigaword与DUC的数据集超级感靴！1479760018@qq.com 楼主您好，如果宁方便的话求一份Gigaword与DUC的数据集超级感靴！1479760018@qq.com 林俊杰的女朋友

可加VX:jzlcream

删除 |

赞回复
徐行 2021-12-23 16:30:33

楼主可以分享下NYT的数据集吗？我的邮箱1729604340@qq.com

删除 |

赞回复
☁ 楼主 2021-12-23 17:18:01

楼主可以分享下NYT的数据集吗？我的邮箱1729604340@qq.com 楼主可以分享下NYT的数据集吗？我的邮箱1729604340@qq.com 徐行

好的

删除 |

赞回复
请喊我学习 2022-05-03 09:35:41

楼主你好可以分享一下newyorktime的数据集吗拜托了非常感谢邮箱是844168904@qq.com 真的很需要很感谢！！

删除 |

赞回复
请喊我学习 2022-05-03 09:58:40

楼主你好可以分享一下newyorktime的数据集吗拜托了非常感谢邮箱是844168904@qq.com 真的很需楼主你好可以分享一下newyorktime的数据集吗拜托了非常感谢邮箱是844168904@qq.com 真的很需要很感谢！！ ... 请喊我学习

已关注

删除 |

赞回复
sanford 2022-09-25 18:20:22 四川

你好啊，请问有没有DUC2007的数据集呢

删除 |

赞回复

你的回复

回复请先登录 , 或注册

自然语言处理

5156 人聚集在这个小组

加入小组

相关内容推荐

最新讨论 ( 更多 )

有没有接NLP的活的？ (xline)
NLP数据集共享、LDC语料 (LDCcorpus)
🌟 推出 "Awesome-Awesome-Artificial-Intelligence" GitHu... (赵志民)
探索榜单新天地：我们组的最新研究和超实用榜单资源上线啦！ (赵志民)
有偿采访 (Double)

↑回顶部