Chinese & Multilingual Datasets

覆盖上百种语言的 Common Crawl 单语语料集合。

中文语言理解评测基准，覆盖分类、推理与阅读理解等任务。

中文抽取式阅读理解数据集。

百度发布的大规模中文开放域问答与阅读理解数据集。

面向低资源机器翻译评测的多语言平行语料基准。

C4 的多语言扩展，用于多语言语言模型预训练。

基于 Common Crawl 构建的大规模多语言网页文本语料。

从 Wikipedia 挖掘得到的大规模多语言平行句对语料。

跨语言理解与生成任务的多语言评测基准。