CMMLU

CMMLU是一项全面的中文评测基准，旨在评估语言模型在中文环境下的知识与推理能力，涵盖了从基础学科到高级专业的67个主题。该基准包括自然科学中的计算和推理、人文和社会科学中需要的知识，以及需要生活常识的中国驾驶规则等。此外，CMMLU中的许多任务具有中国特有的答案，这些答案在其他地区或语言中可能并不适用。因此，它是一个完全本土化的中文测试基准。