土耳其和阿拉伯语恨意言论检测研究

背景

在线仇恨言论已成为全球针对少数族群暴力的根源，包括大规模枪击、绞刑和种族清洗等事件。当仇恨言论针对特定群体（基于宗教、种族、民族、文化、国籍或移民身份）时，社会面临的挑战是：在维护言论自由与在广泛使用的在线平台上实施有效内容监管之间取得平衡。针对这一挑战，本文提出了一份覆盖土耳其和阿拉伯语的全面仇恨言论数据集，并开发了最先进的基于BERT的模型，用于多维度分析，包括仇恨类别分类、仇恨强度预测、目标识别和仇恨言论跨度检测，从而全面理解在线话语中的仇恨内容。

核心内容

在线仇恨言论已被证明与全球针对少数族群的暴力事件增加直接相关，这些事件包括大规模枪击、绞刑和种族清洗等。尤其当仇恨言论针对特定群体——依据宗教、种族、民族、文化、国籍或移民身份时，社会在确保言论自由的同时，又要对流行在线平台上的内容进行有效监管时，面临的挑战尤为突出。

为了应对这一挑战，研究者引入了一份全面的仇恨言论数据集。该数据集覆盖了五个独特的土耳其语话题：难民、以色列-巴勒斯坦冲突、土耳其的反希腊情绪、族群或宗教社区（包括Alevis、Armenians、Arabs、Jews和Kurds），以及LGBTI+，以及阿拉伯语中的一个话题：难民。

此外，研究者还开发了最先进的BERT-based模型，用于处理仇恨言论分析的多个维度。这些维度包括仇恨类别分类、仇恨强度预测、目标识别，以及仇恨言论跨度检测。通过这些模型，能够实现对在线话语中仇恨内容的全面理解。

参考文献与引用部分显示了相关工具和资源，但未提供具体引用细节。数据集、代码和媒体资源已与Hugging Face、alphaXiv等平台关联，便于后续研究和应用。

关键要点

• 本文针对在线仇恨言论问题，提出了一份覆盖土耳其和阿拉伯语的全面数据集，包含多个特定话题和主题。
• 研究强调了仇恨言论与全球暴力事件的联系，尤其针对少数族群的宗教、种族、民族、文化、国籍或移民身份方面的针对性。
• 开发了最先进的BERT-based模型，实现仇恨类别分类、仇恨强度预测、目标识别和仇恨言论跨度检测等多维度分析。
• 模型支持在平衡言论自由与平台内容监管之间的应用，推动在线平台的内容审核和话语分析。
• 数据集与模型资源已通过Hugging Face、alphaXiv等平台开放，便于研究者进一步验证和扩展。

意义与影响

本研究为应对在线仇恨言论带来的社会挑战提供了实用的工具和数据支持。它使社会能够更有效地平衡言论自由与内容监管需求，尤其在在线平台上针对少数族群的暴力风险方面。模型的跨维度分析能力有助于平台识别和减轻有害内容，减少种族清洗等事件的发生风险，从而促进更安全的在线环境。数据集的多样性和模型的先进性为后续相关研究奠定了基础，长期来看将推动AI在内容审核和话语分析中的应用，助力构建包容性数字社会。