針對網絡暴力呈現的新形態,抖音近日推出AI反網暴行動,上線AI反網暴Agent(智能體),讓網暴識別模型、研判模型與人工協同工作,並優化外呼救助機制,覆蓋風險發現、事件研判、主動治理到外呼救助,平台治理實現從「被動等舉報」到「主動找風險」的轉變。
據了解,系統升級後,平台日均識別出的潛在被網暴風險人群擴大91.5%,每天有數千名用戶收到預警後主動開啟防網暴功能,因風險等級高而被人工外呼援助的受害者數量增長147%。
抖音升級後的AI反網暴Agent,可以讓網暴識別模型與研判模型同時工作,在一些風險發酵的早期就捕捉到用戶的求助「信號」。其中,網暴識別模型不再只盯着單條評論的關鍵詞,而是會關注用戶的整體互動情況,並且會全天候覆盤誤判案例,自主學習新的網暴手段,哪怕是剛流行起來的新梗攻擊,也能快速識別,防止惡意鑽空子。
對於施暴者,平台會根據情節輕重採取梯度化處置,包括下架違規內容、限制互動功能、永久封禁賬號等措施。對於跨賬號持續騷擾、情節惡劣的行為,平台會酌情升級處置;涉嫌違法犯罪的,平台將主動配合公安機關提供相關證據,依法追究法律責任。