Fox News Digitalによるコカ・コーラのパーソナライズ缶プラットフォームの調査で、ソーシャルメディア上の大きな反発を受けた同ツールがどのカスタムメッセージを許可しブロックしているかをめぐり、企業のコンテンツモデレーションシステムに不整合があることが明らかになった。

コーク缶に18文字以内のフレーズを印刷できるこのカスタマイズ機能では、「Jesus is Lord」や「Allah is Lord」などの主流な宗教的表現がブロックされる一方、「God is Dead」「Atheist Pride」「Shalom」「Buddha Bless」などのフレーズは許可されていた。政治的スローガンでは「Make America Great」や、「White Pride」「Black Pride」「Black Lives Matter」を含むすべての人種的・アイデンティティに関連するプライドのフレーズもブロックされた。しかし、「Defund the Police」のようなスローガンや、極右の「Proud Boys」といったグループ名はフィルターによって許可された。

地政学的な不整合も浮上した。「Stand with Israel」は許可された一方、「Free Palestine」はブロックされた。

フレーズが拒否された場合、システムは次のメッセージを表示する：「The name or phrase you've submitted is not permitted. Names and phrases may not be permitted if they belong to a business, organization, celebrity, public figure, school, team or other trademark, are religious or political in nature, or could be considered inappropriate or unsuitable for other reasons.」

特に、金曜日午後の時点で「Pedophile Pride」や「MAP Pride」（Minor-Attracted Person＝未成年者に性的魅力を感じる人物）のような極端で有害なフレーズがシステムによって許可されていた。また、スペースを挿入する（「P e d o p h i l e」）や文字を数字に置き換える（「Wh1t3 Pr1d3」）といった基本的な回避手法も、モデレーションルールをすり抜けていた。

コカ・コーラのオンラインカスタマイズツールはリアルタイムのデジタルプレビューを生成するが、同社のサイト規約では、注文が実際に印刷・発送される前に、送信されたテキストの追加レビューが必要な場合があると記載されている。

今回の発見は、ユーザー生成コンテンツを導入する消費者ブランドが直面するより広範な課題を浮き彫りにしている。自動モデレーションシステムは、宗教、政治、社会的言語の全領域にわたってコンテンツポリシーを一貫して適用することに苦戦しており、特に悪意のあるユーザーが意図的に境界を試す場合に顕著である。同様のモデレーションの不備は、ソーシャルプラットフォームやEコマースのパーソナライズツールでも表面化しており、表現の自由とブランドの安全性の間の緊張関係は大規模には解決困難なままである。

コカ・コーラの広報担当者はFox News Digitalに対し、次のように述べた。「We created the Share A Coke personalization tool for Coca-Cola fans to celebrate with one another and make connections by creating bottles and cans with special names or phrases on them. We are aware of a technical issue affecting the personalization preview tool and are working to address it.」

「While we review and take corrective action, we have disabled the preview feature and paused new personalized product orders after becoming aware that it has been used to generate content previews using restricted terms that do not align with our guidelines」と同広報担当者は続けた。「All personalization orders are subject to moderation review after submission, and we have safeguards in place to prevent the approval and production of cans and bottles featuring religious, political, trademarked, inappropriate, or otherwise restricted terms and phrases. We will continue to enhance this tool based on consumer feedback.」

コカ・コーラの自動カスタマイズフィルターが世間の厳しい目にさらされるのはこれが初めてではない。2021年には、同ブランドのオンラインカスタマイズエンジンの以前のバージョンが、政治的、宗教的、社会的運動に関連する用語の不整合なブロックについて同様の批判を受けた。この再発は、リアルタイムプレビューフィルターと生産前の人間によるレビューチェックポイントという2層構成のアプローチが有害な製品の発送を防ぐことには有効かもしれないが、ユーザーが不適切なプレビューのスクリーンショットをオンラインで生成・共有することを防ぐことはできず、それこそが典型的にブランドの評毀損害が発生する場面であることを示唆している。