在線社交網(wǎng)絡(luò) (OSN, Online Social Network) 會吸引攻擊者通過濫用帳戶（Abusive Account）進行惡意活動。作為反制措施，OSN 經(jīng)常使用機器學(xué)習(xí) (ML, Machine Learning) 方法部署惡意帳戶分類器。然而，一個實用、有效的基于 ML 的防御方法需要精心設(shè)計對抗性操作的魯棒性特征，然后獲得足夠的標記數(shù)據(jù)用于模型訓(xùn)練，并設(shè)計一個可以擴展到 OSN 上所有活動帳戶的系統(tǒng)（上億級）。
為了應(yīng)對這些挑戰(zhàn)，本研究提出了深度實體分類（DEC, Deep Entity Classifification），這是一種可以檢測 OSN 中濫用賬戶的機器學(xué)習(xí)框架。雖然單獨的賬戶可能難以分類，但它們在社交圖中的嵌入——他們自己和周圍人的網(wǎng)絡(luò)結(jié)構(gòu)、屬性和行為——對于攻擊者來說從根本上和規(guī)模上難以復(fù)制或操縱。系統(tǒng)具有：
• 通過聚合社交圖中直接和間接鄰居的屬性和行為特征，提取賬戶的“深層特征”（deep features）。
• 采用“多階段多任務(wù)學(xué)習(xí)”(MS-MTL, Multi-Stage Multi-Task Learning) 范式，通過在不同的階段使用少量高精度人工標記樣本和大量低-精密自動化標簽。這種架構(gòu)產(chǎn)生的模型可以為多種類型的濫用賬戶提供高精度分類。
• 通過降低系統(tǒng)負載的各種抽樣和重新分類策略擴展到數(shù)十億用戶。 DEC 已部署在 Facebook中，它持續(xù)對所有用戶進行分類，與其他傳統(tǒng)方法相比，網(wǎng)絡(luò)上的濫用賬戶減少了 27%。
0x01 Introduction
在線社交網(wǎng)絡(luò) (OSN) 連接了全球數(shù)十億用戶。最大的社交網(wǎng)絡(luò) Facebook 每月有超過 20 億活躍用戶分享內(nèi)容。這些網(wǎng)絡(luò)的龐大規(guī)模又吸引了試圖利用這些平臺謀取經(jīng)濟、政治和個人利益的攻擊者。雖然大多數(shù) OSN 活動來自合法用戶，但攻擊者在注冊虛假賬戶（即不代表真人的賬戶）、創(chuàng)建冒充賬戶或盜取賬戶等方面投入了大量資源。這些濫用帳戶被用來推動一系列負面行為，包括垃圾郵件、虛假熱度、暴力等活動——所有這些行為都違反了社區(qū)規(guī)范，并且被廣泛研究。
OSN 面臨的一個核心挑戰(zhàn)是如何以可擴展和精確的方式識別和修復(fù)濫用帳戶。需要能夠?qū)?shù)十億用戶和數(shù)百億日常操作進行操作的可擴展性方法，以檢測數(shù)十種不同的濫用類型。優(yōu)先考慮精度的系統(tǒng)是必要的，因為濫用帳戶相對較少，因此精度下降會導(dǎo)致 OSN 對大量良性用戶采取錯誤行動。
OSN 使用了廣泛的技術(shù)，從基于規(guī)則的啟發(fā)式到現(xiàn)代機器學(xué)習(xí)算法對濫用帳戶進行大規(guī)模分類和補救�；谝�(guī)則的啟發(fā)式作為第一道防線，識別基本或常見的攻擊者工具、技術(shù)和資源。然而，這些啟發(fā)式方法缺乏力量：它們專注于精確度而不是召回率，它們通常無法捕捉帳戶行為的復(fù)雜性，并且它們根據(jù)定義是反應(yīng)性的。機器學(xué)習(xí)系統(tǒng)克服了其中一些問題：它們從過去的標記數(shù)據(jù)中進行泛化以提高召回率，并且可以隨著時間的推移進行迭代以適應(yīng)對抗性進化。然而，精確的機器學(xué)習(xí)系統(tǒng)需要大量高質(zhì)量的標記實況數(shù)據(jù)，部署成本可能很高（在工程工作和計算資源方面），并且可以被學(xué)習(xí)如何模仿真實賬戶的攻擊者規(guī)避�；谝�(guī)則的啟發(fā)式和傳統(tǒng)機器學(xué)習(xí)系統(tǒng)可以識別和糾正絕大多數(shù)濫用行為，但識別剩余的難以分類的賬戶——那些與真實用戶非常相似和/或逃避 OSN 防御的賬戶——需要從根本上不同的和更復(fù)雜的解決方案。
一個關(guān)鍵的認識是，雖然攻擊者可以生成看似合法的濫用帳戶，但這些帳戶嵌入和參與社交圖譜從根本上難以偽造。例如，給定用戶發(fā)送的好友請求數(shù)量很容易被攻擊者控制，但該用戶的所有好友發(fā)送的好友請求數(shù)量卻超出了攻擊者的控制范圍。盡管攻擊者可以嘗試偽裝他們的帳戶通過連接到圖中的合法節(jié)點，這種策略不僅難以大規(guī)模實施，而且還會產(chǎn)生傳統(tǒng)方法可以檢測到的副作用（例如，大量拒絕的朋友請求）。
本研究開發(fā)了深度實體分類，一種用于 OSN 濫用帳戶檢測的方法和支持系統(tǒng)。DEC 不是基于“直接”特征和行為對賬戶進行分類，而是利用社交網(wǎng)絡(luò)結(jié)構(gòu)，通過跨圖操作為每個賬戶提取 20,000 多個特征。這些特征用于訓(xùn)練監(jiān)督機器學(xué)習(xí)模型，將賬戶分類為多種不同類型的濫用行為。 DEC 系統(tǒng)包括標簽生成和特征提取，以及模型訓(xùn)練、部署和更新。最終，DEC 會產(chǎn)生對對抗性迭代具有魯棒性的每個帳戶濫用分類結(jié)果。
DEC 的圖遍歷生成的大量特征在模型訓(xùn)練方面帶來了兩個挑戰(zhàn)。首先，大的特征空間可能會顯著增加底層模型的復(fù)雜性，導(dǎo)致泛化能力差和性能下降。其次，在如此多的特征上獲得適當(dāng)?shù)姆夯瘜⑿枰谝粋�問題空間中使用非常大的訓(xùn)練集，在這個問題空間中，很難在十億用戶規(guī)模上獲得高質(zhì)量的人工標記數(shù)據(jù)。
除了小規(guī)模、高質(zhì)量的人工標記數(shù)據(jù)外，還可以利用基于規(guī)則的啟發(fā)式方法的結(jié)果作為額外的“近似標簽”。這些規(guī)則的分類不是人工審查的，因此精度低于人工審查的數(shù)據(jù)，但絕對數(shù)量要高得多�；谶@一觀點，設(shè)計了一個MS-MTL框架�？蚣芡ㄟ^使用大量近似標簽訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)提取低維可轉(zhuǎn)移表示，然后根據(jù)學(xué)習(xí)的表示和高質(zhì)量的人工標記數(shù)據(jù)微調(diào)專用模型。
模型訓(xùn)練發(fā)生在兩個不同的階段。第一階段使用大量低精度近似標簽在收集的特征上訓(xùn)練多任務(wù)深度神經(jīng)網(wǎng)絡(luò) 。由于由這些較低精度信號識別的帳戶表現(xiàn)出多種不同的濫用類型（例如垃圾郵件、令人反感的內(nèi)容或惡意軟件），為每種濫用類型制定了一個學(xué)習(xí)“任務(wù)”。然后將神經(jīng)網(wǎng)絡(luò)的倒數(shù)第二層提取為低維特征向量。該向量被輸入到模型的第二階段，該模型使用每個任務(wù)的高精度人工標記數(shù)據(jù)和標準二元分類器進行訓(xùn)練。
MS-MTL 允許 DEC 在第一個模型階段學(xué)習(xí)不同濫用類型的潛在共同表示，然后在第二階段使用具有單獨模型的高精度數(shù)據(jù)區(qū)分不同的濫用類型，從而為每個濫用產(chǎn)生一個分數(shù)每個帳戶的類型。通過這種方式可以使用單一模型將表現(xiàn)出多種濫用類型（例如，詐騙、垃圾郵件、成人內(nèi)容等）中的任何一種的濫用帳戶標記為abusive。
DEC 被部署在 Facebook，并已在生產(chǎn)環(huán)境中運行了兩年多。在此期間，DEC 導(dǎo)致了數(shù)億個濫用帳戶的識別和補救措施。通過將 DEC 采取行動的賬戶數(shù)量與平臺上剩余的濫用賬戶數(shù)量的無偏估計進行比較，推斷 DEC 負責(zé)將濫用賬戶的數(shù)量減少約 27%。
0x02 Background
A. 濫用賬戶
將Abusive Account即濫用帳戶定義為任何違反給定 OSN 書面政策的帳戶。 攻擊者出于各種原因使用濫用帳戶，包括出于經(jīng)濟動機的計劃（例如，傳播垃圾郵件、詐騙、令人反感的內(nèi)容或網(wǎng)絡(luò)釣魚鏈接）和造成用戶傷害（例如，在線騷擾）。 濫用帳戶可以大致分為兩個維度：
1）賬戶源： 濫用帳戶可能是假的，其中帳戶不代表真實的個人或組織。它也可能是真實的，它是合法用戶帳戶，但被攻擊者劫持。
2）惡意行為： 濫用帳戶可以通過其進行的惡意行為類型來表征，例如傳播詐騙或垃圾郵件。
B. 防御方法
針對 OSN 上的濫用帳戶有多種類型的防御措施�；谝�(guī)則的啟發(fā)式方法，例如對特定用戶操作的速率限制，簡單明了，易于設(shè)計和評估，并且在實踐中非常強大。但是它們通常是被動的，允許在超過閾值并觸發(fā)規(guī)則之前進行一定程度的濫用。此外，他們保守地關(guān)注精確度而不是召回率，以避免誤報。
另一種大規(guī)模檢測技術(shù)是基于機器學(xué)習(xí)的分類，它通過消化更多特征來增加檢測算法的復(fù)雜性。然而，攻擊者可以（有時很快）適應(yīng)分類器的動作，這使得正確設(shè)計攻擊者難以發(fā)現(xiàn)和逃避的特征變得具有挑戰(zhàn)性。這種方法的另一個挑戰(zhàn)是收集足夠的高精度訓(xùn)練數(shù)據(jù)。人工標記通常是最可靠的來源，但在時間、金錢和人力方面可能很昂貴。
基于規(guī)則的啟發(fā)式和典型的基于機器學(xué)習(xí)的分類器能夠識別在線服務(wù)中的絕大多數(shù)濫用活動。識別那些能夠逃避主要檢測系統(tǒng)的賬戶是一項特別困難的挑戰(zhàn)，因為它們代表了最難分類的賬戶。例如，此類帳戶可能是攻擊者在適應(yīng) OSN 防御時迭代的帳戶，或者它們可能非常類似于真實用戶。本文中介紹的系統(tǒng)旨在通過在社交圖上采用攻擊者難以操縱的稀疏聚合特征以及使用多階段訓(xùn)練框架來緩解這些問題。
0x03 DEC System Overview
DEC可以從活躍的 Facebook 賬戶中提取特征并對其進行分類，然后對分類的濫用賬戶采取行動。為了以可擴展的方式部署這樣的系統(tǒng)，需要解決多個挑戰(zhàn)：包括可擴展性、延遲、各種濫用類型和誤報。 DEC 使用多個組件來分別處理這些挑戰(zhàn)。下圖顯示了 DEC 架構(gòu)。在最高級別將 DEC 分解為在線和離線組件，隨后進行討論。
A. 在線組件
DEC 由 Facebook 用戶操作觸發(fā)。當(dāng)一個動作發(fā)生時，DEC 可以基于啟發(fā)式算法安排一個與用戶活動并發(fā)的任務(wù)，以開始提取目標節(jié)點的原始特征和采樣的相鄰節(jié)點。對于 Facebook 上的普通帳戶，DEC 需要為數(shù)百個相鄰節(jié)點中的每個節(jié)點提取數(shù)百個特征，從而要提取數(shù)萬個原始特征。這樣的查詢計算量很大，因此整個過程是異步離線完成的，不會影響用戶的正常站點活動。在特征提取之后，DEC 聚合原始特征以形成數(shù)值稀疏特征。然后 DEC 根據(jù)聚合特征和生產(chǎn)模型為賬戶生成分類結(jié)果。如果該帳戶被歸類為濫用行為，DEC 將對該帳戶進行強制措施。
B. 離線組件
DEC 的離線組件包括模型訓(xùn)練和反饋處理。為了對多種類型的濫用進行分類，DEC 維護了多個模型，其中每個模型處理不同類型的濫用。每個專用模型都在從作為并發(fā)特征提�。ㄔ诰�組件）的一部分收集的原始特征中學(xué)習(xí)到的低維嵌入上進行訓(xùn)練。 DEC 使用 MS-MTL 訓(xùn)練框架同時訓(xùn)練和維護不同濫用類型的模型。
作為在 Facebook 內(nèi)實施的一部分，DEC 已將人工標簽和用戶反饋整合到培訓(xùn)和執(zhí)行過程中。 Facebook 使用專門的專家團隊，他們可以標記帳戶是否存在濫用行為。這些專家主動（基于特征）和被動（基于用戶反饋）標記帳戶。對于主動標記，人工標記員檢查各種檢測信號所面臨的帳戶，取樣、標記它們，然后采取相應(yīng)的行動。對于反應(yīng)性標簽，該過程始于用戶對執(zhí)法行動提出上訴（通過 Facebook 產(chǎn)品顯示）。然后，人工審核員會調(diào)查該帳戶并接受上訴（從 DEC 的角度來看是誤報）或拒絕上訴（真陽性）。主動和被動的人類標簽結(jié)果都作為標記數(shù)據(jù)輸入到 DEC 模型訓(xùn)練中。離線模型訓(xùn)練使用人工標記的數(shù)據(jù)與從在線組件中提取的特征相結(jié)合。經(jīng)過反復(fù)的離線和在線測試，更新的模型被部署到生產(chǎn)中。 Facebook 定期對 DEC 進行再培訓(xùn)，以利用最新的濫用模式和信號�？偠灾�，DEC可以：
1）提取 Facebook 上所有活躍賬戶的“深度特征”以允許分類。
2）使用分類來預(yù)測所有活躍賬戶的濫用程度，為所有積極參與網(wǎng)絡(luò)的用戶保持最新的分類結(jié)果。
3）結(jié)合用戶和標注者的反饋來迭代分類器模型。
0x04 Methods: Deep Feature Extraction
特征提取是DEC的核心部分。與傳統(tǒng)的濫用檢測系統(tǒng)相比，DEC 使用聚合特征計算過程，旨在提取“目標”帳戶的深層特征。
A. 深層特征
在 DEC 的語境中，“深度”是指在社交圖譜中扇出的過程。該圖不僅包含用戶，還包含平臺支持的所有實體，例如群組、帖子等。直接特征是僅作為特定實體的函數(shù)的特征，例如帳戶年齡或組大小。深層特征是與相關(guān)實體相關(guān)聯(lián)的實體的直接特征的函數(shù)。例如，“帳戶朋友的平均年齡”是該帳戶的一個深層特征。深度特征可以遞歸定義，作為關(guān)聯(lián)賬戶上深度特征的聚合；例如，一張照片的深層特征可能是“照片中標記的人的朋友加入的平均組數(shù)”。
深度特征對分類很有用，因為它們通過查看相鄰節(jié)點來揭示目標節(jié)點在社交圖中的位置。例如，在虛假賬戶的檢測中，可以通過深度特征揭示的一個常見模式是批量創(chuàng)建虛假賬戶。在對虛假賬戶進行分類時，深度特征包括來自注冊賬戶的 IP 地址的特征，以及從 IP 地址創(chuàng)建的所有其他賬戶。在使用上述特征進行分類時，可以很容易地檢測到批量注冊的腳本活動。
一個關(guān)鍵是，深度特征不僅提供有關(guān)帳戶的額外信息，而且攻擊者也難以操縱�？刂茖嶓w的人可以輕松更改大多數(shù)直接特征。例如，帳戶年齡由帳戶所有者控制，組成員資格由組管理員控制。相比之下，從與目標帳戶關(guān)聯(lián)的實體生成的聚合特征更難更改。例如，如果考慮用戶所有朋友的年齡，則該用戶很難改變平均值，尤其是當(dāng)朋友的數(shù)量很大時。最終甚至可以更進一步，審查所有朋友的朋友，而攻擊者幾乎不可能完全改變這些信息。
上表列出了 DEC 考慮的一些實體類型，包括用戶、群組、設(shè)備、照片、狀態(tài)更新和群組帖子。對于每種實體類型，列出了一些直接特征和深度實體的示例。對于直接特征，使用其他 ML 分類器有效利用的特征，以及在手動調(diào)查中發(fā)現(xiàn)有用的特征。
上圖展示了一個示例深度特征。此特征基于示例帳戶的兩跳內(nèi)的相鄰節(jié)點（中心，橙色）。兩個節(jié)點之間的邊表示共同朋友的關(guān)系。與直接特征相比，這個 2 跳深度特征具有成倍增加的相關(guān)值構(gòu)成特征。
B. 實施
為了將上述示例擴展到生產(chǎn)環(huán)境，需要解決三個問題：
(a) 查看什么樣的相鄰節(jié)點？
(b) 如何才能有意義地生成深層特征？
(c) 如何防止計算成本在扇出時爆炸？
OSN 產(chǎn)品的復(fù)雜性和多樣性要求開發(fā)者盡可能通用地構(gòu)建系統(tǒng)，允許在它們之間整合各種各樣的實體和邊。研究者還希望能夠在 Facebook 上出現(xiàn)新特征和產(chǎn)品時添加新類型的實體或邊。在社交圖中，即使是一對實體也可以連接多種類型的邊。例如，用戶可以通過成為組的管理員來連接到組。他們也可以通過會員來連接，這是一種較弱的連接。更進一步，用戶可以通過評論群組中的帖子來建立聯(lián)系。
為了定義深層特征，研究者在節(jié)點的直接特征集上應(yīng)用聚合技術(shù)，有效地利用跨賬戶集群的聚合特征來識別虛假賬戶。如上表所示，對數(shù)值特征和分類特征使用不同的聚合方法。為了聚合諸如年齡之類的數(shù)字特征，計算了它們分布的統(tǒng)計數(shù)據(jù)，例如平均值和百分位數(shù)。另一方面，對于諸如國籍之類的分類特征，策略是將它們統(tǒng)計地聚合成數(shù)字特征。最后還通過觀察給定分類特征的數(shù)字特征的分布，將數(shù)字特征與分類特征聯(lián)合聚合。例如，如果設(shè)備使用 Android 操作系統(tǒng)，則特征可以是從與目標帳戶相同的設(shè)備登錄的帳戶數(shù)量。
使用聚合有兩個優(yōu)點：首先，它產(chǎn)生了密集的特征向量，降低了模型的維數(shù)。其次，它有助于模型抵抗對抗性適應(yīng)。請注意不需要明確定義每個深度特征：可以定義各種圖遍歷步驟（例如，用戶→用戶或用戶→組→照片）并自動將所有聚合方法應(yīng)用于目標實體的所有直接特征。在實踐中，這種方法會產(chǎn)生數(shù)千個不同的深度特征。
理想情況下，每次用戶在 Facebook 上發(fā)生操作時，都會觸發(fā)新的特征提取和分類。鑒于必要的計算資源，這在十億用戶規(guī)模上是不可能的。 DEC 依靠啟發(fā)式方法來決定何時開始特征提取和（重新）分類過程。核心思想是在重新分類之間使用“冷卻期”，冷卻期的長度隨著帳戶在平臺上花費更多時間而增加�？梢韵胂�，活躍時間較長的賬戶已經(jīng)通過了許多先前的檢查，通常不太可能被濫用，而新注冊的賬戶更有可能被濫用。
雖然（重新）分類是在生產(chǎn)中實時觸發(fā)的，但特征提取和聚合是異步計算的，而不會干擾帳戶在 Facebook 上的體驗�？紤]到提取所有深度特征的成本，特別是對于在社交圖中具有許多連接的帳戶，本研究限制了每個帳戶使用的計算資源量。具體來說，對用于計算深度特征的相鄰節(jié)點的數(shù)量進行了限制，如果數(shù)量超過限制則隨機采樣。每次重新分類的隨機樣本都不同；目標是從許多不同的角度捕捉實體在圖中的位置。這個采樣過程允許在不減少特征多樣性的情況下限制計算成本。
C. 特征選擇
本研究只使用目標賬戶的深層特征，而不是直接特征，在 DEC 中進行分類。這種選擇的主要動機是因為觀察到直接目標帳戶特征極有可能成為模型中的主要特征。這種不受歡迎的優(yōu)勢是由訓(xùn)練數(shù)據(jù)中固有的偏差引起的。例如，一個實驗性垃圾郵件檢測模型使用了用戶是否發(fā)布 URL 作為特征；事實證明，這個特征很容易成為模型中的主要特征，因為垃圾郵件發(fā)送者比良性用戶更有可能在他們的帖子中包含 URL。但是，它會產(chǎn)生大量誤報，因為它將幾乎所有發(fā)布 URL 的用戶都歸類為濫用。此外，直接特征很容易被攻擊者操縱；一旦攻擊者得知“已發(fā)布 URL”是一項特征，他們就可以從直接發(fā)布 URL 切換到將 URL 作為覆蓋圖放置在照片中以避免被發(fā)現(xiàn)。
D. 特征修改
隨著攻擊者的適應(yīng)以及對其行為的新發(fā)現(xiàn)，將希望向 DEC 添加新特征和/或淘汰性能不佳的特征以節(jié)省計算成本。修改特征時需要考慮兩個問題。首先是對當(dāng)前檢測模型的影響。一旦添加或刪除任何特征，原始 DEC 模型的分類結(jié)果將受到影響，因為模型仍使用原始特征列表進行訓(xùn)練。解決方案是將特征記錄拆分為兩個管道：實驗特征和生產(chǎn)特征。可以將新添加（或刪除）的特征記錄（或不記錄）到實驗組，從中可以訓(xùn)練一個新模型。同時，生產(chǎn)分類器仍然使用生產(chǎn)的特性列表。當(dāng)新模型投入生產(chǎn)時，將實驗特征集切換到生產(chǎn)管道中。
添加特征的第二個問題是在整個圖上重新計算的計算成本。當(dāng)向?qū)嶓w A 添加新的直接特征時，它不僅會影響 A，還會影響所有連接的實體，因為它們使用 A 的特征來計算自己的深度特征。相反，大多數(shù)直接特征都有多個依賴的深度特征，當(dāng)添加單個特征時，多個扇出級別很容易需要重新計算整個特征空間。例如，DEC 需要從朋友的所有朋友中提取 new_feature 以計算第 75 個百分位數(shù) p75 (friends.friends.new_feature)。與朋友一起遍歷其他特征最終會導(dǎo)致重新提取任何活動實體的特征。為了限制重新計算開銷的影響，研究者定義了孤立的特征集合（universes of features）。新舊版本的特征將在平行集合中運行，現(xiàn)有模型使用舊的特征集合，直到新集合的特征生成完成。此時舊集合的特征被包含在內(nèi)，它可以被丟棄，因為新模型將使用新的特征集合進行訓(xùn)練。
0x05 Methods: Multi-Stage Multi-Task Learning
多任務(wù)學(xué)習(xí)(MTL) 是一種遷移學(xué)習(xí)，用于提高模型泛化能力。 MTL 使用單個神經(jīng)網(wǎng)絡(luò)工作模型并行訓(xùn)練多個相關(guān)“任務(wù)”。 核心思想是模型為每個任務(wù)學(xué)習(xí)的內(nèi)容可以提高其他任務(wù)的性能。 在帳戶分類的上下文中，將“任務(wù)”和“標簽”定義如下：
• 任務(wù)是指對 OSN 上特定類別的濫用帳戶（例如，虛假帳戶、垃圾郵件帳戶）進行分類。
• 訓(xùn)練樣本的標簽是一個布爾值，指示樣本是否屬于濫用帳戶類別。 每個訓(xùn)練示例都有多個標簽，每個任務(wù)一個標簽。 這個多標簽由一個布爾值向量表示。
作為一個具體的例子，如果在 DEC 模型訓(xùn)練中采用四個任務(wù)來分類假冒、受損、垃圾郵件和詐騙賬戶，那么一個賬戶的標簽向量可能是 [1,0,0,1]。該向量表明該帳戶被識別為假冒并進行詐騙，但未被識別為已泄露或傳播垃圾郵件。
A. 動機
采用多階段框架來檢測 Facebook 上的濫用帳戶，框架解決了濫用賬戶分類中的三個關(guān)鍵挑戰(zhàn)：同時支持各種濫用類型、利用高維特征空間以及克服高質(zhì)量人類標簽的短缺（相對于數(shù)十億賬戶）。
首先，由于賬戶濫用的方式有很多種，使用不同的任務(wù)來表示不同的濫用子類型，并使用多任務(wù)學(xué)習(xí)來增加模型中編碼的信息量。潛在的假設(shè)是，區(qū)分濫用賬戶和良性賬戶的特征在濫用類型之間是相關(guān)的。因此，針對一種濫用類型所學(xué)的知識有助于確定其他濫用類型，因為表現(xiàn)出一種濫用類型的賬戶更有可能表現(xiàn)出其他濫用行為。與根據(jù)濫用類型拆分標記數(shù)據(jù)并為每種類型訓(xùn)練單獨的模型相比，多任務(wù)訓(xùn)練通過共同查看所有相關(guān)的濫用行為提供了帳戶的全貌。期望這種跨任務(wù)的知識共享將能夠使用多任務(wù)學(xué)習(xí)實現(xiàn)更好的預(yù)測準確性，尤其是對于較小的任務(wù)。
其次，多階段框架通過將高維原始特征向量簡化為低維表示來解決“維數(shù)詛咒”。具體來說，兩個訓(xùn)練階段將特征的數(shù)量從超過10^4個（原始的深度特征空間）減少到大約10^2個（學(xué)習(xí)到的低維表示空間）。通過使用多任務(wù)深度神經(jīng)網(wǎng)絡(luò)的最后一個隱藏層的嵌入作為第二階段訓(xùn)練的輸入特征來實現(xiàn)這一減少。
最后，一個實際的工程問題是人工標記的數(shù)據(jù)非常昂貴，尤其是在帳戶標記領(lǐng)域。為了將帳戶標記為濫用或良性，人工審核者需要查看帳戶的許多方面并在做出決定時考慮多個因素。另一方面，有大量機器生成的標簽形式的低置信度標簽數(shù)據(jù)。這種情況非常適合多任務(wù)學(xué)習(xí)，因為它已被證明可以成功地從嘈雜的標記數(shù)據(jù)中提取有用信息。
B. 訓(xùn)練數(shù)據(jù)收集
本研究有兩個關(guān)于 DEC 中濫用帳戶的數(shù)據(jù)標簽來源。第一個由人工審核員組成，他們會看到來自每個帳戶的數(shù)百個信號，并要求他們判斷該帳戶是否存在濫用行為。以這種方式提供的標簽具有很高的準確性，但計算成本也很高，因此只能以少量（相對于 Facebook 上的數(shù)十億帳戶）獲得。
第二個標簽源由旨在檢測濫用帳戶以及用戶報告的濫用帳戶的自動（非 DEC）算法組成。這些算法可能專注于特定的攻擊或濫用類型，或者可能是以前版本的全局濫用檢測模型。研究者認為由這些算法識別的帳戶大致被標記為濫用帳戶。然后，根據(jù)每個帳戶的濫用類型將標簽分成不同的任務(wù)。為了獲得近似標記的非濫用賬戶，隨機抽取從未被操作過的賬戶。近似標簽的精度低于人工審查的數(shù)據(jù)，但獲取成本要低得多，并且可以大量獲取。例如，在評估中，訓(xùn)練數(shù)據(jù)集有超過 3000 萬個近似標簽，只有 240,000 個人工標簽（下表）。
雖然 3000 萬個標簽看起來很重要，但它只占 Facebook 數(shù)十億賬戶的不到 2%。因此，任何試圖對訓(xùn)練數(shù)據(jù)進行中毒攻擊的攻擊者都需要創(chuàng)建數(shù)千個帳戶，以確保其中一些被訓(xùn)練集采樣為負樣本（如果嘗試，則為數(shù)萬個）毒化第二階段）。另一方面，有數(shù)百萬個負樣本這一事實意味著任何一個帳戶都不能對模型產(chǎn)生過大的影響，從而進一步增加了所需的攻擊規(guī)模。如此大的攻擊對于基于規(guī)則的系統(tǒng)和人類審閱者來說都很容易檢測和標記，因此攻擊者毒害訓(xùn)練集的意圖將被挫敗。此外，即使攻擊者以某種方式獲得了足夠多的賬戶來毒化訓(xùn)練過程，他們也需要操縱這些賬戶上的特征以產(chǎn)生非常具體的值，這很難用“深度特征”實現(xiàn)。為了深入了解這種方法的可靠性，隨機抽取了近似標記的帳戶樣本，并通過前面描述的手動審核過程發(fā)送它們。在這些實驗中，近似標記精度在 90% 和 95% 之間變化，表明近似標記仍然提供顯著的識別能力。
C. 模型訓(xùn)練流程
下圖顯示了 MS-MTL 框架的兩階段訓(xùn)練流程。第一階段在大量低精度數(shù)據(jù)上進行訓(xùn)練，學(xué)習(xí)原始特征的嵌入。然后，應(yīng)用遷移學(xué)習(xí)技術(shù)并使用嵌入和高精度標簽來訓(xùn)練第二階段模型。生成分類結(jié)果作為第二階段的輸出。
（1）第一階段：低精度訓(xùn)練
第一階段的目標是將聚合的原始深度特征的高維向量減少為低維嵌入向量。這種降維是通過使用近似標簽數(shù)據(jù)訓(xùn)練多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型來完成的。訓(xùn)練數(shù)據(jù)中的每個樣本都有一個標簽向量，其中每個標簽對應(yīng)一個任務(wù)，每個任務(wù)對應(yīng)于 Facebook 上濫用帳戶的子類型的分類。訓(xùn)練收斂后，將神經(jīng)網(wǎng)絡(luò)的最后一個隱藏層的輸出作為學(xué)習(xí)的低維嵌入。
對于實現(xiàn)，使用具有 3 個完全連接的隱藏層的神經(jīng)網(wǎng)絡(luò)模型，分別具有 512、64 和 32 個神經(jīng)元。對于每個任務(wù)，模型使用 sigmoid 激活函數(shù)輸出一個概率。使用 Box-Cox 變換對輸入進行歸一化。使用 PyTorch使用每任務(wù)二進制交叉熵和 Adagrad 優(yōu)化器訓(xùn)練模型，學(xué)習(xí)率為 0.01。
（2）第二階段：高精度訓(xùn)練
利用遷移學(xué)習(xí)中的一種技術(shù)從第一階段模型中提取最后一個隱藏層的輸出作為第二階段的輸入。使用高精度人工標記數(shù)據(jù)訓(xùn)練第二階段（GBDT 模型），以對濫用帳戶進行分類，而不管違規(guī)的子類型如何。 GBDT 模型輸出的分數(shù)就是最終的 DEC 分類分數(shù)。對 GBDT 模型的實現(xiàn)使用了 7 個樹的集合，最大深度為 4。使用類似于 XGBoost 的公司內(nèi)部梯度提升框架訓(xùn)練模型，使用懲罰性隨機梯度提升，學(xué)習(xí)率為 0.03特征采樣率為 0.2。
0x06 eva luation
在本節(jié)中將評估MS-MTL 方法和整個 DEC 系統(tǒng)的性能。具體來說分析了三種濫用賬戶模型：
1）僅行為模型，代表 OSN 采用的傳統(tǒng)檢測技術(shù)；
2）DEC 作為單個多任務(wù)神經(jīng)網(wǎng)絡(luò)（“Single Stage”，SS）；
3）DEC 與 MS-MTL。
y研究者對 Facebook 上的活躍賬戶進行了評估。這些帳戶已經(jīng)通過了多個早期安全系統(tǒng)，例如注冊或登錄時間操作，但尚未通過完整的行為（即基于活動和內(nèi)容）檢測。本研究還研究了對抗性適應(yīng)，特別是觀察 DEC 精度和召回率隨時間推移的穩(wěn)定性。
A. 數(shù)據(jù)集
訓(xùn)練數(shù)據(jù)：在Facebook生產(chǎn)數(shù)據(jù)上測試 DEC 的性能。在MS-MTL 實施中考慮了四種類型的濫用帳戶（任務(wù)）：虛假、被盜、垃圾郵件和詐騙。將濫用類型分為這四個不同的類別有兩個原因。首先，他們違反了 Facebook 的不同政策，這導(dǎo)致檢測到的帳戶由不同的執(zhí)法系統(tǒng)采取行動，每個系統(tǒng)都使用不同的上訴流程。其次，不同濫用類型的陽性樣本本質(zhì)上是不均勻的。例如，虛假帳戶主要是由腳本創(chuàng)建驅(qū)動的，而被盜帳戶通常是由惡意軟件或網(wǎng)絡(luò)釣魚引起的。這些帳戶的行為模式和社會聯(lián)系對于每種濫用類型都是獨特的，在表述中很適合不同的“任務(wù)”。維護單獨的近似（較低精度）和人類標簽數(shù)據(jù)集。近似標簽的數(shù)量明顯大于人工標簽。第一個訓(xùn)練階段使用四個近似的濫用帳戶和一個良性帳戶的數(shù)據(jù)集，而第二個階段只需要標記為濫用或良性的人工審核帳戶。大致標記的數(shù)據(jù)來自三個來源：
1）用戶舉報：Facebook 上的用戶可以舉報其他用戶被濫用。這個來源含噪量很高，但適合作為第一階段訓(xùn)練的低精度標簽。
2）基于規(guī)則的系統(tǒng)：在 DEC 之外，F(xiàn)acebook 上還有其他現(xiàn)有的執(zhí)行規(guī)則。將被這些強制措施抓獲的用戶（按濫用類型分類）作為額外的近似標簽來源。由基于規(guī)則的系統(tǒng)標記的用戶示例包括：
• 用戶發(fā)送好友請求太快；
• 用戶有多項內(nèi)容被垃圾郵件檢測系統(tǒng)刪除；
• 用戶分發(fā)到已知網(wǎng)絡(luò)釣魚域的鏈接。
總的來說，基于規(guī)則的系統(tǒng)占濫用帳戶標簽的一半以上。
3）發(fā)現(xiàn)的攻擊：對 OSN 的腳本攻擊很常見，例如惡意軟件或網(wǎng)絡(luò)釣魚攻擊。當(dāng) Facebook 注意到這樣的浪潮時，他們可以為所涉及的帳戶識別一個“簽名”，并將該簽名用作第一階段的大致標簽。這些發(fā)現(xiàn)的攻擊約占濫用帳戶標簽的 10%。
以上所有來源都提供了嘈雜的、低精度的濫用數(shù)據(jù)。雖然不適合全系統(tǒng)訓(xùn)練，但它們適合第一階段的訓(xùn)練。在第一階段，通過隨機抽樣活躍用戶并排除包含在近似濫用數(shù)據(jù)集中的用戶來構(gòu)建一組良性用戶。相比之下，通過讓 Facebook 雇用的人工標注員手動審查平臺上隨機抽樣的用戶來生成第二階段的訓(xùn)練數(shù)據(jù)。被標記為濫用的帳戶被用作訓(xùn)練的正樣本，被標記為良性的帳戶是負樣本。
評估數(shù)據(jù)：為了評估 DEC 的表現(xiàn)，通過對 Facebook 的活躍用戶進行抽樣來創(chuàng)建賬戶評估數(shù)據(jù)集。這些用戶已經(jīng)通過了幾個早期濫用檢測系統(tǒng)，因此包含最難分類的濫用賬戶。使用 Facebook 用于實況測量的相同方法和流程對大量隨機選擇的帳戶進行人工人工標記。然后隨機選擇標記為濫用的 3×10^4 帳戶和標記為良性的 。3×10^4 帳戶進行離線評估。
B. 模型評估
使用三種不同的模型來單獨評估DEC 方法（單階段和使用 MS-MTL）的性能，并與傳統(tǒng)技術(shù)進行比較。請注意，DEC 的目標是識別犯有廣泛濫用類型的帳戶。這種方法超越了主要專注于檢測虛假賬戶的傳統(tǒng) Sybil 防御技術(shù)。這些模型、它們的訓(xùn)練數(shù)據(jù)和它們的評估數(shù)據(jù)的總結(jié)可以在下表中找到。比較的三個模型是：
1）行為：該GBDT模型僅根據(jù)每個賬戶的直接行為特征（例如，朋友數(shù)量）對賬戶進行分類，并輸出該賬戶是否存在濫用行為（不考慮具體的濫用類型）。因此，該模型不使用深度特征，也不是多任務(wù)。由于行為特征的數(shù)量相對較少，使用人類標記的數(shù)據(jù)集來訓(xùn)練模型。該模型代表了 OSN 中使用的傳統(tǒng)基于 ML 的檢測技術(shù)，類似通過對從 Facebook 上已經(jīng)經(jīng)歷過早期修復(fù)的活躍帳戶提取的評估數(shù)據(jù)集進行操作，添加此行為（后期）系統(tǒng)代表了端到端解決方案。采用了一個 GBDT 架構(gòu)，其中包含 200 棵深度為 16 的樹，每棵樹都有 32 個葉節(jié)點。
2）DEC-SS：該模型使用本文概述的 DEC 方法來提取深度特征，但沒有利用 MS-MTL 學(xué)習(xí)方法。通過組合跨多個任務(wù)的所有近似數(shù)據(jù)來訓(xùn)練單個深度神經(jīng)網(wǎng)絡(luò)模型。如果用戶被任何一項包含的任務(wù)識別為違反，將其視為正樣本。由于 DEC 提取的特征數(shù)量巨大，人工標注的數(shù)據(jù)量太少，無法用于訓(xùn)練。
3）DEC-MS-MTL：這是完整的端到端框架和模型。它結(jié)合了僅 DEC 方法和 MS-MTL。
在此評估部分之外，對沒有 MS-MTL 或 SS 限定符的 DEC 的引用指的是 DEC MS-MTL。
C. 性能比較
根據(jù)上述三個模型的結(jié)果比較了各種指標。
（1）ROC 曲線
下圖檢查了所有三個模型的 ROC 性能。 ROC 曲線捕捉分類器中誤報和漏報之間的權(quán)衡。對于曲線上的所有操作點，DEC 模型（MS-MTL 和 SS）的性能明顯優(yōu)于僅行為方法 – 高達 20%，具體取決于操作點。從 ROC 的角度來看，兩個 DEC 模型的表現(xiàn)相似。
雖然 ROC 曲線是衡量模型有效性的重要指標，但它們本質(zhì)上是無標度的，因為 x 軸僅考慮實況負值，而 y 軸僅考慮實況正值。如果被分類的數(shù)據(jù)集是不平衡的，就像濫用賬戶的情況一樣（良性賬戶比濫用賬戶要多得多），ROC 曲線可能無法捕捉分類系統(tǒng)的實際操作性能——尤其是精度，這是一個關(guān)鍵的衡量標準確保訪問濫用檢測系統(tǒng)。
（2）準確率和召回率
下圖比較了模型的精度和召回率。研究發(fā)現(xiàn)行為模型無法獲得高于 0.95 的精度，并且在整個精度范圍內(nèi)的召回率都很差。兩種 DEC 模型的性能都明顯優(yōu)于行為模型，能夠在所有相關(guān)操作區(qū)域?qū)崿F(xiàn)更高的精度和更高的召回率。采用 MS-MTL 的 DEC 在高精度操作點上比單級 DEC 顯著提高了系統(tǒng)召回率，提高了多達 30%。
注意到此評估針對已經(jīng)通過其他安全分類的帳戶，例如注冊時間或登錄時間補救措施（即最難分類的帳戶）。因此，整體召回水平預(yù)計將低于在所有活動賬戶上運行的系統(tǒng)。DEC 與 MS-MTL 相比行為模型在召回方面的改進使其在現(xiàn)實世界的操作環(huán)境中特別有吸引力，在該環(huán)境中，對難以分類的賬戶進行召回是一個重要的操作特征。
（3）定量評估：（AUC）曲線下面積和精度/召回率
下表顯示了三個模型之間的精度、召回率和 ROC 性能的比較。 ROC 性能計算為曲線下的總面積 (AUC)。精度固定為 0.95，這是評估性能的常用操作點。行為模型在任何召回時都無法達到 0.95 的精度，因此被排除在外。發(fā)現(xiàn)雖然 DEC 單階段和 MS-MTL 具有相似的 AUC 性能，但添加 MS-MTL 會使模型召回率增加一倍以上，從 22% 增加到 50%。這種提高的性能，無論是在行為上還是在沒有 MS-MTL 的 DEC 上，都可以在生產(chǎn)中部署時顯著提高對現(xiàn)實世界的影響。
D. 生產(chǎn)環(huán)境中的結(jié)果
基于對 DEC（使用 MS MTL）的設(shè)計和評估，將該系統(tǒng)部署到 Facebook 的生產(chǎn)中。該系統(tǒng)不僅識別出濫用帳戶，還觸發(fā)面向用戶的系統(tǒng)對識別出的帳戶采取行動。為了評估模型對現(xiàn)實世界的影響和壽命，通過觀察精度和召回率隨時間推移的穩(wěn)定性來評估生產(chǎn)系統(tǒng)。
隨時間變化的精度：上圖檢查了在 Facebook 生產(chǎn)中使用 MS-MTL 系統(tǒng)的 DEC 精度的 3 天移動平均值。與之前的評估一樣，依靠人工標記隨機樣本的賬戶來獲得測量的基本事實，這些賬戶被 DEC 歸類為濫用。發(fā)現(xiàn)系統(tǒng)的精度是穩(wěn)定的，精度從不低于0.97，經(jīng)常高于0.98。
隨時間變化的召回率：通過考慮其漏報率（FNR）來檢查生產(chǎn) DEC-MS-MTL 模型召回的穩(wěn)定性，其中 FNR = 1-召回。使用每天隨機選擇并手動標記的 2×10^4 個用戶的縱向樣本，計算了 Facebook 上濫用帳戶數(shù)量的無偏 FNR 統(tǒng)計量度，而不管直接檢測。該度量被表示為濫用賬戶的“流行度”，可以被認為是所有濫用賬戶檢測系統(tǒng)（包括 DEC）的綜合誤報率。如果將被 DEC 專門（而不是其他檢測系統(tǒng)）捕獲的濫用帳戶的數(shù)量添加到流行度測量中，可以估計在沒有 DEC 的情況下濫用帳戶的流行程度。
上圖繪制了一個月期間觀察到的濫用帳戶（部署了 DEC）的流行率和沒有 DEC 的推斷流行率。與非 DEC 方法相比，DEC 召回的損失（相當(dāng)于 DEC 的 FNR 增加）將表現(xiàn)為總體濫用帳戶流行率的增加，或 DEC 的能力下降（差異的減少）兩項措施之間。在為期一個月的實驗中沒有觀察到這兩種現(xiàn)象，這表明 DEC 的回憶在此期間沒有發(fā)生有意義的變化，并表明對 DEC 沒有對抗性適應(yīng)。
在 DEC 推出之前，F(xiàn)acebook 報告了廣告攻擊者在數(shù)小時內(nèi)適應(yīng)新檢測系統(tǒng)的實例；自 DEC 出現(xiàn)以來，一直沒有這樣的報告。此結(jié)論的假設(shè)是DEC 的“深度特征”架構(gòu)使系統(tǒng)比其他濫用帳戶檢測系統(tǒng)更能抵抗對抗性適應(yīng)。希望操縱通過圖聚合的用戶特征的攻擊者必須控制與原始用戶連接的所有相關(guān)實體上的該特征。當(dāng)將此推理應(yīng)用于眾多不同的實體關(guān)聯(lián)時——包括但不限于用戶好友、群組成員資格、設(shè)備所有權(quán)和 IP 地址外觀——得出的結(jié)論是，操縱許多此類特征將是遙不可及的。對于攻擊者來說，比操縱“直接”用戶特征（如國家、年齡或朋友數(shù)量）更昂貴。
自部署以來，DEC 已成為 Facebook 上主要的濫用帳戶檢測系統(tǒng)之一，負責(zé)識別和停用數(shù)億個帳戶。在評估期間，沒有 DEC 的平均估計流行率為 5.2%，而在 Facebook 上觀察到的平均濫用帳戶量為 3.8%，提高了 27%。
DEC 所有帳戶：迄今為止，對 DEC 的評估主要集中在最難分類的濫用類型上——其他生產(chǎn)濫用檢測系統(tǒng)未識別出的帳戶。另一個問題是 DEC 在識別所有濫用帳戶方面的有效性如何，包括那些被其他系統(tǒng)捕獲的帳戶。為了回答這個問題，評估了從 Facebook 上所有賬戶中隨機抽取的 1.6×10^4 個活躍賬戶的 DEC，包括那些被其他系統(tǒng)檢測為濫用的賬戶。這些帳戶由專業(yè)的人工標注員明確標記，并用作評估的基本事實。上表顯示了 DEC 在所有賬戶中的表現(xiàn)。 DEC 在該人群中表現(xiàn)良好，AUC 為 0.981，召回率為 0.981 的精度為 0.95，召回率為 0.955 的精度為 0.99。正如預(yù)期的那樣，固定精度下的 AUC 和召回率均顯著高于其他系統(tǒng)未檢測到的帳戶子群體。
0x07 Discussion and Lessons Learned
在 Facebook 部署了兩年多后，文章作者吸取了很多教訓(xùn)，并確定了開發(fā)和使用 DEC 的一些限制。
A. 減少計算和人力負擔(dān)
為 Facebook 規(guī)模的所有活躍用戶提取圖形特征的計算成本很高。鑒于當(dāng)前在圖中目標節(jié)點的兩跳內(nèi)實現(xiàn)特征提取，對于每個用戶可能需要接觸成百上千個相鄰節(jié)點，以便提取他們的所有信息并將其聚合回目標節(jié)點。為了緩解這個問題開發(fā)了緩存策略，盡可能地重用以前的特征提取結(jié)果。然而，由于許多特征具有時間敏感性，仍然需要在每次重新分類時更新和重新提取相當(dāng)數(shù)量的特征。
DEC 的計算負載很高——相當(dāng)于 Facebook 全球 CPU 資源的 0.7%。DEC 的部署實際上降低了 Facebook 的全球 CPU 使用率。 DEC 通過識別和刪除如此大量的濫用賬戶來實現(xiàn)這一結(jié)果，以至于這些濫用賬戶的 CPU 使用率總和超過了 DEC 的特征提取、訓(xùn)練和部署所需的計算量。DEC 還大大降低了人力成本，即人工評估和刪除濫用帳戶所需的人力審查資源。 DEC 的部署將濫用帳戶檢測所需的總審查資源減少了 15% 到 20%。
B. 劃分與公平
本研究的一個關(guān)鍵發(fā)現(xiàn)是單任務(wù)分類器在任務(wù)中的不同部分執(zhí)行不同。例如，如果按照用戶自報的年齡對賬戶進行細分，那么濫用賬戶分類器在一個年齡段上的誤報率可能高于其他年齡段。同樣，不同地區(qū)的性能可能會有所不同，因為正在構(gòu)建一個模型以適應(yīng)可能在不同文化中以不同方式使用的全球產(chǎn)品。這種變化在如此龐大和異質(zhì)的用戶群中是可以預(yù)期的，可能被解釋為模型對待某些人群相對于其他人群不公平。 在用于本文的數(shù)據(jù)集中，無法找到任何細分群體哪個分類器的性能在統(tǒng)計上存在顯著差異，但是通過再訓(xùn)練和/或不同的分割可能會出現(xiàn)這種不公平現(xiàn)象。因此，研究者主動考慮了一些措施來減少不同細分市場的差異。
一個主要發(fā)現(xiàn)是劃分效果與訓(xùn)練數(shù)據(jù)中的偏差高度相關(guān)。例如，假設(shè)使用帳戶所有者的年齡作為特征，并且訓(xùn)練數(shù)據(jù)中濫用樣本的所有者平均比非濫用樣本的所有者年輕。在這種情況下，如果不調(diào)整訓(xùn)練數(shù)據(jù)中不同部分的比例，分類器可能會得出這樣的結(jié)論，即年輕人擁有的賬戶更容易被濫用。作為防止這種偏見的第一步，研究者從模型中移除了所有“直接”用戶人口特征，包括年齡、性別和國家。雖然這些特征可能有助于預(yù)測濫用行為，但它們很容易在模型中引入不公平，就像上面的年齡示例一樣——不想僅僅因為攻擊者通常選擇設(shè)置假賬戶的年齡小來懲罰年輕的良性用戶。
考慮的另一種方法是對標記數(shù)據(jù)進行采樣，以便創(chuàng)建一個盡可能接近地反映整體 OSN 分布的訓(xùn)練集。在正在進行的工作中，研究者正在嘗試使用基于攻擊聚類的分層抽樣來訓(xùn)練 DEC，特別是對大型集群進行下采樣，以最大限度地減少單次攻擊對最終模型的影響。這種方法將確保來自給定用戶群體的大規(guī)模攻擊不會告訴模型來自該群體的大多數(shù)用戶都是濫用的。然而，隨著試圖匹配越來越多的細分市場，分層抽樣變得異常昂貴。此外，隨著添加更多維度，片段會變得更小，并且統(tǒng)計噪聲很快就會引入足夠的誤差，從而超過采樣帶來的精度增益。
最后一種方法是將特定的段拆分出來，并在 MS-MTL 框架中為它們創(chuàng)建專門的任務(wù)；但這種方法要求為每個部分收集足夠的訓(xùn)練數(shù)據(jù)，并且維護成本隨著所訓(xùn)練的模型數(shù)量的增加而增加。Facebook沒有訓(xùn)練和維護多個模型，而是選擇監(jiān)控特定的高調(diào)片段的誤報峰值，并通過調(diào)整整個模型來減少特定片段的誤報來解決任何問題。
C. 在對抗環(huán)境中測量
由于濫用檢測系統(tǒng)固有地在對抗環(huán)境中運行，因此衡量系統(tǒng)更改的影響是一個特別困難的問題。一個常見的對抗性迭代如下所示：
1）攻擊者找到了濫用Facebook的成功方法；
2）Facebook調(diào)整其檢測系統(tǒng)并減輕攻擊；
3）攻擊者迭代直到他們再次達到1），或者資源成本變得太高并且他們停止。
假設(shè)攻擊者和 Facebook 不斷努力，上述循環(huán)最終會達到平衡。由于這個循環(huán)，很難在部署期間使用 A/B 測試正確衡量模型的效果。如果實驗組太小，將永遠不會到達第 3 步，因為攻擊者沒有改變的動力。指標在實驗組中可能看起來不錯，但當(dāng)更廣泛地推出時，將達到第 3 步，性能會下降。
緩解此問題的一種方法是在特征啟動中添加一個“保留組”。保留組是模型預(yù)測為濫用的用戶的隨機樣本。沒有在檢測到后立即采取行動阻止這些帳戶，而是在對這些用戶強制執(zhí)行之前退后并確認濫用行為按預(yù)期發(fā)生。這種堅持有助于更準確地衡量分類器的精度，但必須仔細權(quán)衡潛在影響，因為堅持可能會導(dǎo)致進一步的濫用。出于這個原因，堅持不用于所有類型的濫用。
D. 對 DEC 的對抗性攻擊
攻擊者可能會試圖通過創(chuàng)建大量試圖被基于規(guī)則的檢測系統(tǒng)標記為良性的被盜帳戶來毒化第一階段的低質(zhì)量標簽。考慮到 DEC 訓(xùn)練數(shù)據(jù)的范圍和相對較低的采樣率，攻擊者很難以顯著影響訓(xùn)練模型的規(guī)模生成此類帳戶，特別是考慮到其他（非 DEC ) 系統(tǒng)專門用于限制大規(guī)模創(chuàng)建虛假賬戶。
攻擊者可能試圖通過創(chuàng)建大量相互連接的虛假帳戶來逃避分類器，以便他們可以控制所有深層特征。這個子圖要么必須與友圖的其余部分隔離（這本身就是可疑的），要么與主圖有合理數(shù)量的連接。在后一種情況下，由于 DEC 在二階連接上運行，幾乎所有 DEC 特征都將包含來自攻擊者無法控制的真實賬戶的數(shù)據(jù)。此外，雖然攻擊者控制了虛假賬戶的行為，但他們不知道一組相似的連接合法用戶的行為，并且虛假賬戶的協(xié)調(diào)活動將被 DEC 檢測為異常。
攻擊者還可以根據(jù)受害者無法控制的鄰居的特征，試圖誘騙 DEC 將良性用戶錯誤分類為濫用行為。例如，攻擊者可以創(chuàng)建上述濫用帳戶的子圖，并嘗試與使用這些帳戶的受害者成為朋友。如果受害者接受一個或多個好友請求，他們會將自己嵌入到濫用子圖中，這可能導(dǎo)致 DEC 對受害者采取錯誤行動。這種“強制嵌入”在執(zhí)行上也具有挑戰(zhàn)性。首先，實體之間的“嘗試”鏈接（例如，未解決或拒絕的好友請求）不是 DEC 中的特征。其次，受害者和濫用子圖之間的單個壞邊不足以導(dǎo)致錯誤分類。受害者需要被多次欺騙，才有可能被錯誤分類。最后，DEC 識別的賬戶有機會完成挑戰(zhàn)或要求人工審查作為故障保險，以防止不正確的分類。
E. 局限性和未來方向
雖然 DEC 在實踐中檢測濫用帳戶方面非常有效，但其設(shè)計提供了幾個改進機會：
• DEC 的計算成本很高，尤其是由于它使用了深度特征。然而，請前文論了如何通過識別更多濫用帳戶所節(jié)省的資源來平衡這種高計算成本。進一步降低計算成本是一個活躍的工作領(lǐng)域，至少與提高模型質(zhì)量一樣受到關(guān)注。
• 直觀地說，DEC 的分類基于帳戶在 Facebook 圖表中的位置和連接。表現(xiàn)出低水平活動或連接的帳戶為 DEC 提供的用于推理的信號較少，從而限制了其有效性。然而即使這樣的賬戶是濫用的，它們本質(zhì)上對 Facebook 及其用戶的影響也較小。目前正在探索包含更好地捕獲這些低信號帳戶的特征的方法。
• DEC 的機器學(xué)習(xí)模型缺乏可解釋性，因為它依賴 DNN 將深層特征的高維空間縮減為用于分類決策的低維嵌入。這一特性使得調(diào)試和理解 DEC 決策背后的推理變得困難。使模型可解釋是一個活躍的研究領(lǐng)域。
• DEC 聚合來自許多用戶的數(shù)據(jù)以生成用于分類的特征的方法對異常值的敏感性低于使用直接特征的方法。因此，與其他模型系列相比，DEC 對極端特征值的區(qū)分度可能較低。采取了“深度防御”的方法來應(yīng)對這一挑戰(zhàn)，因為手動規(guī)則可以非常有效地捕獲極端異常值。在 DEC 框架內(nèi)解決此類異常值仍然是一個懸而未決的問題。
• DEC 與其他監(jiān)督或半監(jiān)督機器學(xué)習(xí)系統(tǒng)一樣，嚴重依賴于其訓(xùn)練數(shù)據(jù)標簽的質(zhì)量。設(shè)法大規(guī)模誘導(dǎo)不準確的人類標簽的攻擊者可能能夠操縱或干擾 DEC 的分類。研究者一直在努力改進標簽流程，以解決任何觀察到的或潛在的限制。
即使有這些限制，對 Facebook 生產(chǎn)數(shù)據(jù)的評估表明DEC 提供了比傳統(tǒng)檢測方法更好的性能。
0x08 Conclusion
本研究提出了深度實體分類 (DEC)，這是一種機器學(xué)習(xí)框架，用于檢測 OSN 中的濫用賬戶�？蚣芙鉀Q了現(xiàn)有濫用檢測系統(tǒng)中的兩個問題：首先，它的“深度特征”提取方法創(chuàng)建了強大的分類特征，并且（到目前為止）沒有顯示出針對帳戶或行為特征的典型對抗性適應(yīng)跡象。其次，它使用一種新穎的機器學(xué)習(xí)訓(xùn)練框架來利用大量、低精度和低數(shù)量、高精度的訓(xùn)練數(shù)據(jù)來提高模型性能。
在 Facebook 對生產(chǎn)數(shù)據(jù)的評估表明，DEC 提供了比傳統(tǒng)檢測方法更好的性能。此外，DEC 的性能隨著時間的推移是穩(wěn)定的，這表明它對對抗性適應(yīng)具有魯棒性。在 Facebook 部署 DEC 兩年多期間，它已檢測到數(shù)億個濫用帳戶。估計DEC 將平臺上的活躍濫用賬戶數(shù)量減少了 27%。
經(jīng)營性網(wǎng)站備案信息
可信網(wǎng)站信用評價
網(wǎng)絡(luò)警察提醒您
誠信網(wǎng)站
中國互聯(lián)網(wǎng)舉報中心
網(wǎng)絡(luò)舉報APP下載
