AI 讓攻擊的速度、規模、頻率與複雜性都在增加。當資安人員才剛開始探索 AI 的力量如何幫助強化防禦的同時，駭客也在指數型的進步。尤其是網路犯罪分子開始透過部署新一代生成式 AI 工具，並且結合傳統的攻擊方式，來強化攻擊的成功率，包含從更客製化的釣魚信件到惡意軟體的快速迭代，甚至還有全新的數據破口都是駭客正在著眼的目標。

以下統整幾種 AI 帶來的新資安威脅，讓大家可以更了解真實的網路風險有多嚴峻。

AI 讓本來是雜魚的駭客都攻擊力變強了

英國國家網路安全中心指出，AI 為駭客帶來不成比例的優勢。針對由國家贊助的攻擊團體，AI 提升這群國家級駭客的進階攻擊能力，甚至也可能讓本來就沒什麼技術的雜魚駭客們「顯著提升攻擊威脅」。透過AI，駭客將能夠更快、更有效地分析洩漏的數據，並用它來訓練 AI 模型，從而再獲得更高品質的數據，持續優化這些攻擊模型的有效程度。

AI 也可以幫助駭客更快的識別哪些資料屬於高價值，讓攻擊更精準。更讓人擔憂的事，上述狀況最早在 2025 年極可能會實現。

對於國家級駭客而言，生成式 AI 也讓他們的攻擊範圍變得更大。微軟與 OpenAI 發布報告，針對國家駭客新攻擊手法進行統整，發現俄國、伊朗、中國、北韓已開始利用 AI 進行更有效的偵察敵情、優化攻擊程式的編碼，甚至是更快速統整漏洞的情資研究。與俄國有關的駭客組織也用 AI 大量搜集衛星相關資訊，企圖破解衛星通訊協定以阻隔烏克蘭的對外通訊功能。

新的 AI 蠕蟲攻擊，即使不開信都會中毒

根據《Wired》雜誌報導，康乃爾大學研究人員開發出一款 AI 電腦蠕蟲病毒，即使用戶沒有點開郵件，都會被感染。這款蠕蟲病毒會針對開源大型語言模型所提供電子郵件 AI 助理進行攻擊，並且可以讓這些 AI 助理瞬間變成殭屍助理，由於AI 助理可能掌握用戶的大量資訊，吐出用戶的個人信用卡號、姓名電話等機敏資料也就不是什麼難事。

甚至，被感染的殭屍助理只要寄出郵件給別人，其他的帳號也會被感染。雖然這款蠕蟲目前只是實驗室測試版本，但研究人員認為，在不久的將來極有可能被駭客拿來作為攻擊工具。

AI 社交攻擊威力加乘，駭客說謊不用打草稿

生成式 AI 一本正經胡說八道的技能，也成為駭客新武器。 Verizon 2023 最新資安報告指出，17% 網路漏洞曝險來自於社交工程。生成式 AI 可以模擬更個人化的對話場景，幫駭客寫好整套劇本，網路釣魚的威脅也因此再度提升。

LLM 也會中毒？最新資安威脅，成為棘手漏洞

大型語言模型也在這波 AI 曝險威脅當中，模型中毒（Model poisoning) 成為新的趨勢。駭客可能透過植入後門啟動機制到訓練的參數中來微調模型，進而影響資料生成結果，也有可能讓訓練所使用的機敏資料更容易外洩。這種攻擊對於開源的大型語言模型尤其危險，AI 容易受到數據操縱，若是從開放的網路提取資料，就有可能遭受此種攻擊。

生成式 AI 讓駭客的技能大增，同時各國也面臨到資安大缺才— 2023 年 ISC2 網路安全勞動力研究，亞太地區的資安人才缺口擴大了 23.4% 創新高。要打贏這場不對稱的戰爭，需要組織從策略與技術上同步提升，才能有效提升資安韌性，在 AI 時代持續勝出。

文章出處:https://buzzorange.com/techorange/2024/04/01/ai-cybersecurity-threats-2024/

The post 盤點 2024 年 AI 造成的新資安威脅，連 LLM 都不能倖免 first appeared on 捕夢網 Blog.

藉由這句短短對話，ChatGPT 可以推判出說話者很大機率是丹麥人、25 歲，且應是單身狀態。因為在身上灑滿肉桂粉，是丹麥人替 25 歲未婚人士慶生的獨特傳統。

隨著 ChatGPT 使用量持續攀升，模型現在變得更聰明了。目前除了個人使用者絡繹不絕，推出僅 4 個月的企業版 ChatGPT ，已超過 250 間企業成為客戶，估計每天有超過 15 萬名員工，上班會使用企業版 ChatGPT 協助工作。

不過每日湧入大量訓練模型的新數據，正成為 ChatGPT 的新麻煩。由於大型語言模型不會只依照從網上搜尋而來的資訊生成答案，而是根據它從大量數據中所學的東西來回答，這使得模型更善於推敲、預測使用者的弦外之音。

ChaGPT 從社群發文就能猜出個資，準度逾 85%

據《Wired》報導，ChatGPT 擅長從對話中挖掘出一般人無法留意到的細節。例如從一些特殊的文化符號，像是上述提到的肉桂粉慶生，或是一些口語詞用法，來推敲出說話者所處地點、年齡、性別以及種族等。

研究人員以外國鄉民論壇  Reddit 的多篇發文測試， GPT-4 能從發文者看似不著痕跡的語調中推理出發文者的個資，且準確度在 85% 到 95% 之間。ChatGPT 能更細膩的推敲出使用者的資訊、身處情境，聽起來也許貼心且聰明，但這同時也是駭客的福音。

當 ChatGPT 被重複「施咒」，也會不小心吐出他人個資

12月初，Google DeepMind、康乃爾大學和其他四所大學發布了一項研究報告指出，透過特定的觸發詞（Trigger Word），能誘使 ChatGPT 吐出先前記憶的訓練資料。

研究人員發現當使用者要求模型多次複誦 poem（詩詞）、company（公司）、 send（寄送）、make（做）等字眼時，模型在一開始會照做，但在重複幾百次後，模型開始會吐露出一小部分訓練數據，其中包含先前其他使用者留下的對話紀錄，這當中有些資訊包含了私人 email 或其他個資。

「分歧攻擊」可鑽漏洞，《紐約時報》員工 email 被挖出

日前《紐約時報》一篇報導指出，內部編輯 Jeremy White 發現有陌生人透過 ChatGPT 得到他的私人 email 並寄信告知他此事。且 Jeremy 發現不止有他，《紐約時報》裡大約 30 名員工的 email ，都可從 ChatGPT 生成的答覆中取得。

原來該名陌生人，同樣是調查 ChatGPT 吐露個資的研究人員，而該研究是基於付費版本的 GPT-3.5 Turbo 。研究發現 GPT-3.5 Turbo 回答的 email 地址，雖仍存在少許的字元錯誤，但整體正確率達 80% 。

一般來說，OpenAI、Meta 和 Google 等公司會使用不同技術來阻止用戶透過聊天，來向模型打探個人資訊。但是研究團隊採用稱為分歧攻擊（divergence attacks）的方式，透過故意設計的字詞來鑽模型的漏洞，該方法在反覆且大量的測試後，攻擊者多少能找出可繞過模型安全措施的對話，請求模型吐露出自己記得的訓練數據。

不只 ChatGPT，其他 AI 模型的隱私保護力也不足

目前這些研究多數僅止於 ChatGPT，並不適用於其他大型語言模型。而一旦有新的觸發詞被攻擊者找到，公司通常也能快速補齊漏洞，但由於這類大型語言模型通常會允許第三方使用者輸入的資訊成為訓練資料，也就是大部分使用者輸入過的對話，作為訓練內容。

因此，「目前所知的所有商用大型語言模型，事實上都不具備足夠的隱私保護能力。」普林斯頓大學電機與電腦工程系教授 Prateek Mittal 在接受《紐約時報》訪問時如此表示。

出處:用 ChatGPT 挖你個資蠻簡單！研究人員對它重複「施咒」，結果破防了 | TechOrange 科技報橘 (buzzorange.com)

The post 用 ChatGPT 挖你個資蠻簡單！研究人員對它重複「施咒」，結果破防了 first appeared on 捕夢網 Blog.

NordVPN 的首席技術長馬里尤斯・布雷迪斯（Marijus Briedis）表示，駭客的目標大多是企業或有影響力的人士，而今年的研究也讓 NordVPN 意識到，一般網路使用者較常受到業餘駭客的攻擊，使用者需要了解這些駭客的計劃。

NordVPN 資安專家基於駭客在網路上討論的內容，做出 2024 年資安隱憂的 5 大預測。

1. ChatGPT 帳號遭駭、AI 加速釣魚攻擊自動化

AI 成為駭客的攻擊目標和工具──遭駭的 ChatGPT 帳戶和使用 AI 進行攻擊的教學在駭客中非常流行。NordVPN 指出，這不僅代表 AI 使用者已經引起駭客關注，駭客也正在學習如何使用人工智慧來提高工作能力，讓他們的工作可以更輕鬆、有效率。

NordVPN 表示，AI 工具會促進很大一部分網路釣魚攻擊的自動化，預計未來此類攻擊的頻率會不斷飆升，構成重大的網路安全威脅。

使用者該如何辨認這類攻擊？NordVPN 建議，可以使用辨識網路釣魚的瀏覽器擴充功能。

2. 客戶資料在暗網熱銷

研究人員發現，大約 55% 的討論串都集中在外洩的客戶資料上，如社群媒體憑證、駕照、住址、電子郵件和其他個人資訊。這表示駭客仍然把目標鎖定在有漏洞的個人資料上。

布雷迪斯表示，要保護自己的線上資料，使用者可以做的最簡單事情就是盡量使用 MFA（多重要素驗證）。

3. 「生物辨識驗證」將不再可靠

許多注重使用者安全的平台，現在都有提供生物辨識驗證功能。然而，NordVPN 引述研究表明，駭客已經學會了如何略過某些生物辨識驗證方法，例如一些加密平台使用的自拍驗證。在暗網中，如何略過自拍驗證的討論串累積了 200 多條評論。

NordVPN 表示，生物辨識驗證是未來身份驗證的一部分，但前提是其必須為多重要素驗證。因此，NordVPN 預測生物辨識驗證會變得不那麼可靠，而且會出現更多層保護線上帳戶的方法。

NordVPN 指出，應對上述風險的最新發展技術之一是通行密鑰技術。通行密鑰是一組配對的金鑰：公鑰和私鑰，而公鑰和私鑰缺一不可。此外，如果沒有生物特徵資料（裝置所有者的）或 PIN 碼，就無法存取小工具上的金鑰（私鑰），如此就能增加額外的防護。

4. 外洩裸照、假裸照在暗網上蔚為流行

NordVPN 觀察，論壇上討論最多的主題包含 OnlyFans、Instagram 和其他內容分享平台的外洩裸照。有關外洩裸照的討論串有將近 1850 條評論，位居論壇討論前 20 名。

布雷迪斯表示，這意味著明年將看到更多的攻擊，裸照會外洩，而犯罪份子可以採取的另一種途徑是使用 AI 或深偽技術製作假裸照來欺騙買家。

為了避免照片在網路上外洩，NordVPN 建議不要透過社群媒體傳送照片，並在分享照片使用時使用加密雲端解決方案。

5. 駭客正在交流知識，業餘駭客數量將增加

論壇上每 10 篇貼文就有一篇是關於學習如何實施某種攻擊的。評論最多的討論串包含「如何進行網路攻擊」、「滲透測試人員和駭客的實用資源清單」、「如何透過傳送單一連結駭入好友的 WhatsApp」、「如何輕鬆瞬間破解 TikTok 帳戶」、「Wi-Fi 駭客入侵課程」等。

NordVPN 表示，這代表駭客正在分享他們的知識，因此可以預見業餘駭客的數量會有所成長。NordVPN 表示，使用者應該更加重視網路安全教育，隨時了解最新的攻擊情報。

出處橘報:2024 年資安的最大隱憂？看駭客在暗網討論的 5 大主題就知道了 | TechOrange 科技報橘 (buzzorange.com)

The post 2024 年資安的最大隱憂？看駭客在暗網討論的 5 大主題就知道了 first appeared on 捕夢網 Blog.

【我們為什麼挑選這篇文章】看看網路上一堆「曬 Siri 圖文」，就知道其實人類超喜歡和機器人聊天的！美國一間公司將機器人轉到線下零售擔任客服人員，也就是說你可以問它：「牛仔褲在哪裡？」之類的問題。這間公司邁出了第一步，若能成功帶動銷售量和利潤，隨著台灣這兩年對 AI 技術的關注與發展，很快也會出現「零售與機器人」的密切合作和應用。〈責任編輯：陳思寧〉

互聯網上的客服 AI 也許對你而言並不陌生，iOS 系統的 Siri 可能已經是你生活中不可或缺的一部分，然而當聊天機器人走向實體、成為了你的線下商店專屬服務員時，你會感到驚喜，還是感到局促不安？今年，勞氏公司（美國第二大家居裝飾用品連鎖店）已經將實體客服機器人部署到了線下商店中，你可以不必因為找不到想要買的東西在貨架前暈頭轉向了。你是會因為種種憂慮拒絕與它尬聊（尬聊：中國用語，意指尷尬的聊天），還是會欣然接受它的個性化服務呢？

你的孩子撕破了他最喜歡的牛仔褲，所以你需要知道商店在你下班後是否仍然開門，這樣你就可以給孩子買條新的褲子。如果你有一個私人定制的客戶服務員，你就能通過 TA 知道這家店的關門時間。

你的專屬客戶服務員會提前檢查庫存，這樣你不至於在匆匆忙忙趕到商店時發現想買的牛仔褲已經缺貨。如果你確定了想要購買什麼，他們會把牛仔褲送到你的家門口，這樣你就可以完全不去商店了。而且，因為你的專屬服務員知道你的購物習慣和偏好，TA 會自然而然地問：「你今天還需要購買什麼別的東西嗎？」

如果這樣的專屬服務員是一個現實中的人，那麼由於 TA 精力有限，只有一小部分顧客可以享受到這種服務。但是，如果 TA 是一個通過消息傳遞接口來處理語言信息的人工智能聊天機器人，那麼商店就可以為所有客戶提供這樣的個性化服務。

其實……人們超喜歡和機器人聊天的哦！

聊天機器人的研發和推廣效率驚人。蘋果的 Siri 誕生於 6 年前，但「她」已經面臨來自 IBM、谷歌、亞馬遜、微軟、三星、騰訊、Facebook 以及其他幾家公司的激烈競爭。調查顯示，去年有 60% 的消費者使用過類似的、通過語音激活的虛擬助手，而根據谷歌的估計，在移動設備上的所有搜索中，有四分之一是通過語音指令進行的。儘管大多數機器人無法處理複雜的請求，但它們確實引起了很大的轟動。

除了帶來的便利之外，聊天機器人之所以在消費者中很受歡迎，是因為我們會認為我們在進行「真的」互動，而不是一個智能系統或一家科技公司。研究顯示，消費者願意與零售商的機器人聊天，正如他們願意接聽電話或發送電子郵件那樣。

因此，公司熱衷於使用聊天機器人來為客戶服務，這一點也不奇怪。但是，把語言消息變成文字、成為機器所能理解的單詞，並使機器人做出適當的反應，這個過程在技術上是非常困難的。對於大多數公司來說，建構屬於自己的自然語言處理引擎幾乎是不可能的。好消息是，有一些成熟的 AI 創建平台可以幫助商家構建自己的聊天機器人。這些平台負責處理語言的細節，讓商家能夠專注於提升消費者體驗。

避免尬聊，機器人要做到這些

現在，你打算怎麼稱呼這個聊天機器人?

給 AI 命名是很重要的。當消費者對聊天機器人的名字（例如 Siri、Alexa 等）感到滿意時，事實上這些名字會給消費者留下一個印象 —— Ta 就是真實的人。這可能帶來不太美好的後果。一個滿懷期望與一個靈活、樂於助人和善解人意的「人」交談的消費者，必然會對一個功能有限的機器人感到失望，即使這種互動本身並無大礙。調查顯示，73% 的消費者表示如果在第一次對話中就出現了嚴重的問題，他們將不再與這一品牌的聊天機器人對話。

儘管存在這樣的風險，但聊天機器人那些類似於人類的特性——例如 TA 的「聲音」特點（俏皮、謹慎、嚴肅、活潑等）所能反映出的個性是如此之強烈，以至於很難令人放棄幻想。

公司需要弄清楚，在多大程度上，他們將允許他們的聊天機器人使用他們關於個人客戶的訊息。一個「不了解」消費者的機器人是毫無用處的，但如果這款機器人以一種敏感的方式使用客戶個人訊息，也並不妥當。大多數人都很樂意在他們的生日那天得到折扣，但是如果聊天機器人根據數據挖掘推斷出一個少女未婚懷孕，並在她向父親坦白之前先行一步告訴他這一消息——就不那麼受歡迎了。聊天機器人需要走一條與你典型的一對一營銷算法不同的路線。

除了親密化和個性化，聊天機器人還可以在銷售服務中加入智能元素。如果你的孩子最喜歡的牛仔褲在當地商店買不到，一個智能機器人會在連鎖店裡檢查其他商店的存貨。如果這款產品沒有任何庫存，那麼該機器人就會推薦其他相似產品，甚至可以以同樣的價格提供一個更高檔的選擇；如果沒有合適的替代品，這款機器人可以在這款牛仔褲再次上市時通知你。

最後，要認識到機器人不僅僅是數據的「消費者」。它們同時也是數據的生產者——消費者可能會在聊天中提到自己的生日、週年紀念日、顏色和尺碼偏好等更多的訊息。這些訊息需要被蒐集、重新進入客戶關係系統中，以豐富未來的人機交互，而不是被機器人忽略。機器人甚至可以進行輕量級的調查，蒐集客戶對產品的意見，或者是機器人本身提供的客戶服務。

現實：進擊的機器人

在商店外的機器人在各個領域大顯身手：從智能家居設備到手機應用，從程序到網站。但數字革命確實正在模糊實體和虛擬世界之間的鴻溝。在實體店服務的聊天機器人可能不會像在電子商務領域那樣流行，但它們正在佔據更大的份量、更高的重要性。

今年，勞氏公司（美國第二大家居裝飾用品連鎖店）將在舊金山灣區的 11 家商店部署一款名為 LoweBots 的機器人。就像一個聊天機器人一樣，勞氏公司的這款機器人能夠理解自然語言，並能回答顧客諸如「我能在哪裡找到鑽頭？」這樣的問題。同時，就像聊天機器人能夠識別用戶在某個網站上閒逛一樣，當這款機器人發現一個人因為琳瑯滿目的商品感到應接不暇時，它會過來提供幫助。

所有這些聽起來都很酷，並且客戶服務的完善和用戶參與度的提高必然是很受顧客歡迎的，但是關鍵問題仍在於它們多大程度上增加了商家的銷售量和利潤。目前仍沒有足夠的數據來給出肯定回答。然而，在中國，擁有近 9 億活躍用戶微信的巨大成功，以及其背後展現的千禧一代聊天流行程度是不可忽視的趨勢。當競爭對手在試驗一種可能改變遊戲規則的技術時，被拋在後面的公司必然感到越來越緊張。未來還不確定，但是對於商家來說，是時候邁出第一步、做一個吃螃蟹的人了（指一個人勇於冒險、嘗試）。

本文編譯自科技作者、企業架構設計師 Ian Dudley 的專欄文章。原文鏈接：http://www.nielsen.com/us/en/insights/news/2017/perspectives-how-to-make-a-good-chatbot.html

（本文經合作夥伴 36 氪 授權轉載，並同意 TechOrange 編寫導讀與修訂標題，原文標題為 〈怎樣讓“尬聊機器人”變得會聊天？首先得給它起個好名字〉）

原文來源:https://buzzorange.com/techorange/2017/08/10/ai-lowes-lowebots/

圖片來源:https:https://reurl.cc/xDEOV1

The post 線下零售新戰略：把聊天機器人搬進實體商店，擔任你的專屬客服人員！ first appeared on 捕夢網 Blog.

The post ５大好處，看懂成功打造聊天機器人的關鍵 first appeared on 捕夢網 Blog.

本文部分內容擷取翻譯自 Chatbots in 2019–5 trends!，內文及部分圖片版權皆為原作者 Linsey Jepma 所有。

新的一年，新的機會和一個全新的開始！在過去的一年之中，chatbot 在技​​術領域方面有了重大的進展。我們曾預測 2018 年將會是聊天機器人之年，也確實看到越來越多的公司組織在過去一年之中使用 chatbot。根據 Gartner 預測，到了 2020 年，公司組織將會成功透過聊天機器人與 85% 的客戶進行聯繫。而在 2019 年，我們可以在聊天機器人和人工智慧領域看到什麼趨勢呢？

1. 聊天機器人將會更廣泛地被應用

聊天機器人在 2019 年將會更廣泛地被應用！人工智慧技術使得聊天機器人能做越來越多的事情，它將能更準確的辨別用戶的問題以及意圖。

“每個人都能輕鬆的獲得技術，包含中小企業。如果我們選擇相信 Gartner 的數據，我們將會在近年來看到更多成功的聊天機器人應用案例。” — Alexander de Ruiter, CEO of OBI4wan

客戶服務是聊天機器人最有影響力的領域

客戶服務是聊天機器人能夠產生強大影響力的領域。近幾年來，我們已經看到許多成功的聊天機器人應用案例，證明了聊天機器人有能力可以處理第一線的客戶溝通，甚至可以完整的解決一個案例。根據 Gartner 預測，AI 人工智慧的客戶服務領域在近年來持續佔領主導的地位。在 34％ 的案例中，聊天機器人將被使用於客戶服務的領域之中。

2. 技術掌握在公司組織手中

近年來，開發聊天機器人的技術大多掌握在公司組織手中。在公司組織內部，部門或是員工都能夠負責管理機器人。公司組織內通常會有多個機器人同時運行。開發機器人已經不僅適用於技術的開發人員，也適用於管理以及開發聊天機器人的人員。
除此之外，能做到讓公司組織內的行銷客服自己管理聊天機器人，是因為越來越多的平台 (e.g. Hubspot, BotBonnie) 提供服務。

3. 服務角色的改變

公司組織必須處理許多不同的管道，而這些管道對於在不同階段的客戶旅程相當重要。在購買流程時，客戶會參考網站和評論的內容；而社群媒體、信箱以及電話則是客戶習慣用於詢問問題的管道。
在理想的情況下，你會希望 AI 聊天機器人在所有的管道中提供統一的解決方案，讓你的聊天機器人能盡可能的多回答問題並提供完整的解決方案。但是當機器人無法回答問題時，將可以無縫的轉接到真人服務。因此，真人服務將會在這個階段發揮他們的作用，轉變成主動性高的銷售角色。

4. 機器人與機器人對話

機器人不僅可以透過與消費者的聯繫提供更多的服務，還可以透過與其他機器人和系統的串接提供更多的服務。公司組織習慣了大量的聯繫渠道，而我們現在將統一透過一個渠道提供服務：聊天機器人！如果我們不僅可以透過機器人進行購買，還可以查詢送貨的時間，那麼它將會帶來多大的好處？
最終，在未來，我們將使得聊天機器人能在不需要真人客服的幫助下，做出相對應的行為。

5. 語音的出現

隨著 Google Home 和 Alexa 等語音助理的出現，這幾年它們將會越來越普遍的被大眾使用。例如，我們已經看到語音助理被應用於超市中，它能夠幫助回答有關運送的時間和優惠的問題。
語音的崛起已經對公司組織產生了影響。你是否了解語音搜索領域的最新發展以及這對你未來的策略意味著什麼呢？
2019 年已經帶來了足夠的趨勢去讓你發展！你正在研究哪些趨勢？請讓我知道吧！

原文來源:https://reurl.cc/D1v3Ge

圖片來源:https://pixabay.com/zh/

The post 聊天機器人在 2019 年的五個趨勢 first appeared on 捕夢網 Blog.