Chương 2: Các Thách Thức Về An Ninh AI

Mục Lục GIỚI THIỆU CHƯƠNG 1: TRÍ TUỆ NHÂN TẠO (AI) LÀ GÌ? CHƯƠNG 2: CÁC THÁCH THỨC VỀ AN NINH AI CHƯƠNG 3: QUẢN LÝ TƯ THẾ AN NINH AI (AI SECURITY POSTURE MANAGEMENT) LÀ GÌ? CHƯƠNG 4: KÍCH HOẠT AI-SPM CHƯƠNG 5: LỢI ÍCH CỦA QUẢN LÝ TƯ THẾ AN NINH AI CHƯƠNG…

IT-PRO

Mục Lục

GIỚI THIỆU

Về Cuốn Sách Này
Ai Nên Đọc Cuốn Sách Này?
Các Biểu Tượng Được Sử Dụng Trong Cuốn Sách Này
Ngoài Cuốn Sách Này

CHƯƠNG 1: TRÍ TUỆ NHÂN TẠO (AI) LÀ GÌ?

Bắt Đầu Tìm Hiểu Về AI
Ai Sử Dụng AI?
Tại Sao Cần AI?
Hiểu Về AI
- Học máy (Machine learning)
- Xử lý ngôn ngữ tự nhiên (Natural language processing)
- Suy luận có giới hạn (Bounded reasoning)
- Giải quyết vấn đề (Problem solving)

CHƯƠNG 2: CÁC THÁCH THỨC VỀ AN NINH AI

AI và Tam Giác CIA (Confidentiality, Integrity, Availability)
Xem Xét Các Rủi Ro AI
Mô Hình Trưởng Thành AI
- Giai đoạn Thử Nghiệm (Experimentation)
- Giai đoạn Phát Triển Rõ Ràng và Tích Cực (Visible and active development)
- Giai đoạn Triển Khai Sản Xuất (Production implementation)
AI và Điện Toán Đám Mây
IT Ẩn Sang AI Ẩn (Shadow IT to shadow AI)
- Bảo vệ Dữ liệu (Data protection)
- Tính Toàn vẹn Thông tin (Information integrity)
- Tuân thủ (Compliance)
AI & Đám Mây: Các Rủi Ro Chung và Chia Sẻ
- Quản lý Danh tính và Quyền truy cập (Identity and permission management)
- Tiếp xúc Công khai (Public exposure)
- Sai Cấu hình (Misconfiguration)
- Các Lỗ Hổng và Dữ Liệu Nhạy Cảm (Vulnerabilities and sensitive data)
Các Rủi Ro AI Theo OWASP (Open Worldwide Application Security Project)
- Các Rủi Ro Chung (Common risks)
  - Từ chối dịch vụ (Denial of service – DoS)
  - Các lỗ hổng chuỗi cung ứng (Supply chain vulnerabilities)
  - Các công cụ của bên thứ ba không an toàn (Insecure third-party tools)
- Từ chối Dịch vụ (Denial of service)
- Các Lỗ Hổng Chuỗi Cung Ứng và Thiết Kế Plugin Không An Toàn (Supply chain vulnerabilities and insecure plugin design)
- Tiêm Nhiễm Prompt và Output (Prompt and output injection)
- Ngộ Độc Dữ Liệu và Đánh Cắp (Data poisoning and theft)
- Tính Tự Chủ và Quyền Hạn Quá Mức (Excessive agency and autonomy)

CHƯƠNG 3: QUẢN LÝ TƯ THẾ AN NINH AI (AI SECURITY POSTURE MANAGEMENT) LÀ GÌ?

Giới Thiệu AI-SPM
Quản Lý Các Phức Tạp (Managing complexities)
Đánh Giá Đường Ống AI (AI pipeline assessment)
Sử Dụng AI-SPM
- Tính linh hoạt và đa chức năng (Agility and cross-functionality)
- Bao phủ tất cả các trường hợp sử dụng (Covering all use cases)
- Giảm thiểu rủi ro mà không làm tăng độ phức tạp (Reducing risk without adding complexity)
- Khả năng đa nền tảng (Cross-platform capability)
Tích Hợp Các Yêu Cầu Bảo Mật (Integrating security requirements)

CHƯƠNG 4: KÍCH HOẠT AI-SPM

Thiết Lập Quản Trị và Chính Sách AI (Establishing AI Governance and Policy)
Đánh Giá Các Rủi Ro AI Thực Tế (Assessing Practical AI Risks)
- Khám phá AI ẩn (Uncovering shadow AI)
- Tính lặp lại thông qua AI-SPM (Repeatability through AI-SPM)
Các Thành Phần Chính của AI-SPM (Key Components of AI-SPM)
- Danh mục vật tư AI (AI bill of materials – AI-BOM)
- DSPM (Data Security Posture Management) cho dữ liệu AI
- Phân tích đường tấn công cho AI (Attack path analysis for AI)
- Rủi ro mô hình AI theo ngữ cảnh (Contextual AI model risk)
- Phát hiện mô hình độc hại (Malicious model detection)
- Phát hiện mối đe dọa (Threat detection)
- Kiểm tra cấu hình cho các dịch vụ AI (Configuration checks for AI services)

CHƯƠNG 5: LỢI ÍCH CỦA QUẢN LÝ TƯ THẾ AN NINH AI

Lợi Ích AI Mà Không Gây Ra Tất Cả Rủi Ro (AI Benefits Without All the Risk)
Hỗ Trợ và Nâng Cao An Ninh AI (Assisting and Enhancing AI Security)
Tăng Cường Sự Tự Tin Thông Qua Đơn Giản Hóa (Increased confidence through simplification)
Chia Sẻ Chuyên Môn Bảo Mật (Diffused security expertise)
Khả Năng Hiển Thị Tập Trung (Centralized visibility)
Ưu Tiên Hóa Rủi Ro (Risk prioritization)

CHƯƠNG 6: MƯỜI CÂU HỎI CẦN HỎI VỀ AN NINH AI CỦA BẠN

Bạn Có Mức Độ Hiển Thị Như Thế Nào Về Việc Sử Dụng AI? (How Much Visibility Do You Have into AI Usage?)
Bạn Có Thể Đánh Giá Tư Thế An Ninh Hiện Tại Của Mình Đối Với AI Không? (Can You Assess Your Existing Security Posture for AI?)
Những Rủi Ro Cụ Thể Liên Quan Đến AI Nào Đã Được Đánh Giá Trong Công Ty Bạn? (What AI-Specific Risks Have Been Assessed Within Your Company?)
Bạn Quản Lý Việc Sử Dụng AI Như Thế Nào? (How Do You Govern AI Usage?)
Bạn Có Hiểu Ngữ Cảnh Đám Mây Liên Quan Đến Rủi Ro AI Như Thế Nào Không? (Do You Understand How Cloud Context Relates to AI Risk?)
Bạn Ngăn Chặn Rò Rỉ Dữ Liệu Với AI Như Thế Nào? (How Do You Prevent Data Leakage with AI?)
Các Công Cụ Bảo Mật Hiện Tại Của Bạn Tích Hợp Với Các Mô Hình AI Tốt Như Thế Nào? (How Well Do Your Existing Security Tools Integrate with AI Models?)
An Ninh Được Quản Lý Tập Trung Hay Các Nhóm Có Thể Tự Quản Lý An Ninh Của Họ? (Is Security Managed Centrally or Can Teams Manage Their Own Security?)
Làm Thế Nào Bạn Có Thể Phát Hiện Lạm Dụng Trong Các Đường Ống AI? (How Can You Detect Misuse in AI Pipelines?)
Tư Thế An Ninh Của Bạn Đối Với AI Có Giúp Thúc Đẩy Đổi Mới Không? (Is Your Security Posture toward AI Helping to Enable Innovation?)

Giới Thiệu

Trí tuệ nhân tạo (AI) từ lâu đã được hình dung trong khoa học viễn tưởng, cả trên trang giấy lẫn trên màn ảnh. Bộ phim 2001: A Space Odyssey đã mê hoặc khán giả từ năm 1968 với chiếc máy tính HAL 9000. Trong phim, HAL 9000 hoạt động trực tuyến vào những năm 1990, nhưng xã hội phải mất thêm vài thập kỷ nữa mới đạt đến một điểm mà AI thực sự nổi bật.

AI có cơ hội trở thành một phần không thể thiếu và thiết yếu trong cuộc sống hàng ngày của chúng ta, dường như là trong tương lai không xa. Nhưng như đã thấy rõ qua nhiều tác phẩm hư cấu, AI đôi khi có thể gây ra vấn đề. Ngăn chặn những vấn đề đó là công việc hiện tại của các đội ngũ an ninh mạng trên toàn thế giới.

Một thách thức chính mà các đội ngũ an ninh phải đối mặt là vấn đề khả năng hiển thị. Cho dù là bảo mật một quy trình phát triển hay một quy trình AI, khả năng kiểm tra và giám sát từng bước trong quá trình là rất quan trọng để giảm thiểu rủi ro và đảm bảo an ninh.

Về Cuốn Sách Này

Cuốn sách này có sáu chương, tất cả đều đề cập đến an ninh AI từ quan điểm quản lý tư thế an ninh của một tổ chức.

Chương 1 cung cấp một lịch sử ngắn gọn về AI. Chương này cũng bao gồm một số lý do tại sao các tổ chức đang sử dụng AI. Mặc dù điều này thoạt đầu có vẻ hiển nhiên, nhưng có những lĩnh vực có thể không rõ ràng đối với những người đã sử dụng AI tạo sinh mô hình ngôn ngữ như ChatGPT.

Chương 2 xem xét các rủi ro liên quan đến AI. Chương này chứng minh rằng một số vấn đề an ninh là phổ biến đối với điện toán doanh nghiệp, nhưng có thể có những cân nhắc riêng đối với AI. Các rủi ro khác là đặc trưng của AI và bản chất của cách AI được xây dựng và sử dụng.

Trọng tâm của Chương 3 là quản lý tư thế an ninh đặc thù cho AI (AI-SPM), tức là quản lý tư thế an ninh tổng thể của tổ chức bằng cách sử dụng các phương pháp tiếp cận công nghệ đặc thù cho AI.

Chương 4 xem xét cách kích hoạt AI-SPM trong một tổ chức. Những thứ như danh mục vật tư AI (AI-BOM) và quản lý các mối đe dọa cụ thể liên quan đến AI được đề cập trong chương này.

Chương 5 bao gồm việc đề cập đến các lợi ích của AI-SPM. Nhiều chuyên gia an ninh sẽ tự nhiên nhận ra những lợi ích này và Chương 5 sẽ giúp liệt kê những lợi ích đó.

Cuối cùng, Chương 6 đưa ra mười câu hỏi bạn nên đặt ra về AI-SPM và an ninh AI trong tổ chức của mình.

Ai Nên Đọc Cuốn Sách Này?

Cuốn sách này dành cho các kỹ sư và kiến trúc sư bảo mật, cùng với các nhà khoa học dữ liệu và những người làm việc trực tiếp với AI như kỹ sư và nhà phát triển AI.

Các Biểu Tượng Được Sử Dụng Trong Cuốn Sách Này

Trong cuốn sách, bạn sẽ thấy các biểu tượng sau. Các biểu tượng này nhằm chia sẻ các mẹo và thông tin quan trọng khác.

Biểu tượng này chia sẻ một số thông tin bổ sung mà bạn có thể thấy hữu ích liên quan đến chủ đề hiện tại.

MẸO

Biểu tượng này nhằm mục đích chỉ ra một chủ đề quan trọng để bạn có thể nhớ nơi tìm thấy nó sau này.

GHI NHỚ

Biểu tượng Cảnh Báo biểu thị điều gì đó có thể cần thiết và hữu ích nếu có vấn đề phát sinh. Chẳng hạn như tránh triển khai chatbot công khai mà không kiểm soát được cách nó có thể bị ảnh hưởng.

CẢNH BÁO

Biểu tượng Kiến Thức Chuyên Môn này chia sẻ thông tin kỹ thuật hữu ích và đáng được nhấn mạnh.

KIẾN THỨC CHUYÊN MÔN

Ngoài Cuốn Sách Này

Có rất nhiều tài liệu tham khảo về an ninh liên quan đến AI, một số trong đó được đề cập trong cuốn sách. Để tham khảo, OWASP và Mitre là hai trang web như vậy có thông tin cụ thể cho những ai muốn tìm hiểu thêm về an ninh AI. Bạn có thể tìm thấy chúng tại https://genai.owasp.org và https://atlas.mitre.org.

Chương 1: Trí Tuệ Nhân Tạo (AI) Là Gì?

TRONG CHƯƠNG NÀY

Định nghĩa AI
Giải thích AI

Trí tuệ nhân tạo (AI) đã hoạt động tương đối ẩn danh trong nhiều thập kỷ. Sự ra mắt của ChatGPT đã thay đổi bối cảnh điện toán theo những cách chưa từng thấy kể từ sự bùng nổ Internet vào cuối những năm 1990. Chương này xem xét AI, cung cấp một lịch sử ngắn gọn, trước khi chuyển sang định nghĩa AI một cách chính thức hơn để mọi người có cùng một hiểu biết (theo nghĩa đen và nghĩa bóng).

Bắt Đầu Tìm Hiểu Về AI

AI thường được mô tả là việc sử dụng các hệ thống máy tính (bao gồm phần cứng và phần mềm) để tạo ra hoặc mô phỏng các chức năng nhận thức của con người như ra quyết định, giải quyết vấn đề và sáng tạo. Bản thân quá trình tạo ra AI thường liên quan đến việc thu thập dữ liệu từ các nguồn liên quan, sử dụng các kỹ thuật học máy để xử lý các mẫu dữ liệu, và sau đó tạo ra đầu ra có khả năng nhất quán dựa trên các prompt đầu vào.

LỊCH SỬ TRÍ TUỆ NHÂN TẠO

AI mà chúng ta nghĩ đến ngày nay có nguồn gốc từ những ngày đầu của điện toán. Alan Turing đã thực hiện những công trình nền tảng quan trọng mà nhiều thứ đã được xây dựng dựa trên đó. Bên cạnh vô số thành tựu khác, Turing đã phát minh ra một bài kiểm tra mà sau này được gọi là bài kiểm tra Turing, trên đó sự thành công của trí tuệ máy tính được đo lường. Với bài kiểm tra Turing, một máy tính cố gắng thuyết phục một người trung gian là con người rằng nó cũng là con người. Điều thú vị là các phản hồi cũng được đưa ra bởi một người khác, do đó người trung gian không biết ai đang trả lời. Cho đến nay, các chương trình như ChatGPT đã đạt được gần nhất đến việc vượt qua bài kiểm tra Turing.

Chúng ta cuối cùng đạt đến một nơi mà điện toán có thể chấp nhận một lượng lớn đầu vào, tạo ra đầu ra và sau đó sử dụng đầu ra đó làm đầu vào tiếp theo. Ví dụ, một chương trình ban đầu đã chơi cờ đam với chính nó. Người chiến thắng trong ván cờ sau đó trở thành chương trình chơi ván tiếp theo, do đó liên tục cải thiện chính nó. Những người hâm mộ bộ phim kinh điển WarGames năm 1983 sẽ nhớ lại WOPR học hỏi bằng cách chơi các mô phỏng lặp đi lặp lại.

Ai Sử Dụng AI?

Vào thời điểm bạn đọc cuốn sách này, thay vì cố gắng định nghĩa ai đang sử dụng AI, câu hỏi có lẽ nên được đặt ra là “Ai không sử dụng AI?” Mặc dù một lượng lớn nghiên cứu và tài trợ cho AI ban đầu đến từ chính phủ và quân đội, AI đã đến được với công chúng. Giống như việc PC đã cho phép các cá nhân và gia đình mang máy tính về nhà, AI mang lại khả năng giải quyết vấn đề mạnh mẽ và sự đổi mới cho cả người dân và doanh nghiệp.

AI đang được sử dụng trong nhiều ngành công nghiệp, cả tư nhân và công cộng, để hoàn thành một số lượng lớn các nhiệm vụ. Các công cụ tìm kiếm đang sử dụng AI trong kết quả của họ và AI đang được sử dụng để nâng cao trải nghiệm người dùng trên điện thoại thông minh.

Tại Sao Cần AI?

Việc sử dụng AI một cách đáng kể đòi hỏi đầu tư thời gian và nguồn lực. Một số lợi ích bao gồm:

Hiệu quả
Trải nghiệm khách hàng
Ra quyết định
Đổi mới

Mặc dù đây không phải là một danh sách đầy đủ, phần này xem xét từng lợi ích này.

Hiệu quả

Tự động hóa tác vụ, hỗ trợ viết mã và giải quyết vấn đề chỉ là ba trong số những điều mà AI có thể làm để giúp các tổ chức đạt được mức hiệu quả cao hơn. Sử dụng các mô hình dữ liệu được thiết kế cho các tác vụ hoặc lĩnh vực chuyên môn cụ thể, một tổ chức có thể tùy chỉnh AI cho bất kỳ nhu cầu nào.

Dịch vụ khách hàng và trải nghiệm khách hàng

Bạn có lẽ đã sử dụng các phiên bản ban đầu của hệ thống trả lời bằng giọng nói hoặc hệ thống phản hồi bằng giọng nói tương tác (IVR) khi bạn gọi cho dịch vụ khách hàng, với các lời nhắc ban đầu như “Trong vài từ, hãy cho tôi biết lý do bạn gọi hôm nay.” Chỉ hiếm khi những IVR ban đầu đó dường như hoạt động và kết cục không thể tránh khỏi là yêu cầu nói chuyện với một nhân viên hỗ trợ.

Các phiên bản phức tạp hơn nhiều của chatbot dịch vụ khách hàng này đang được sử dụng ngày nay với các tính năng nâng cao được bổ sung liên tục. Một tổ chức đầu tư vào dịch vụ khách hàng và trải nghiệm liên quan đến AI có thể nhận ra lợi ích của việc tăng sự hài lòng của khách hàng với ít tương tác trực tiếp với nhân viên hơn.

Ra quyết định mang tính dự đoán

Các mô hình AI cụ thể có thể được tạo ra bằng cách sử dụng các tập dữ liệu và các đặc trưng được tuyển chọn và chuyên biệt để hỗ trợ việc ra quyết định trong một tổ chức. Ví dụ, dữ liệu cụ thể cho ngành bảo hiểm hoặc một lĩnh vực khác có thể lấy các đầu vào như tuổi, địa điểm, nơi ở (sở hữu/thuê), vị trí địa lý và các đầu vào khác để dự đoán liệu một cá nhân có gặp tai nạn hay không. Trên thực tế, ngành bảo hiểm đã thực hiện chính xác điều này trong nhiều năm, nhưng những lợi thế của AI trong việc mô hình hóa hàng trăm và hàng ngàn đầu vào khiến AI trở thành một khoản đầu tư mạnh mẽ cho ngành này và nhiều ngành khác.

GHI NHỚ

Tăng cường đổi mới

Cũng giống như việc ra quyết định hưởng lợi từ AI, đổi mới cũng vậy. AI đang được sử dụng để phát minh ra các phương pháp tiếp cận mới và độc đáo trong nhiều ngành công nghiệp. Ví dụ, các công ty dược phẩm đang sử dụng AI để xác định các phương pháp điều trị mới đầy hứa hẹn. Đổi mới với AI cho thấy nhiều hứa hẹn và sẽ là một lĩnh vực tăng trưởng trong ngành công nghiệp điện toán trong những năm tới.

Hiểu Về AI

Hiểu sâu hơn về AI có thể hữu ích trước khi đi sâu vào an ninh của AI. Mặc dù một số người có thể đã quen thuộc với AI, nhiều người được giao nhiệm vụ bảo mật AI có thể chỉ có kiến thức sơ bộ về các thuật ngữ. Nói chung, bốn yếu tố tạo nên những gì chúng ta coi là một hệ thống AI hiện đại:

Học máy
Xử lý ngôn ngữ tự nhiên
Suy luận có giới hạn
Giải quyết vấn đề

Tùy thuộc vào người bạn hỏi, có thể có các thành phần khác liên quan đến AI hoặc họ có thể sử dụng các thuật ngữ khác cho về cơ bản cùng một khái niệm.

Phần này cung cấp một số định nghĩa và thông tin về các thành phần liên quan đến việc tạo ra một triển khai AI.

Học máy

Học máy đề cập đến các thuật toán cho phép máy tính có được chức năng mà không cần được lập trình cụ thể cho chức năng đó. Hãy so sánh điều đó với các hàm lập trình rõ ràng, nơi một nhà phát triển tạo ra hàm, biết và chỉ định các đầu vào và xác định các đầu ra. Nhà phát triển phải làm điều này cho mỗi hàm, trong khi học máy sử dụng các đầu vào ban đầu để sau đó tạo ra các đầu ra, mà sau đó có thể được sử dụng làm đầu vào tiếp theo.

Hãy nhớ lại phần phụ về lịch sử AI trước đó trong chương. Phần đó mô tả một trò chơi cờ đam, nơi thuật toán chiến thắng sau đó được sử dụng làm cơ sở cho ván tiếp theo. Bằng cách này, trò chơi đã tự cải thiện mà không cần sự can thiệp của con người ngoài việc lập trình ban đầu để tạo ra kịch bản đó.

Xử lý ngôn ngữ tự nhiên

Không phải tất cả các mô hình và ứng dụng AI đều cần xử lý AI, nhưng nói chung, một trong những lý do khiến nó ngày càng phổ biến là khả năng AI được sử dụng bởi các nhóm đa chức năng, những người không phải là chuyên gia về lập trình máy tính, toán học hoặc AI. Thay vào đó, các nhóm này có thể tương tác với một mô hình AI để trích xuất thông tin và nhận được câu trả lời.

Suy luận có giới hạn

Suy luận có giới hạn là quá trình tìm kiếm một giải pháp tiềm năng tốt nhất trong số một số giải pháp tiềm năng, ngay cả khi không có giải pháp nào hoàn toàn tối ưu. AI sử dụng suy luận có giới hạn theo cùng một cách. Có thể không có giải pháp thực sự, nhưng AI có thể cung cấp các tùy chọn dựa trên các đầu vào. Giá trị là AI có thể kết hợp vô số điểm dữ liệu và suy luận để cung cấp các tùy chọn đó.

Giải quyết vấn đề

Hãy so sánh sự mơ hồ có chủ ý của suy luận có giới hạn với khả năng giải quyết vấn đề. Khả năng giải quyết vấn đề bằng cách sử dụng đầu vào ngôn ngữ tự nhiên và các mô hình dữ liệu hiện có là một khả năng liên quan đến AI. Rõ ràng, máy tính đã giải quyết vấn đề trong nhiều thế kỷ. Hãy xem xét Engine Sai Khác (Difference Engine) của Babbage từ đầu những năm 1800. Engine Sai Khác của Babbage được sử dụng để giải các hàm toán học. Có những phiên bản máy tính cơ học sớm hơn nhiều so với Engine Sai Khác của Babbage.

Khả năng giải quyết vấn đề của AI đã tiến một chặng đường dài kể từ thời Babbage. Các hệ thống AI hiện đại đang giúp giải quyết các vấn đề khó khăn và phức tạp trong nhiều ngành công nghiệp. AI cũng được sử dụng trong lĩnh vực y tế để hỗ trợ chẩn đoán và tạo ra các loại dược phẩm mới. Sự khác biệt với AI là sự thiếu hụt rõ rệt về lập trình để giải quyết các vấn đề cụ thể. Ví dụ, phần mềm xử lý văn bản được tạo ra để cho phép mọi người viết tài liệu vì nó được lập trình cụ thể để làm như vậy. AI thiếu lập trình riêng biệt mà thay vào đó dựa trên mức độ đào tạo, giải quyết các vấn đề mà không có cùng mức độ đặc tả như phần mềm hướng tác vụ.

Chương 2: Các Thách Thức Về An Ninh AI

TRONG CHƯƠNG NÀY

Suy ngẫm về tam giác CIA
Xem xét các rủi ro của AI
Nghiên cứu các rủi ro AI được OWASP ghi nhận

AI đã mở ra một kỷ nguyên đổi mới chưa từng có, trao quyền cho các tổ chức xây dựng hiệu quả các ứng dụng mang tính chuyển đổi trong mọi ngành công nghiệp. Trong cuộc đua đổi mới, các nhà phát triển và nhà khoa học dữ liệu thường vô tình tạo ra AI ẩn bằng cách giới thiệu các dịch vụ AI mới vào môi trường của họ mà không có sự giám sát của đội ngũ an ninh. Thiếu khả năng hiển thị gây khó khăn cho việc đảm bảo an ninh trong quy trình AI và bảo vệ chống lại các cấu hình sai và lỗ hổng AI. Các biện pháp kiểm soát an ninh AI không phù hợp có thể dẫn đến các rủi ro nghiêm trọng như thao túng mô hình AI, rò rỉ dữ liệu hoặc một cuộc xâm nhập.

Chương này xem xét các rủi ro liên quan đến AI. Chương này bắt đầu với một cái nhìn tổng quan về nhiều rủi ro, một số trong đó sẽ quen thuộc trong khi những rủi ro khác tinh vi hơn. Chương này kết thúc với việc đề cập đến các rủi ro từ Dự án Bảo mật Ứng dụng Web Mở Toàn cầu (OWASP).

AI và Tam Giác CIA

AI không chỉ giới hạn ở chatbot và hệ thống phản hồi giọng nói tương tác. Khả năng máy tính sử dụng chính đầu ra và đầu vào của nó, hoặc tự học hỏi, có nhiều hàm ý đối với chuyên gia an ninh. Tùy thuộc vào cách AI được áp dụng trong một tổ chức, việc sử dụng nó có thể ảnh hưởng đến cả ba đỉnh của tam giác bảo mật (CIA): tính bảo mật, tính toàn vẹn và tính khả dụng.

Nếu AI được sử dụng cho dịch vụ khách hàng, một kẻ tấn công có thể dàn xếp tương tác của họ sao cho AI bị lừa tiết lộ quá nhiều thông tin. AI có thể tiết lộ chi tiết về chính nó hoặc bị thúc đẩy hiển thị các chi tiết nhạy cảm của khách hàng cho những người không được ủy quyền. Một kẻ tấn công cũng có thể thuyết phục mô hình AI thay đổi đầu ra hoặc kẻ tấn công có thể ở vị trí sửa đổi các đầu vào cho một mô hình dữ liệu, do đó làm mất hiệu lực đầu ra và các giải pháp do AI tạo ra. Một kẻ tấn công cũng có thể ảnh hưởng đến AI theo cách khiến nó không khả dụng hoặc có thể khiến AI bị ảo giác đến mức đầu ra thay đổi cho những người khác sử dụng AI.

Trong mọi trường hợp, việc sử dụng AI trong một tổ chức cần được xem xét cẩn thận. Các tổ chức có thể sử dụng hoặc phát triển một quy trình AI tiếp nhận dữ liệu, chuyển đổi và chuẩn bị dữ liệu cho học máy, kết hợp các yếu tố dữ liệu từ nhiều nguồn để tạo thành một mô hình dữ liệu, và sau đó bắt đầu quá trình học. Kết quả là một mô hình đã được huấn luyện có thể được sử dụng cho mục đích của nó trong tổ chức. Kẻ tấn công có thể xâm nhập vào nhiều điểm khác nhau trong quy trình đó và ảnh hưởng đến đầu ra và việc sử dụng mô hình, đôi khi một cách tinh vi và đôi khi một cách rõ ràng. Đội ngũ an ninh có trách nhiệm xác định cách cung cấp khả năng hiển thị vào các quy trình trong một quy trình AI và sau đó bảo mật các quy trình đó.

Xem Xét Các Rủi Ro AI

AI làm tăng hồ sơ rủi ro của một tổ chức theo nhiều cách. Ngay cả khi tổ chức không sử dụng các mô hình ngôn ngữ lớn (LLMs), AI có thể khiến tổ chức dễ bị tổn thương đơn giản chỉ vì nhân viên sử dụng công nghệ này.

Mô Hình Trưởng Thành AI

Một mô hình trưởng thành ba giai đoạn minh họa sự tương đồng giữa việc áp dụng điện toán đám mây và việc áp dụng AI trong nhiều tổ chức. Mô hình trưởng thành này chứng minh cách việc áp dụng AI dẫn đến rủi ro, và các hồ sơ rủi ro khác nhau tùy thuộc vào giai đoạn trong mô hình trưởng thành.

Trong giai đoạn thử nghiệm, các nhóm sử dụng các dịch vụ đám mây một cách tùy tiện, có lẽ cho một nhiệm vụ thử nghiệm ban đầu trong một dự án. Việc sử dụng các dịch vụ đám mây có thể nằm ngoài tầm nhìn của các quy trình IT mà nếu không có thì sẽ ngăn chặn việc sử dụng nó. Khi thử nghiệm chứng minh thành công, tổ chức chuyển sang giai đoạn tiếp theo. Điều này tương tự như AI, nơi các tổ chức bắt đầu thử nghiệm cách AI có thể hỗ trợ và trong những lĩnh vực nào AI có thể hữu ích.

Khi một tổ chức đạt đến mức độ trưởng thành này với cả AI và điện toán đám mây, công việc hữu hình và rõ ràng sẽ được chuyển sang công nghệ mới. Trong trường hợp điện toán đám mây, điều này có nghĩa là các quy trình phát triển trong công việc dựa trên dự án. Việc thử nghiệm cũng tiếp tục tích cực trong giai đoạn này nhưng có khả năng hiển thị trong tổ chức. Khả năng hiển thị này sau đó cho phép học hỏi nơi cần tăng cường khả năng quan sát.

Trong giai đoạn này, các tổ chức cũng đang thử nghiệm các công nghệ từ các nhà cung cấp khác nhau. Trong một số trường hợp, các nhà cung cấp truyền thống sẽ tụt hậu trong các dịch vụ của họ, do đó tạo cơ hội đột phá cho các nhà cung cấp mới. Các tổ chức vẫn tiếp tục học hỏi cách tốt nhất để tận dụng các công nghệ mới và cách tích hợp các công nghệ mới này vào các quy trình hiện có, đồng thời xác định các quy trình mới cần thực hiện do công nghệ mới.

Trong giai đoạn cuối cùng của mô hình trưởng thành, các tổ chức bắt đầu chuyển các dự án trực tiếp, sản xuất sang công nghệ mới, dù là AI hay điện toán đám mây. Các quy trình nội bộ được thiết lập và việc sử dụng tăng lên theo thời gian. Cuối cùng, một số lượng lớn khối lượng công việc được chuyển sang công nghệ mới. Giống như việc sử dụng điện toán đám mây, các tổ chức trưởng thành trong việc sử dụng AI có thể tập trung vào một nhà cung cấp duy nhất cho việc triển khai của họ. Khả năng dự phòng chiến lược được thêm vào thông qua các nhà cung cấp khác cho các khối lượng công việc quan trọng.

Các biện pháp kiểm soát an ninh cũng tồn tại trong giai đoạn này để giám sát và ngăn chặn các khai thác độc đáo cho công nghệ. Các rủi ro an ninh phổ biến có thể được giảm thiểu thông qua các công cụ an ninh hiện có hoặc thông qua các quy trình và công nghệ an ninh mới kết hợp cả các mô hình mới và cũ.

GHI NHỚ

Việc tối ưu hóa công nghệ mới thực sự bắt đầu trong giai đoạn này khi các nhóm hiểu rõ hơn về điểm mạnh và điểm yếu. Giám sát là một thành phần của quá trình tối ưu hóa này, mặc dù giám sát mang tính ngữ cảnh cụ thể và có thể bao gồm cả an ninh. Những tiến bộ bổ sung trong giám sát xảy ra khi công nghệ trưởng thành.

AI và Điện Toán Đám Mây

Như đã minh họa bởi mô hình trưởng thành, việc sử dụng AI có nhiều điểm tương đồng với việc áp dụng điện toán đám mây ban đầu. Mô hình điện toán đám mây cho phép các tổ chức triển khai mã và ứng dụng một cách nhanh chóng mà không phải chịu chi phí và độ phức tạp của phần cứng và cơ sở hạ tầng. Trước điện toán đám mây, một tổ chức cần đầu tư vốn đáng kể vào phần cứng, tuyển dụng chuyên gia để triển khai phần cứng, và sau đó duy trì phần cứng và hệ điều hành trong suốt vòng đời của nó.

Các tổ chức cần học cách tốt nhất và hiệu quả nhất để tích hợp các dịch vụ dựa trên đám mây vào vòng đời phát triển của họ. Các tổ chức đã học được rằng đám mây có thể được sử dụng để triển khai các môi trường thử nghiệm mã một cách dễ dàng và không tốn nhiều chi phí duy trì phần cứng. Khi một tổ chức trưởng thành hơn về khả năng đám mây của mình, trọng tâm chuyển sang việc tạo ra các triển khai đầu cuối, bao gồm cả tự động hóa.

Độ phức tạp của việc triển khai nội bộ có nghĩa là mất nhiều thời gian chỉ để tạo ra cơ sở hạ tầng. Điện toán đám mây đã thay đổi mô hình để các nhóm có thể triển khai mã một cách nhanh chóng mà không cần đầu tư vào phần cứng. Các môi trường phát triển và đảm bảo chất lượng có thể được tạo ra với sự tham gia rất ít từ các đội ngũ cơ sở hạ tầng.

Tốc độ và tính dễ dàng của việc triển khai cũng làm tăng nguy cơ các môi trường dựa trên đám mây được triển khai mà không có các quy trình an ninh thông thường. Các nhóm dự án không quen thuộc với việc triển khai máy chủ và các quy trình liên quan đến cơ sở hạ tầng đôi khi triển khai mã vào các môi trường có sẵn công khai. Những thứ như tường lửa, phân đoạn mạng và các tiêu chuẩn an ninh có thể không được áp dụng một cách nhất quán hoặc hoàn toàn. Các đội ngũ cơ sở hạ tầng có rất ít khả năng ngăn chặn các triển khai này ngoài việc ở cấp độ quy trình và hành chính. Các môi trường sẽ được triển khai trên các mạng nằm ngoài tầm kiểm soát hoặc quyền hạn của họ,

khó hoặc không thể thực hiện kiểm toán. Tương tự như cách các tổ chức nhanh chóng áp dụng điện toán đám mây, các tổ chức hiện đang nhanh chóng thử nghiệm và triển khai các dịch vụ và công nghệ AI mới. Giống như điện toán đám mây trong những ngày đầu, mọi người đều sử dụng nó nhưng chưa biết cách bảo mật nó. Việc áp dụng AI đang đối mặt với một thách thức tương tự.

IT Ẩn Sang AI Ẩn

Một số tổ chức ngăn chặn sự tiến triển dọc theo mô hình trưởng thành bằng cách tạo ra những rào cản đáng kể cho việc triển khai các công nghệ mới. Tại một trường đại học nhỏ ở vùng Trung Tây, đã có sự chậm trễ năm năm trong việc phê duyệt sử dụng Amazon Web Services (AWS) mặc dù phiên bản giáo dục của dịch vụ này miễn phí và không yêu cầu cài đặt bất kỳ phần mềm nào. Quy trình phê duyệt ở các lĩnh vực khác phức tạp đến mức nếu thiết bị sử dụng điện, nó phải trải qua quy trình phê duyệt IT, ngay cả khi thiết bị đó không liên quan đến IT, chẳng hạn như thiết bị âm thanh.

Trong các tổ chức như vậy, có một sự cám dỗ mạnh mẽ để vượt qua khoảng cách thế hệ và sử dụng công nghệ mới hơn, ngay cả khi bản thân công nghệ mới hơn đó đã là một thập kỷ. IT ẩn là thuật ngữ mô tả sự thiếu khả năng hiển thị vào các công nghệ đang chạy trong môi trường. IT ẩn đôi khi có thể xảy ra một cách cố ý nếu nhân viên đang làm việc ngoài quy trình phê duyệt và đôi khi vô tình, chẳng hạn như bằng cách chấp nhận Điều khoản Dịch vụ trong một thỏa thuận nhấp chuột qua.

Trong mọi trường hợp, khi nhân viên chạy các công nghệ nằm ngoài tầm nhìn của đội ngũ an ninh, điều đó có thể dẫn đến việc các biện pháp an ninh không phù hợp, các lỗ hổng ẩn, các phơi nhiễm không cố ý và các rủi ro nghiêm trọng khác.

Cả IT ẩn và AI ẩn đều có những đặc điểm chung là nhân viên chạy các công nghệ mà đội ngũ an ninh không nhìn thấy được. Việc kiểm soát các rủi ro liên quan đến IT ẩn và AI ẩn có thể đầy thách thức.

GHI NHỚ

Khi đối phó với IT ẩn trong trường hợp phát triển, các quy trình Vòng đời Phát triển Phần mềm (SDLC) mạnh mẽ có thể ngăn chặn việc sử dụng IT ẩn vì quản trị dự án sẽ tìm ra các khu vực không được phê duyệt đó một cách nhanh chóng. Hơn nữa, các biện pháp kiểm soát và giám sát mạng là những cách hiệu quả để ngăn chặn AI ẩn

hoạt động. Ví dụ, một nhân viên sẽ không thể tạo máy chủ ảo hoặc triển khai máy chủ vật lý vì các biện pháp kiểm soát truy cập mạng sẽ ngăn chặn một thiết bị không xác định sử dụng mạng.

CẢNH BÁO

AI ẩn làm tăng bề mặt tấn công vì AI mang đến những loại rủi ro mới mà các tổ chức thậm chí còn không biết là tồn tại trong môi trường của họ.

Tồn tại nhiều lĩnh vực đáng lo ngại với AI ẩn, bao gồm các vấn đề bảo vệ dữ liệu, tính toàn vẹn thông tin và tuân thủ quy định.

Bảo vệ Dữ liệu

Việc sử dụng AI có thể gây ra trách nhiệm pháp lý và dẫn đến các vấn đề bổ sung khi việc sử dụng đó không được phê duyệt. Các nhà phát triển sử dụng AI và các mô hình huấn luyện bên ngoài các quy trình SDLC thông thường là một kịch bản mà nhiều tổ chức khó kiểm soát hiệu quả. Các tác động bao gồm khả năng trích xuất dữ liệu từ LLM, cho phép một đối thủ độc hại có khả năng thu thập thông tin riêng tư từ dữ liệu thông qua một cuộc tấn công suy diễn.

Các nhà phát triển nhanh chóng xem xét các dịch vụ AI mới để có được sự hỗ trợ và đổi mới trong lĩnh vực phát triển nhanh chóng này. Khi họ làm như vậy, các kho dữ liệu nội bộ có thể được chia sẻ làm dữ liệu huấn luyện. Vấn đề trở nên tồi tệ hơn do việc sử dụng các dịch vụ AI dựa trên đám mây có thể là một phần của kịch bản phát triển ẩn của nhà phát triển.

Tính Toàn vẹn Thông tin

Tương tự, một nhà phát triển có thể yêu cầu hỗ trợ cho một nhiệm vụ viết mã. Tuy nhiên, mã được tạo ra bởi AI có thể không chính xác hoặc có thể vi phạm bản quyền. Ví dụ, nếu công cụ AI sử dụng các phương pháp viết mã kém làm đầu vào hoặc học hỏi từ các phương pháp kém, thì mã kết quả cũng sẽ kém tương tự. Đôi khi được gọi là ảo giác, AI sẽ cung cấp thông tin có thể không chính xác khi nó không chắc chắn về câu trả lời dứt khoát. Thật không may, không phải lúc nào cũng có một phương pháp dễ dàng để phân biệt sự thật với hư cấu vì AI sẽ trình bày câu trả lời như thể nó là sự thật.

Tuân thủ

Để đối phó với điều này, các tổ chức soạn thảo các chính sách chi phối việc sử dụng AI trong tổ chức. Tổ chức có thể đi xa đến mức chặn trang web đó đối với người dùng máy tính để bàn. Tuy nhiên, với sự phổ biến của làm việc tại nhà và khả năng sử dụng điện thoại cho cùng một công việc, khả năng kiểm soát việc sử dụng AI thông qua chính sách là hạn chế.

Đồng thời, các quy định xung quanh AI đang ngày càng tăng. Năm 2020, Nghị viện Châu Âu đã đưa ra một tài liệu dài 100 trang giúp xác định mối quan hệ giữa Quy định Chung về Bảo vệ Dữ liệu (GDPR) và AI khi áp dụng tại Liên minh Châu Âu (EU). Kể từ đó, Đạo luật AI của EU đã được chính thức thông qua nhằm mã hóa việc sử dụng AI trong EU. Tại Hoa Kỳ và các nơi khác, các quy định và tuân thủ sẽ có các hình thức khác nhau và có thể không giống như EU.

MẸO

Đạo luật AI của EU có thể được tìm thấy tại https://www.europarl.europa.eu/topics/en/article/20230601ST093804/eu-ai-act-first-regulation-on-artificial-intelligence và tài liệu gốc dài 100 trang về GDPR và AI có thể được tìm thấy tại https://www.europarl.europa.eu/RegData/etudes/STUD/2020/641530/EPRS_STU(2020)641530_EN.pdf.

AI & Đám Mây: Các Rủi Ro Chung và Chia Sẻ

Hồ sơ an ninh cho đám mây và AI chia sẻ một số rủi ro giống nhau:

Quản lý danh tính và quyền truy cập
Tiếp xúc công khai
Sai cấu hình
Lỗ hổng bảo mật
Dữ liệu nhạy cảm

Phần này xem xét một số rủi ro đó và cách chúng ảnh hưởng đến cả đám mây và AI.

Quản lý Danh tính và Quyền truy cập

Quản lý danh tính không cần phải là một quy trình cồng kềnh được thêm vào việc phát triển ứng dụng hoặc cản trở việc triển khai. Việc triển khai AI yêu cầu quản lý quyền bổ sung để kiểm soát quyền truy cập trong suốt quá trình thu thập dữ liệu, xây dựng mô hình và triển khai quy trình.

Quyền truy cập gắn liền chặt chẽ với quản lý danh tính. Kiểm soát quyền truy cập là một khía cạnh, nhưng việc xác thực quyền truy cập cũng cần thiết. Xác thực đảm bảo rằng quyền chính xác không thể bị leo thang đặc quyền để có thêm chức năng trong một đường tấn công.

Tiếp xúc Công khai

Dữ liệu có thể bị lộ công khai thông qua các kịch bản đám mây do lưu trữ được cấu hình không chính xác hoặc do kẻ tấn công leo thang đặc quyền của họ để truy cập dữ liệu được lưu trữ trên đám mây. Dữ liệu được sao lưu trong đám mây hoặc bản sao dữ liệu thử nghiệm chưa được khử trùng đúng cách cũng có thể dẫn đến việc lộ thông tin công khai.

Hãy xem xét rằng việc truy cập dữ liệu thường được thực hiện thông qua các ứng dụng được kiểm soát chặt chẽ và thường là tùy chỉnh. Trong các kịch bản cổ điển này, người dùng tương tác với ứng dụng thông qua một giao diện được xác định trước như trang web hoặc ứng dụng. Do đó, có rất ít cơ hội cho một tác nhân độc hại trực tiếp thay đổi dữ liệu hoặc thu thập thêm thông tin.

Với AI, các tác nhân độc hại có nhiều cơ hội khác nhau để thao túng dữ liệu. Tại thời điểm nhập liệu, dữ liệu được sử dụng trong AI có thể bị thay đổi hoặc sửa đổi theo cách cho phép kẻ tấn công khai thác dữ liệu sau này để lộ thêm chi tiết. Kẻ tấn công cũng có thể thiết kế các prompt theo cách gây nhầm lẫn cho AI hoặc gây ra ảo giác cho AI và do đó làm lộ dữ liệu.

CẢNH BÁO

Nguy cơ lộ dữ liệu công khai cao hơn đáng kể với AI so với ứng dụng truyền thống do cách người dùng tương tác với dữ liệu.

Sai Cấu hình

Việc cấu hình sai một quy trình AI hoặc mô hình AI cũng có thể gây ra vấn đề. Sai cấu hình vượt ra ngoài các rủi ro dẫn đến lộ thông tin công khai, mặc dù đó chắc chắn là một vấn đề. Sai cấu hình có thể dẫn đến leo thang đặc quyền hoặc tạo khả năng lợi dụng sai cấu hình đó của một thành phần ứng dụng thành một khai thác lớn hơn, nghiêm trọng hơn.

Các Lỗ Hổng và Dữ Liệu Nhạy Cảm

Một rủi ro bao trùm với AI là việc tiết lộ thông tin nhạy cảm. Ví dụ, một mô hình được huấn luyện trên dữ liệu nội bộ có thể bị thao túng để chia sẻ dữ liệu đó là một vấn đề riêng của AI. Mặc dù có thể tương tác với một ứng dụng để khiến nó hiển thị dữ liệu, bản chất được kiểm soát của các ứng dụng là các truy vấn thường bị giới hạn và được khử trùng. Hãy so sánh điều này với AI – nơi kẻ tấn công tương tác trực tiếp hơn với dữ liệu cơ bản và có thể lừa AI chia sẻ dữ liệu nguồn của nó.

Các Rủi Ro AI Theo OWASP

OWASP đã tạo ra danh sách Top 10 bao gồm các vấn đề liên quan đến an ninh với LLM và AI. Giống như danh sách Top 10 mà OWASP tạo ra cho các lỗ hổng liên quan đến web, danh sách Top 10 cho AI tạo sinh và các ứng dụng LLM cung cấp cái nhìn tổng quan về các lỗ hổng liên quan đến các tổ chức triển khai AI. Phần này nhấn mạnh một số danh sách Top 10.

Là một phần của cùng một dự án, OWASP cũng đã tạo ra Danh sách Kiểm tra An ninh Mạng và Quản trị LLM AI. Danh sách kiểm tra này chứa các rủi ro và lợi ích khác nhau liên quan đến LLM.

MẸO

Thông tin OWASP về GenAI, bao gồm cả Top 10, có sẵn tại https://genai.owasp.org.

Các Rủi Ro Chung

Có nhiều rủi ro khác nhau được xác định trong danh sách Top 10 của OWASP phổ biến đối với AI và các hệ thống điện toán khác:

Từ chối dịch vụ (DoS)
Lỗ hổng chuỗi cung ứng
Công cụ của bên thứ ba không an toàn

Ngay cả với các rủi ro phổ biến, thường có những yếu tố trong mỗi rủi ro là đặc trưng của AI.

Từ chối Dịch vụ

Một rủi ro chung cho tất cả các hệ thống máy tính là tấn công DoS. Cho dù kẻ tấn công có thể gây ra tình trạng cạn kiệt tài nguyên hay thực hiện một cuộc tấn công vật lý dẫn đến dịch vụ không khả dụng, kết quả DoS là như nhau. Tuy nhiên, các cuộc tấn công DoS có những yếu tố riêng biệt đối với AI. Bản chất đệ quy của AI có nghĩa là đôi khi nó sẽ sử dụng chính đầu ra của mình làm đầu vào. Điều này khiến AI có thể bị tấn công DoS theo kiểu đệ quy.

Các Lỗ Hổng Chuỗi Cung Ứng và Thiết Kế Plugin Không An Toàn

Có nhiều cơ hội để kẻ tấn công xâm nhập vào các điểm khác nhau trong suốt SDLC. Ví dụ, một kẻ tấn công có thể thao túng một thành phần của bên thứ ba có thể ảnh hưởng đến cả việc triển khai AI và không phải AI. Việc sử dụng phần mềm hoặc plugin lỗi thời là một ví dụ khác về kiểu tấn công chuỗi cung ứng có thể ảnh hưởng đến AI và phát triển ứng dụng khác. AI có thể hơi độc đáo, tùy thuộc vào ngữ cảnh, do sự phụ thuộc vào các gói bên ngoài để phát triển mô hình bằng các ngôn ngữ như Python và các ngôn ngữ khác thường liên quan đến quá trình xử lý dữ liệu lớn và LLM.

Tiêm Nhiễm Prompt và Output

Vấn đề hàng đầu được OWASP ghi nhận với AI tạo sinh và LLM là tiêm nhiễm prompt (prompt injection). Tiêm nhiễm prompt được chia thành hai loại: trực tiếp và gián tiếp. Một kẻ tấn công khai thác tiêm nhiễm prompt trực tiếp thực hiện một hoạt động với AI để khiến hệ thống cơ bản hoạt động theo những cách không mong muốn. Sau đó, kẻ tấn công có thể truy cập vào các khu vực không dành cho tương tác công cộng, điều này có thể dẫn đến lộ dữ liệu hoặc di chuyển ngang tiếp theo.

Tiêm nhiễm prompt gián tiếp là khi kẻ tấn công khiến mô hình chấp nhận đầu vào từ một nguồn không đáng tin cậy. Ví dụ, việc khiến mô hình AI lấy đầu vào từ một trang web bên ngoài như một phần của cuộc hội thoại prompt có thể gây ra loại lỗ hổng này.

CẢNH BÁO

Khi AI được sử dụng làm đầu vào cho một quy trình khác, có nguy cơ thiếu kiểm soát đầu ra hoặc lọc đầu ra không đầy đủ sẽ dẫn đến tiêm nhiễm output (output injection). Hãy so sánh tiêm nhiễm output với tiêm nhiễm input. Tiêm nhiễm input khiến kẻ tấn công có quyền truy cập vào AI; tiêm nhiễm output khiến AI tạo ra một lỗ hổng mới.

Ngộ Độc Dữ Liệu và Đánh Cắp

Ngộ độc dữ liệu (data poisoning) xảy ra khi kẻ tấn công có thể thay đổi dữ liệu mô hình sao cho nó tạo ra kết quả không chính xác, không đầy đủ hoặc sai lệch. Nếu kẻ tấn công biết dữ liệu mà mô hình được huấn luyện trên đó, họ có thể thao túng dữ liệu theo cách gây ra kết quả không mong muốn hoặc kết quả phục vụ mục đích của kẻ tấn công. OWASP nhấn mạnh rằng kẻ tấn công có thể là người có ý đồ xấu hoặc đối thủ cạnh tranh. Một đối thủ cạnh tranh tiêm dữ liệu xấu đã biết vào một mô hình để làm sai lệch kết quả là một rủi ro, bất kể động cơ của họ là gì.

Việc xuất bản các mô hình dữ liệu độc hại là một vấn đề liên quan chặt chẽ dẫn đến cùng một kết quả. Kẻ tấn công có thể đóng góp hoặc phát hành các mô hình dữ liệu với các thành kiến đã biết hoặc các sai sót khác mà chỉ kẻ tấn công mới biết. Bằng cách sử dụng phương pháp này, kẻ tấn công có thể thao túng kết quả đầu ra của bất kỳ ai sử dụng mô hình dữ liệu đó.

Đánh cắp dữ liệu, ví dụ, đơn giản là lấy một bản sao trái phép của cơ sở dữ liệu, không phải là duy nhất đối với AI. Kẻ tấn công đã đánh cắp dữ liệu, cả về mặt vật lý và thông qua các phương tiện trực tuyến ảo, trong nhiều thập kỷ. Tuy nhiên, điều độc đáo là giá trị của chính các mô hình AI. Giá trị nằm ở sự kết hợp của dữ liệu và các thành phần cấu trúc của mô hình, chẳng hạn như siêu dữ liệu về trọng số và xử lý. Do đó, có một rủi ro duy nhất liên quan đến AI khi kẻ tấn công có quyền truy cập vào mô hình AI, chứ không chỉ dữ liệu.

CẢNH BÁO

Kẻ tấn công có khả năng suy ra một lượng đáng kể cấu trúc bằng cách đưa ra các prompt cho AI và sau đó sử dụng kết quả để điền vào một mô hình khác.

Tính Tự Chủ và Quyền Hạn Quá Mức

AI được phép kiểm soát các tình huống có tác động và xu hướng này sẽ tiếp tục. Việc cho phép AI kiểm soát các tình huống có khả năng cao hơn trong việc tạo ra các hiệu ứng hạ nguồn là một rủi ro. OWASP xác định quyền hạn quá mức là bao gồm các quyền và chức năng quá mức cũng như quyền tự chủ hoặc khả năng hành động mà không cần giám sát trực tiếp.

Liên quan chặt chẽ đến quyền hạn và quyền tự chủ quá mức là sự phụ thuộc quá mức vào AI. Như đã nhấn mạnh trước đó trong chương, AI sẽ đưa ra phản hồi nhưng không nhất thiết là câu trả lời dứt khoát và đúng sự thật. Điều này trở thành vấn đề khi sử dụng mã do AI tạo ra. Trong một kịch bản như vậy, mã dễ bị tổn thương có thể được tạo ra dẫn đến các vấn đề nghiêm trọng. Nhà phát triển ứng dụng có thể không nhận thấy vấn đề và mã vượt qua kiểm thử tự động và đi vào môi trường sản xuất.

CẢNH BÁO

Nếu kẻ tấn công có thể thao túng hoặc làm nhiễm độc dữ liệu huấn luyện cho mô hình mã hoặc nếu mô hình được huấn luyện bằng cách sử dụng các ví dụ mã từ các nhà phát triển thiếu kinh nghiệm, thì kịch bản này khá thực tế.

Biên soạn bởi – ITPRO-AI

https://itpro.ai.vn