Các hệ thống trí tuệ nhân tạo (AI) đang chuyển từ giai đoạn thử nghiệm sang trở thành hạ tầng vận hành. Vấn đề then chốt là nhiều doanh nghiệp vẫn coi chúng chỉ như những chatbot nâng cấp, trong khi thực tế chúng có khả năng truy cập dữ liệu, sử dụng các ứng dụng doanh nghiệp và thực hiện các hành động với mức độ tự chủ đủ để thay đổi cấu trúc rủi ro.
Dữ liệu thống kê chính là minh chứng rõ ràng nhất. Theo báo cáo phân tích về khoảng cách giữa số vụ sự cố và ngân sách dành cho các hệ thống AI, vào năm 2026, 88% doanh nghiệp đã báo cáo các sự cố an ninh liên quan đến hệ thống AI trong năm trước đó, trong khi chỉ có 6% ngân sách an ninh được phân bổ cho rủi ro này. Đây không phải là vấn đề lý thuyết. Đây là vấn đề về quản trị, ưu tiên và kiểm soát hoạt động.
Đối với các nhà lãnh đạo doanh nghiệp, thông điệp không phải là “hãy ngừng sử dụng các hệ thống AI”. Mà hoàn toàn ngược lại. Hãy sử dụng chúng với các quy tắc rõ ràng, ranh giới kỹ thuật cụ thể và sự giám sát thực sự. Khi thiếu những yếu tố này, tự động hóa sẽ khiến sai sót gia tăng. Ngược lại, khi cơ chế quản trị được thiết kế tốt, AI sẽ trở thành một công cụ đáng tin cậy giúp gia tăng năng suất, nâng cao khả năng phân tích và ra quyết định.
Có một con số đáng khiến ban lãnh đạo phải chú ý: số vụ sự cố liên quan đến các hệ thống AI đang gia tăng nhanh hơn so với các biện pháp kiểm soát mà các doanh nghiệp áp dụng để quản lý chúng. Vấn đề đối với nhiều doanh nghiệp không phải là nhận ra rằng rủi ro tồn tại, mà là nhận ra quá muộn rằng một hệ thống AI có quyền truy cập vận hành đã xâm nhập vào các quy trình, nơi mà một sai sót có thể gây ảnh hưởng đến dữ liệu, tài chính, khách hàng và tuân thủ quy định.
Các tác nhân AI đang thâm nhập vào các quy trình kinh doanh với tốc độ mà rất ít chương trình bảo mật có thể theo kịp. Chúng phân tích dữ liệu, lập báo cáo, truy vấn hệ thống, kích hoạt các luồng công việc và, trong một số trường hợp, tương tác với khách hàng hoặc các quy trình nhạy cảm mà không cần sự giám sát liên tục. Đối với những ai đang xem xét các giải pháp tác nhân AI cho các quy trình vận hành và ra quyết định, vấn đề không phải là kìm hãm việc áp dụng. Vấn đề là phải quyết định trước xem sự tự chủ tạo ra giá trị ở đâu và ở đâu thì cần có những giới hạn rõ ràng.
Điều này giải thích tại sao vấn đề rủi ro bảo mật liên quan đến các tác nhân AI trong doanh nghiệp không chỉ liên quan đến đội ngũ CNTT. Vấn đề này liên quan đến Hội đồng quản trị, Giám đốc tài chính (CFO), Trưởng bộ phận tuân thủ và những người phê duyệt việc tự động hóa các quy trình quan trọng. Nếu một tác nhân có thể truy cập hệ thống CRM, sử dụng các công cụ tài chính, tra cứu kho tài liệu và thực hiện các hành động trên nhiều nền tảng, thì một cấu hình sai sót sẽ không chỉ giới hạn trong một công cụ duy nhất.
Cuộc khủng hoảng diễn ra âm thầm vì một lý do cụ thể. Nhiều vấn đề không bắt đầu bằng một cuộc tấn công rõ ràng, mà từ việc cấp quyền quá mức, một kết nối API được cấp vội vàng, một lời nhắc bị hiểu nhầm hoặc một quy trình làm việc được phê duyệt mà không có hệ thống ghi nhật ký đầy đủ. Tại một doanh nghiệp vừa và nhỏ (SME) ở Ý, nơi cùng một nhà cung cấp thường quản lý cả hệ thống ERP, email, BI và các quy trình tự động hóa, hiện tượng này càng trở nên trầm trọng hơn: hiệu quả tăng lên ngay lập tức, trong khi việc quản trị và phân tách vai trò lại bị bỏ lại phía sau.
Đây cũng là một cơ hội thực tế. Các doanh nghiệp vừa và nhỏ (SME) không có ngân sách như các tập đoàn lớn, nhưng họ có thể hành động nhanh hơn nếu thiết lập một số quy tắc rõ ràng: lập danh sách các tác nhân đang hoạt động, giới hạn quyền truy cập ở mức tối thiểu, yêu cầu phê duyệt thủ công đối với các tác vụ có tác động lớn và kiểm tra hợp đồng với nhà cung cấp. Đây là một phương pháp quản lý rủi ro mang lại hiệu quả có thể đo lường được, vì nó giúp giảm thiểu các sai sót tốn kém mà không cản trở quá trình tự động hóa.
Một trợ lý AI trong doanh nghiệp không nên được xem như một công cụ trò chuyện chỉ trả lời câu hỏi. Nó giống một cộng sự kỹ thuật số thực thi công việc hơn. Nó nhận nhiệm vụ, tra cứu dữ liệu, lựa chọn công cụ, thực hiện các bước trung gian và tạo ra kết quả. Nó có thể xử lý các công việc như dự báo, đối chiếu, phân loại tài liệu, quản lý phiếu yêu cầu, phân tích chương trình khuyến mãi hoặc giám sát rủi ro.
Một ví dụ minh họa hữu ích là hình ảnh một thực tập sinh "siêu cấp" được cấp thẻ truy cập toàn quyền. Nếu bạn đưa ra hướng dẫn cụ thể, giới hạn quyền truy cập một cách rõ ràng và bố trí người giám sát, họ sẽ hỗ trợ bạn rất nhiều. Ngược lại, nếu bạn cho phép họ tự ý mở tủ hồ sơ, sao chép tài liệu và tự mình ra quyết định, vấn đề không phải là do họ có ý đồ xấu. Mà là do thiếu ranh giới rõ ràng.
Để thấy mô hình này được áp dụng như thế nào trong các hoạt động phân tích, chỉ cần quan sát vai trò của các tác nhân AI trong các quy trình ra quyết định và phân tích.
Trong phần mềm truyền thống, rủi ro thường gắn liền với các chức năng có thể dự đoán được. Một ứng dụng sẽ thực hiện đúng những gì nó được lập trình. Ngược lại, một tác nhân AI có khả năng phân tích bối cảnh và mục tiêu. Điều này khiến nó trở nên hữu ích, nhưng cũng khó kiểm soát hơn bằng các biện pháp quản lý truyền thống.
Ba yếu tố ảnh hưởng đến rủi ro là:
Quy tắc thực tiễn: nếu một hệ thống có khả năng đọc, ra quyết định và hành động, thì nó cần được quản lý như một thực thể có đặc quyền, chứ không phải chỉ là một chức năng phần mềm đơn thuần.
Nhiều doanh nghiệp áp dụng các biện pháp kiểm soát đối với các trợ lý ảo giống như đối với tích hợp API hay bot tự động hóa. Đó là một bước khởi đầu, nhưng vẫn chưa đủ. Các trợ lý ảo kết hợp ngôn ngữ tự nhiên, bộ nhớ làm việc, khả năng tích hợp và tính tự chủ. Điều này có nghĩa là cùng một đầu vào có thể tạo ra các kết quả khác nhau tùy thuộc vào bối cảnh, các hướng dẫn hiện tại và các công cụ có sẵn.
Đối với một nhà lãnh đạo doanh nghiệp, câu hỏi đúng không phải là “nhân viên đó có đáng tin cậy không?”. Câu hỏi đúng là một câu khác:
Nếu không có câu trả lời rõ ràng cho một trong ba vấn đề này, rủi ro đã bắt đầu xuất hiện.
Các cuộc tấn công nhắm vào các tác nhân AI tuân theo một logic đơn giản: chúng tấn công vào điểm mà tác nhân đó quan sát, phân tích hoặc thực hiện hành động. Đối với một doanh nghiệp vừa và nhỏ (SME) của Ý, vấn đề này không chỉ mang tính lý thuyết. Một tác nhân duy nhất được kết nối với hệ thống CRM, PEC, ERP hoặc hệ thống đặt hàng có thể tập trung các rủi ro – vốn trước đây được phân tán giữa nhiều ứng dụng và nhiều vai trò – vào một luồng dữ liệu duy nhất.
Nguyên nhân trực tiếp nhất vẫn là việc tiết lộ thông tin nhạy cảm một cách vô ý. Không cần phải là một vụ vi phạm phức tạp. Chỉ cần một nhân viên có quyền truy cập rộng rãi vào dữ liệu, một yêu cầu được đặt ra một cách mơ hồ và các biện pháp kiểm soát đầu ra lỏng lẻo là đủ.
Một trường hợp điển hình liên quan đến đội ngũ kinh doanh. Nhân viên kinh doanh tra cứu hệ thống CRM, các phiếu yêu cầu đang mở và tài liệu hợp đồng để chuẩn bị bản tóm tắt thông tin khách hàng. Nếu yêu cầu buộc hệ thống phải “bao gồm mọi thông tin có thể hữu ích”, kết quả đầu ra có thể kết hợp các dữ liệu mà khi xem xét riêng lẻ thì hợp lệ, nhưng khi kết hợp lại lại trở nên quá mức cần thiết: điều kiện kinh tế, ghi chú hoạt động, thông tin cá nhân, các trường hợp ngoại lệ trong hợp đồng.
Đối với một doanh nghiệp quy mô vừa, rủi ro này gây ra những tổn thất cụ thể. Nó có thể dẫn đến vi phạm quyền riêng tư, làm lộ thông tin thương lượng và gây ra mâu thuẫn với khách hàng hoặc nhà cung cấp. Vấn đề không chỉ nằm ở dữ liệu bị lộ. Mà còn ở khả năng của nhân viên trong việc tổng hợp các nguồn thông tin mà tổ chức đã cố ý tách biệt vì một lý do cụ thể.
Lệnh chèn (prompt injection) hoạt động như một chỉ thị ẩn trong các tài liệu mà nhân viên xử lý hàng ngày. Nó có thể xuất hiện trong một email, tệp đính kèm, cơ sở kiến thức, trang thông tin sản phẩm hoặc phản hồi từ một API bên ngoài. Nhân viên sẽ hiểu nó như một phần của bối cảnh công việc và điều chỉnh hành vi của mình cho phù hợp.
Nếu nhân viên sử dụng các công cụ khác, vấn đề sẽ trở nên nghiêm trọng hơn. Một dữ liệu đầu vào không chính xác có thể làm sai lệch quá trình tìm kiếm tài liệu, ảnh hưởng đến việc phân loại, kích hoạt một quy trình làm việc hoặc gây ra lỗi cho nhân viên khác. Trong các doanh nghiệp áp dụng quy trình tinh gọn, tác động này càng nguy hiểm hơn, bởi vì tốc độ và tự động hóa làm giảm thời gian cần thiết để phát hiện ra sai sót.
Trên thực tế, các biện pháp kiểm soát hiệu quả nhất là:
Chỉ dựa vào lời nhắc ban đầu của hệ thống là một lựa chọn thiếu an toàn. Các hướng dẫn tĩnh có thể hữu ích, nhưng không đủ nếu tác nhân tiếp tục truy cập vào các nội dung không đáng tin cậy trong suốt quá trình.
Một tác nhân được kết nối với nhiều công cụ sẽ tạo ra một bề mặt tấn công phân tán. Mỗi lần tích hợp sẽ thêm một điểm mới cần kiểm soát.
Đây là một trong những rủi ro thường bị bỏ qua nhất trong các dự án thực tế. Ban đầu, người quản trị chỉ được cấp quyền truy cập hạn chế. Sau đó, một "cổng kết nối tạm thời" mới được thêm vào, một giải pháp tạm thời để đẩy nhanh quá trình kiểm thử, hoặc một yêu cầu tích hợp khẩn cấp từ phía doanh nghiệp. Chỉ trong vài tháng, người quản trị này cuối cùng lại sở hữu nhiều quyền truy cập hơn mức mà đội ngũ có thể nhớ hoặc giải thích được.
Obsidian Security đã báo cáo rằng nhiều tác nhân trong các doanh nghiệp hiện đã hoạt động vượt ra ngoài phạm vi quyền hạn ban đầu được quy định, như được giải thích trong bài phân tích sâu này về hiện tượng tích lũy đặc quyền trong các tác nhân AI.
Cơ chế này lặp đi lặp lại:
| Tình hình | Tác động hoạt động | Rủi ro |
|---|---|---|
| Tích hợp SaaS mới | Người chơi nhận được các ống ngắm mới | Tăng diện tích tiếp xúc |
| Không tiến hành kiểm tra định kỳ | Các giấy phép vẫn còn hiệu lực ngay cả khi không còn cần thiết nữa | Sự đặc quyền vô ích ngày càng gia tăng |
| Token hoặc thông tin đăng nhập bị lộ | Một người tấn công sẽ kế thừa các quyền truy cập đã được mở sẵn | Có thể di chuyển sang ngang |
Đối với một doanh nghiệp vừa và nhỏ, vấn đề không phải là xây dựng một bộ máy hành chính cồng kềnh. Vấn đề là phải tránh để một nhân viên vốn chỉ được giao nhiệm vụ kiểm tra hóa đơn lại phải thực hiện thêm các công việc như cập nhật thông tin nhân sự, tạo đơn đặt hàng hoặc phê duyệt các trường hợp ngoại lệ. Các biện pháp hiệu quả nhất thường rất đơn giản để xác định và đòi hỏi sự kiên trì trong việc thực hiện:
Một phần đáng kể của rủi ro không xuất phát từ một cuộc tấn công trực tiếp. Nó xuất phát từ những nhân viên thực hiện tốt nhiệm vụ được giao, nhưng lại áp dụng cách thức không phù hợp với bối cảnh doanh nghiệp.
Một ví dụ thực tế liên quan đến lĩnh vực bán lẻ hoặc phân phối. Một nhân viên bán hàng được giao nhiệm vụ giảm hàng tồn kho và nâng cao hiệu quả của các chương trình khuyến mãi. Nếu các yếu tố hạn chế như biên lợi nhuận, định vị thương hiệu hay tính mùa vụ không được nêu rõ, người đó có thể đề xuất các mức giảm giá quá mạnh, đẩy mạnh các sản phẩm không phù hợp hoặc dựa trên dữ liệu không đầy đủ. Về mặt kỹ thuật, họ đã làm đúng. Nhưng về mặt vận hành, họ đã gây ra thiệt hại.
Có ba dấu hiệu cần được chú ý ngay lập tức:
Chính vì vậy, vấn đề an ninh cho nhân viên cũng cần được xem xét như một vấn đề quản lý vận hành. Cần phải xác định rõ các mục tiêu, giới hạn, quy trình xử lý khi sự cố leo thang và các biện pháp kiểm soát sau sự cố. Tại các doanh nghiệp nhỏ của Ý, nơi các bộ phận CNTT, vận hành và kinh doanh làm việc chặt chẽ với nhau, điều này có thể trở thành một lợi thế cạnh tranh. Các quy tắc có thể được soạn thảo nhanh hơn, các quy trình có thể được điều chỉnh sớm hơn, và hiệu quả đầu tư sẽ rõ ràng hơn nếu bắt đầu từ các trường hợp sử dụng liên quan đến dữ liệu, thanh toán và quy trình phê duyệt.
Trong một công ty tài chính, một hệ thống AI hỗ trợ đội ngũ quản lý rủi ro bằng cách thu thập thông tin từ các giao dịch, hồ sơ khách hàng và các báo cáo nội bộ. Nhiệm vụ của hệ thống này là chuyển các trường hợp cần được chú ý đến các chuyên viên kiểm toán. Trên lý thuyết, hệ thống này giúp đẩy nhanh tiến độ công việc. Tuy nhiên, trên thực tế, nếu nhận được dữ liệu đầu vào bị thao túng hoặc được cấp quyền truy cập quá rộng, hệ thống có thể làm thay đổi thứ tự ưu tiên của các biện pháp kiểm soát hoặc cung cấp một cái nhìn không đầy đủ.
Trong lĩnh vực này, tác động tiêu cực hiếm khi chỉ giới hạn ở bộ phận CNTT. Nó còn ảnh hưởng đến các khía cạnh như tuân thủ quy định, kiểm toán, uy tín và thời gian phản hồi đối với cơ quan chức năng hoặc khách hàng. Đó là lý do tại sao việc mất dữ liệu và rò rỉ dữ liệu là mối quan tâm hàng đầu của 83% các CISO, trong khi 53% các tổ chức báo cáo rằng các tác nhân AI vượt quá quyền hạn của mình, theo kết quả khảo sát của CSA-Zenity về an ninh của các tác nhân AI.
Trong lĩnh vực bán lẻ, rủi ro lại mang một hình thái khác. Một hệ thống có thể liên quan đến định giá, quản lý hàng tồn kho, phân tích thương mại điện tử và các chiến dịch khuyến mãi. Nếu hệ thống hiểu sai một lệnh, hoặc nếu ai đó can thiệp vào dữ liệu đầu vào, hậu quả sẽ nhanh chóng dẫn đến các chương trình giảm giá không bền vững, danh mục sản phẩm mất cân đối hoặc việc lộ thông tin khách hàng trong các báo cáo và bảng điều khiển.
Ở đây, tốc độ đóng vai trò như một nhân tố nhân lên. Một sai sót trong một quy trình thủ công đơn lẻ sẽ chỉ gây ảnh hưởng trong phạm vi hẹp. Ngược lại, một sai sót từ một nhân viên phụ trách nhiều kênh có thể gây ra những sai lệch lan rộng trong vòng vài giờ đối với danh mục sản phẩm, hàng tồn kho và các chương trình khuyến mãi.
Trong lĩnh vực tài chính và bán lẻ, việc lựa chọn sai nhân viên không chỉ gây ra sự cố kỹ thuật. Nó còn dẫn đến những quyết định kinh doanh sai lầm, với tốc độ nhanh hơn và phạm vi ảnh hưởng rộng hơn.
Điều đầu tiên là phạm vi trách nhiệm của từng vị trí phải được xác định rõ ràng. Một nhân viên phụ trách phân tích không nên được phép phê duyệt, công bố hoặc chỉnh sửa mà không có sự kiểm soát bổ sung.
Thứ hai là cần phải giám sát hành vi, chứ không chỉ dựa vào nhật ký kỹ thuật. Trong lĩnh vực tài chính, điều này có nghĩa là theo dõi các sai lệch liên quan đến ưu tiên, các trường hợp loại trừ và các quy trình làm việc nhạy cảm. Trong lĩnh vực bán lẻ, điều này có nghĩa là kiểm soát các mẫu bất thường về giá cả, hàng tồn kho, chương trình khuyến mãi và quyền truy cập vào dữ liệu khách hàng.
Trong các cuộc thảo luận về rủi ro an ninh liên quan đến trí tuệ nhân tạo (AI) trong doanh nghiệp, người ta thường đề cập như thể tất cả các công ty đều sở hữu Trung tâm Điều hành An ninh (SOC) đã đi vào hoạt động ổn định, các quy trình được tổ chức bài bản và ngân sách riêng biệt. Các doanh nghiệp vừa và nhỏ (SME) tại Ý lại phải đối mặt với một thực tế hoàn toàn khác. Họ có ít nhân lực hơn, thời gian eo hẹp hơn, hệ thống ứng dụng đa dạng và áp lực lớn trong việc nhanh chóng thu hồi vốn đầu tư (ROI).
Chính vì vậy, rủi ro không chỉ nằm ở khía cạnh kỹ thuật. Mà còn là vấn đề tổ chức. Theo báo cáo của Confindustria Digitale trong quý đầu tiên năm 2026, 67% doanh nghiệp vừa và nhỏ (SME) tại Ý đang sử dụng các hệ thống AI, nhưng chỉ có 22% trong số đó đã triển khai hệ thống quản lý danh tính cho các hệ thống này. Ngoài ra, AGID đã phát hiện ra rằng 45% các vụ vi phạm AI tại các doanh nghiệp vừa và nhỏ ở vùng Lombardia xuất phát từ các tác nhân không được giám sát, với mức thiệt hại trung bình là 150.000€ cho mỗi vụ việc, như được nêu trong bài phân tích chuyên sâu này về các rủi ro của các tác nhân AI và những tác động tại địa phương.
Những con số này phản ánh một tình trạng căng thẳng rất đặc trưng của Ý. Tốc độ áp dụng công nghệ đang vượt xa tốc độ quản trị. Và khi thiếu đi những quy định tối thiểu về xác thực danh tính, giám sát và quyền sở hữu, tự động hóa sẽ trở thành một nguồn rủi ro tiềm ẩn khó phát hiện cho đến khi hệ thống gặp sự cố.
Trong thực tế, tôi thường gặp bốn điểm yếu lặp đi lặp lại:
Đối với các doanh nghiệp vừa và nhỏ (SME) của Ý, việc xem xét vấn đề quản trị doanh nghiệp cũng cần được đặt trong bối cảnh sự phát triển của khung pháp lý châu Âu, bao gồm cả khung pháp lý được đề cập trong bài bình luận của ELECTE về Đạo luật Trí tuệ nhân tạo châu Âu (European AI Act).
Các doanh nghiệp vừa và nhỏ không cần một bản sao của mô hình doanh nghiệp. Họ cần các biện pháp kiểm soát dễ quản lý và phù hợp với quy mô. Những câu hỏi đúng đắn là những câu hỏi rất cụ thể:
Nếu những câu trả lời này còn mơ hồ, thì rủi ro không phải là điều trừu tượng. Nó đã được tính toán sẵn trong giải pháp.
Một khung công tác chuyên nghiệp không nhằm mục đích kìm hãm việc áp dụng công nghệ. Mục đích của nó là ngăn chặn việc áp dụng trở nên khó kiểm soát. Khi cơ chế quản trị được xây dựng chặt chẽ, hoạt động kinh doanh sẽ diễn ra nhanh chóng hơn vì doanh nghiệp biết rõ có thể sử dụng những công cụ nào, trên dữ liệu nào và với những giới hạn ra sao.
Quy tắc đầu tiên rất đơn giản: bạn không thể kiểm soát những gì mình không biết là mình đang sở hữu. Nhiều doanh nghiệp chỉ phát hiện ra các tác nhân gây hại khi họ phải điều tra những hành vi bất thường. Lúc đó đã quá muộn.
Danh mục hàng tồn kho phải bao gồm:
Một danh mục hữu ích không phải là một danh sách tĩnh. Nó phải nêu rõ ít nhất bốn thông tin: chủ sở hữu, nguồn dữ liệu, các công cụ liên quan và mức độ quan trọng.
Đây chính là cốt lõi của cơ chế kiểm soát. Mỗi tác nhân phải có danh tính riêng, tách biệt với danh tính của người dùng đã tạo ra nó. Nếu tác nhân được cấp quyền truy cập quá rộng, mọi hành động của nó cũng sẽ đi kèm với rủi ro tương ứng.
Các quyết định sáng suốt ở đây rất thiết thực:
| Lựa chọn mô hình quản trị | Hiệu ứng |
|---|---|
| Mỗi đại lý có một danh tính riêng biệt | Phân công nhiệm vụ rõ ràng |
| Quyền truy cập tối thiểu cho từng tác vụ | Giảm thiểu tác động trong trường hợp xảy ra lỗi |
| Kiểm tra định kỳ các quyền truy cập | Kiểm soát hiện tượng mở rộng quyền hạn |
Điều không hiệu quả là sử dụng tài khoản chung, các mã thông báo dài mà không thay đổi định kỳ hoặc các vai trò chung chung “vì sự tiện lợi”. Sự tiện lợi ban đầu sẽ phải trả giá bằng việc mất đi khả năng hiển thị.
Nguyên tắc chỉ đạo: Nhân viên phải được cấp quyền truy cập đủ để thực hiện công việc, chứ không phải quyền truy cập toàn diện chỉ để “tránh bị chặn”.
Các bản ghi kỹ thuật là cần thiết, nhưng chưa đủ. Cần có hệ thống giám sát để theo dõi hành vi. Một nhân viên bắt đầu truy cập các nguồn thông tin bất thường, tăng lượng yêu cầu hoặc thay đổi quy trình làm việc của mình nên kích hoạt cảnh báo, ngay cả khi tất cả thông tin đăng nhập đều hợp lệ về mặt hình thức.
Một kế hoạch kiểm toán tốt bao gồm:
Ở đây, tính dễ đọc cũng rất quan trọng. Nếu chỉ có kỹ sư cấp cao mới có thể giải mã dữ liệu đo từ xa, thì cơ chế quản trị sẽ vẫn còn yếu kém.
Sai lầm tốn kém nhất là cho rằng “human in the loop” có nghĩa là phải phê duyệt mọi thứ bằng tay. Điều đó là không bền vững. Sự giám sát của con người chỉ phát huy hiệu quả khi nó xác định các ngưỡng can thiệp.
Ví dụ, người đại diện có thể tự mình xử lý các nhiệm vụ có mức độ ảnh hưởng thấp, nhưng phải dừng lại khi:
Việc giám sát này cần được quy định rõ trong các chính sách và thể hiện cụ thể trong các quy trình làm việc. Nó không thể chỉ dừng lại ở mức ý định tốt.
Nếu đội ngũ của bạn không biết ai có quyền can thiệp vào công việc của một nhân viên, thì bạn không có cơ chế quản trị. Bạn chỉ có một sự hy vọng được tổ chức mà thôi.
Trong các doanh nghiệp vừa và nhỏ (SME) của Ý, việc giảm thiểu rủi ro liên quan đến các hệ thống trí tuệ nhân tạo (AI) cần phải được thực hiện một cách hợp lý. Việc kiểm soát quá lỏng lẻo sẽ khiến doanh nghiệp phải đối mặt với rủi ro. Ngược lại, việc kiểm soát quá chặt chẽ sẽ làm đình trệ dự án trước khi nó tạo ra giá trị. Mục tiêu đúng đắn là giảm thiểu rủi ro hoạt động thông qua các biện pháp mà đội ngũ thực sự có thể duy trì lâu dài.
Để làm được điều này, bộ phận kinh doanh và bộ phận CNTT cần phải làm việc trên cùng một nền tảng. Bộ phận kỹ thuật am hiểu về tích hợp hệ thống, nhật ký hệ thống và quyền truy cập. Ban lãnh đạo quyết định các ưu tiên, ngưỡng rủi ro và ngân sách. Nếu thiếu một trong hai bên này, nhân viên sẽ phải làm việc trong một vùng xám.
Hãy bắt đầu từ những nguyên tắc rõ ràng, ví dụ như mô hình bảo mật Zero Trust áp dụng cho các hệ thống kỹ thuật số hiện đại, và chuyển hóa chúng thành các biện pháp kiểm soát dễ dàng thực hiện.
Danh sách này rất hữu ích như một tiêu chuẩn tối thiểu dành cho các tác nhân truy cập dữ liệu doanh nghiệp, truy vấn các hệ thống nội bộ hoặc kích hoạt quy trình làm việc.
Có hai lĩnh vực cần được theo dõi liên tục. Thứ nhất là tấn công chèn lệnh (prompt injection), một hình thức tấn công làm thay đổi hành vi của hệ thống thông qua các lệnh đầu vào có vẻ hợp lệ. Thứ hai là hiệu ứng domino giữa các công cụ và hệ thống liên kết. Trên thực tế, một lỗi nhỏ ban đầu có thể lan rộng sang các hệ thống CRM, ERP, hệ thống quản lý vé hoặc các kênh bên ngoài nếu không có các bộ lọc, giới hạn thực thi và cơ chế kiểm tra luồng dữ liệu.
Đối với một CEO, COO hay người đứng đầu bộ phận, câu hỏi đúng đắn không chỉ là liệu nhân viên đó có hoàn thành tốt công việc hay không. Câu hỏi ở đây là liệu mức độ sai sót của họ có phù hợp với quy trình mà họ đang tham gia hay không.
Đối với nhiều doanh nghiệp vừa và nhỏ (SME) của Ý, yếu tố này quyết định sự thành công của dự án. Không cần phải sao chép mô hình quản trị của một ngân hàng quốc tế. Điều cần thiết là phải xác định được những điểm mà sai sót thực sự gây tổn thất về tài chính, danh tiếng hoặc tuân thủ quy định, và từ đó áp dụng các biện pháp kiểm soát chặt chẽ nhất tại những khâu đó.
Có ba câu hỏi cần được đặt ra trong mọi cuộc trao đổi với nhà cung cấp, nhà tích hợp hệ thống hoặc đội ngũ nội bộ:
Một tác nhân AI chỉ thực sự hữu ích khi nó vẫn có thể được kiểm soát ngay cả khi gặp lỗi, chịu áp lực hoạt động hoặc phải đối mặt với các dữ liệu đầu vào có hại.
Các hệ thống trí tuệ nhân tạo (AI) đang thay đổi cách các doanh nghiệp phân tích dữ liệu, ra quyết định và thực hiện các hoạt động vận hành. Rủi ro không xuất phát từ sự tồn tại của chúng. Rủi ro chỉ nảy sinh khi mức độ tự chủ, quyền truy cập và cơ chế quản trị phát triển với tốc độ không đồng đều.
Chính vì vậy, vấn đề rủi ro an ninh liên quan đến các tác nhân trí tuệ nhân tạo (AI) trong doanh nghiệp cần được xem xét như một lĩnh vực quản lý chứ không chỉ đơn thuần là kỹ thuật. Danh mục tài sản rõ ràng, định danh chính xác, giám sát hành vi và sự giám sát có chọn lọc của con người là bốn yếu tố phân biệt một dự án có khả năng mở rộng với một nguồn rủi ro tiềm ẩn liên tục.
Các doanh nghiệp vừa và nhỏ (SME) của Ý đang phải đối mặt với một thách thức nữa. Họ cần tạo ra giá trị một cách nhanh chóng mà không cần xây dựng những cơ cấu quá cồng kềnh. Câu trả lời không phải là sao chép mô hình của các tập đoàn đa quốc gia lớn, mà là áp dụng các biện pháp kiểm soát cần thiết, dễ hiểu và bền vững.
Lưu ý: Bài viết này chỉ cung cấp thông tin chung và không được coi là tư vấn pháp lý hay tư vấn về tuân thủ.
Nếu bạn muốn áp dụng phân tích dữ liệu và các hệ thống AI theo cách có kiểm soát hơn, hãy tìm hiểu cách ELECTE – một nền tảng phân tích dữ liệu dựa trên AI dành cho các doanh nghiệp vừa và nhỏ – hỗ trợ các đội ngũ biến dữ liệu thành những thông tin chi tiết có giá trị thực tiễn thông qua một trải nghiệm thân thiện, được thiết kế để phát triển mà không gây ra sự phức tạp không cần thiết.
.svg)
.svg)
.svg)
