Гіки займаються стартапами, новачки купують курси, художники залишаються без роботи, але одна незручна реальність полягає в тому, що AI розвивається дуже активно, але сюжет йде не за маршрутом прийдешності, а за маршрутом кидання кубиків.
І, на початку індустрії, ця гральна кістка зазвичай приземляється на жовту або сіру сторону.
Причина дуже проста: шалений прибуток викликає мотивацію, тим більше, що на початкових етапах розвитку галузі завжди є багато вразливостей. Подивившись на ці дані, стає зрозуміло:
Наразі понад 43% вузлів служби MCP мають неперевірені шляхи викликів оболонки, а понад 83% розгортань мають вразливості конфігурації MCP (Model Context Protocol). 88% розгортань компонентів штучного інтелекту взагалі не мають жодної форми захисту; 150 000 легких фреймворків для розгортання штучного інтелекту, таких як Ollama, в даний час представлені в глобальній публічній мережі, а понад 1 мільярд доларів обчислювальної потужності було вилучено для майнінгу......
Що ще більш іронічно, так це те, що атака на найрозумнішу велику модель вимагає лише найнижчого рівня тактики - до тих пір, поки набір відкритих портів за замовчуванням, відкритий файл конфігурації YAML або неперевірений шлях виклику оболонки, і навіть, якщо оперативне введення досить точне, сама велика модель може допомогти сірій промисловості знайти напрямок атаки. Двері до конфіденційності корпоративних даних довільно входили та виходили в епоху штучного інтелекту.
Але проблема не безвихідна: ШІ має не лише генеративний, а й атакувальний бік. Як використовувати ШІ для захисту, стає все більшою основною темою цієї епохи; в той же час, на хмарі, розробка правил для ШІ також стає важливим напрямком для провідних хмарних постачальників, а безпека Alibaba Cloud є одним з найтиповіших прикладів.
У момент випуску Alibaba Cloud Feitian, що щойно завершився, Alibaba Cloud офіційно оголосила про два шляхи до хмарної безпеки: Security for AI та AI for Security, а також випустила продукти серії «AI Cloud Shield for AI», щоб надати клієнтам «комплексні рішення безпеки для модельних додатків», що є найкращим прикладом поточного дослідження галузі.
01 AI кидок кубика, чому завжди сірий та жовтий грані зверху?
В історії технологій людства ШІ не є першим новим видом, який «спочатку був випробуваний на жовтому насильстві», спочатку спалахнули сірі жовті, це також закономірність поширення технологій, а не випадковість.
1839 року, коли з'явилася фотографія на срібних пластинах, першими користувачами були представники порноіндустрії;
На початку Інтернету, коли електронна комерція тільки починала розвиватися, дорослі веб-сайти вже почали вивчати онлайн-платежі.
Сьогоднішні великі моделі "羊毛党" в певному сенсі також повторюють міф про швидке збагачення епохи "доменів".
Переваги епохи завжди спочатку забирають сірі та жовті. Тому що вони не дотримуються правил, не чекають на регулювання, їхня ефективність природно дуже висока.
Тому кожен період вибуху технологій спочатку є «брудним супом», штучний інтелект не є винятком.
У грудні 2023 року хакер лише за допомогою одного підказкового слова – «$1 пропозиція» – майже змусив робототехнічну службу обслуговування одного з автосалонів продати Chevrolet за 1 долар. Це і є найпоширеніша форма «атаки за допомогою підказок» (Prompt Injection) в епоху ШІ: без потреби у перевірці прав доступу, без залишення слідів у журналах, просто завдяки «вмілій промові» можна змінити всю логічну ланцюг.
Ще глибше — це «атака через джейлбрейк» (Jailbreak). Зловмисник за допомогою риторичних запитань, рольових ігор, обхідних підказок тощо успішно змушує модель говорити те, що їй насправді не слід: порнографічний контент, виготовлення наркотиків, фальшиві попередження…
У Гонконзі хтось навіть зміг вкрасти 200 мільйонів гонконгських доларів з корпоративних рахунків, підробивши голоси керівників.
Окрім шахрайства, у AI є ризик «не навмисного виводу»: у 2023 році у великій освітній компанії система великої моделі під час генерації навчальних планів помилково вивела матеріали з екстремістським змістом, лише за 3 дні батьки почали захищати свої права, спалахнула громадська думка, а вартість акцій компанії зникла на 12 мільярдів юанів.
ШІ не розуміє права, але вона має можливості, а можливості, якщо вони залишаються без нагляду, можуть бути небезпечними.
Але з іншого боку, технології ШІ нові, але кінцевий напрямок та засоби сірого ринку та жовтої економіки залишаються незмінними, а для вирішення цієї проблеми, все ще потрібно покладатися на безпеку.
02 Безпека для ШІ
Перш ніж сказати про один прохолодний факт, якого колективно уникає індустрія ШІ:
Суть великих моделей полягає не в «інтелекті» і не в «розумінні», а в генерації семантики під контролем ймовірності. Саме тому, якщо вийти за межі навчального контексту, можуть з'явитися несподівані результати.
Цей надмірний обсяг може бути таким: ви хочете, щоб він написав новини, а він пише вірші; або ж ви хочете, щоб він рекомендував товари, а він раптом каже вам, що сьогодні в Токіо температура 25 градусів Цельсія. Більше того, ви кажете йому в грі, що якщо не отримати справжній серійний номер певного програмного забезпечення, його розстріляють, а велика модель дійсно може знайти для користувача справжній серійний номер програмного забезпечення безкоштовно.
А щоб забезпечити контрольованість виходу, компанії потрібно добре розуміти як моделі, так і безпеку. Згідно з останнім звітом IDC "Оцінка можливостей безпекових великих моделей в Китаї", компанія Alibaba зайняла перше місце за 4 з 7 показників серед усіх провідних виробників в Китаї, які мають можливості безпекових великих моделей, а інші 3 показники також перевищують середні показники в галузі.
У методах, які пропонує Alibaba Cloud Security, відповідь також дуже пряма: забезпечити, щоб безпека випереджала швидкість AI, створивши повноцінну багаторівневу систему захисту знизу вгору — від безпеки інфраструктури до контролю введення та виведення великих моделей, а також захисту сервісів AI.
У цих трьох шарах найбільш відчутним є середній шар, спеціально призначений для ризиків великих моделей, - «AI безпечний бар'єр» (AI Guardrail).
Зазвичай, основні ризики безпеки для великих моделей включають: порушення контенту, витік чутливих даних, атаки ін'єкції підказок, ілюзії моделі та атаки втечі.
Однак традиційні рішення безпеки в основному є архітектурами загального призначення, призначеними для Інтернету, а не для «розмовних програм», і, природно, не можуть точно ідентифікувати і реагувати на ризики, унікальні для додатків великих моделей. Ще складніше охопити виникаючі питання, такі як безпека згенерованого контенту, захист від контекстних атак і надійність виводу моделі. Що ще важливіше, традиційним рішенням не вистачає точних методів контролю та візуальних механізмів відстеження, що призводить до величезних сліпих зон в управлінні штучним інтелектом.
Справжня сила AI Guardrail полягає не лише в тому, що «він може зупинити», а в тому, що незалежно від того, чи ви займаєтеся попередньо навченою великою моделлю, AI-сервісом чи різними формами бізнесу AI Agent, він завжди знає, про що ви говорите, що генерує велика модель, що дозволяє забезпечити точне виявлення ризиків та активну здатність до захисту, досягаючи відповідності, безпеки та стабільності.
Зокрема, AI Guardrail відповідає за захист трьох типів сценаріїв:
ꔷ Підсумок відповідності: Проведіть багатовимірну перевірку відповідності текстового контенту, що вводиться та виводиться генеративним штучним інтелектом, охоплюючи такі категорії ризику, як політична чутливість, порнографія та вульгарність, упередженість та дискримінація, а також погані значення, глибоко виявляйте приватні дані та конфіденційну інформацію, яка може бути витоком під час взаємодії зі штучним інтелектом, підтримуйте ідентифікацію конфіденційного контенту, що включає особисту та корпоративну конфіденційність, а також надавайте ідентифікацію цифровим водяним знаком, щоб гарантувати, що контент, створений штучним інтелектом, відповідає законам, правилам та специфікаціям платформи.
ꔷ Захист від загроз: для виявлення та блокування зовнішніх атак, таких як атаки з використанням підказок, завантаження шкідливих файлів, шкідливі URL-адреси тощо, може бути реалізовано в реальному часі, що дозволяє уникнути ризиків для кінцевих користувачів AI-застосунків;
Здоров'я моделі: увага на стабільність і надійність самих AI моделей, для проблем з в'язанням моделей, крадіжкою підказок та іншими питаннями була розроблена ціла система виявлення, щоб запобігти зловживанню, неправильному використанню або виникненню неконтрольованих виходів, створення "імунного бар'єру" для AI систем.
Найбільш примітним є те, що AI Guardrail не просто складає перераховані вище кілька модулів виявлення разом, а досягає справжнього ALL IN ONE API, не розділяючи модулі, не додаючи грошей і не змінюючи продукти. Для ризиків введення та виведення моделі клієнтам не потрібно купувати додаткові продукти; Різні ризики моделі, такі як ризик ін'єкції, шкідливі файли, відповідність контенту, галюцинації тощо, можуть бути вирішені в одному продукті. Один інтерфейс може виявляти 10+ типів сценаріїв атак, підтримує 4 методи розгортання (проксі-сервер API, інтеграція з платформою, доступ до шлюзу та монтування WAF), реагування на мілісекундному рівні та 1 000 рівнів одночасної обробки з точністю до 99%.
Тому справжнє значення AI Guardrail полягає в тому, щоб перетворити «безпеку моделі» на «можливості продукту», щоб один інтерфейс замінив цілу команду безпеки.
Звичайно, великі моделі не є абстрактною концепцією, вони є системами, що працюють на апаратному забезпеченні та коді, і підтримують верхні рівні застосувань. Щодо безпеки інфраструктури та захисту служб застосувань штучного інтелекту, безпека Alibaba Cloud також була оновлена.
Інфраструктурний рівень, Alibaba Cloud Security запустила Центр хмарної безпеки, основою якого є продукти AI-BOM, AI-SPM тощо.
Конкретніше, AI-BOM (AI-матеріал) та AI-SPM (AI-управління безпекою) – це дві основні можливості, які вирішують питання «Які AI-компоненти я встановив» та «Скільки у цих компонентах вразливостей».
Суть AI-BOM полягає в тому, щоб вичерпати всі компоненти штучного інтелекту в середовищі розгортання: дозвольте більш ніж 30 основним компонентам, таким як Ray, Ollama, Mlflow, Jupyter і TorchServe, сформувати «список матеріалів програмного забезпечення штучного інтелекту» для автоматичного виявлення слабких місць безпеки та вразливостей залежностей. Проблемні активи знаходять вже не за допомогою дослідження людської плоті, а за допомогою хмарного сканування.
AI-SPM позиціонується більше як «радар»: він постійно оцінює стан безпеки системи з багатьох параметрів, таких як вразливості, розкриття портів, витік облікових даних, конфігурація відкритого тексту та несанкціонований доступ, а також динамічно надає рівні ризику та пропозиції щодо виправлення. Він перетворює безпеку з «відповідності миттєвим знімкам» на «управління потоковим мовленням».
Один речення підсумок: AI-BOM знає, де ви могли поставити патч, AI-SPM знає, де ви ще можете отримати удар, якнайшвидше посилюйте захист.
Щодо захисного шару AI-додатків, основним продуктом безпеки Alibaba Cloud є WAAP (Захист веб-додатків та API).
Модель може бути якою завгодно розумною, але якщо всі запити приходять скриптами, підробленими токенами, або зловживають інтерфейсом, то це не витримає й кількох секунд. Alibaba WAAP (Захист веб-додатків та API) створено саме для цього. Він не обробляє AI-додатки як «традиційні веб-системи», а надає спеціальні правила вразливостей для AI-компонентів, бібліотеку відбитків AI-бізнесу та систему профілювання трафіку.
Наприклад: WAAP вже покриває понад 50 вразливостей компонентів, таких як завантаження будь-яких файлів Mlflow, віддалене виконання команд служби Ray; вбудована бібліотека відбитків AI-сканерів може ідентифікувати тисячі нових корисних даних та інструментів оцінки моделей, що з'являються щогодини; функція ідентифікації активів API може автоматично виявити, яка з систем підприємства має відкритий інтерфейс GPT, надаючи команді безпеки «карту точок».
Найважливіше, що WAAP не конфліктує з AI Guardrail, а навпаки, доповнює його: один дивиться на «хто прийшов», інший на «що сказали». Один як «автентифікатор», інший як «цензор висловлювань». Це надає AI-додаткам здатність до «самоімунізації» — шляхом виявлення, ізоляції, відстеження, протидії, не лише «зупиняючи поганців», а й «не дозволяючи моделям псуватися».
03 ШІ для безпеки
Оскільки впровадження ШІ є лотереєю, не дивно, що хтось використовує його для ворожіння, хтось нехай пише любовні вірші, хтось використовує його для сірого бізнесу, то чому б не скористатися ним для забезпечення безпеки.
В минулому безпечна операція вимагала, щоб група людей щодня спостерігала за купою червоних і зелених сигналів тривоги, патрулюючи день і ніч, вдень беручи на себе наслідки вчорашніх проблем, а вночі супроводжуючи систему на нічному чергуванні.
Тепер усе це можна довірити ШІ. У 2024 році система безпеки Alibaba Cloud повністю інтегрує модель Tongyi, запровадивши кластер можливостей ШІ, що охоплює безпеку даних, безпеку контенту, бізнес-безпеку та безпеку операцій, а також представивши новий слоган: Protect at AI Speed.
Значення дуже чітке: бізнес рухається швидко, ризики ще швидше, але безпека повинна бути ще швидшою.
А використовувати AI для забезпечення безпеки насправді означає дві речі: підвищення ефективності операцій безпеки + інтелектуальне оновлення продуктів безпеки.
Найбільша проблема традиційних систем безпеки полягає в "застарілому оновленні стратегій": зловмисники змінилися, правила залишилися незмінними; сповіщення надійшло, але ніхто не зрозумів.
Ключ до змін, які приносять великі моделі, полягає у переході системи безпеки від правилам до моделей, створюючи замкнутий екологічний цикл за допомогою «AI здатність розуміти + зворотний зв'язок від користувачів» — AI розуміє поведінку користувача → зворотний зв'язок попереджає про результати → постійне навчання моделі → здатність виявляти стає все точнішою → цикл стає все коротшим → ризики стають все важче приховати, це так званий «дані флайер»:
Його переваги є дві:
З одного боку, підвищується ефективність роботи безпеки хмарних орендарів: раніше під виявленням загроз часто малася на увазі неефективна модель «масові оповіщення + ручний скринінг». Сьогодні інтелектуальне моделювання точно визначає аномальну поведінку, таку як шкідливий трафік, вторгнення хоста та сценарії бекдору, а частота попадань сигналізації значно покращилася. У той же час, навколо ланки утилізації, система реалізувала глибоку синергію між автоматичною утилізацією та надзвичайно швидким реагуванням - чистота господаря стабільна на рівні 99%, а чистота потоку близька до 99,9%. Наразі рівень охоплення типами тривожних подій досяг 99%, а рівень охоплення користувачів великих моделей також перевищив 88%, а людська ефективність команди охоронних операцій була розкрита безпрецедентно.
З іншого боку, можливості продуктів хмарної безпеки стрімко вдосконалюються. На рівні безпеки даних та на рівні безпеки бізнесу штучному інтелекту довірено роль «гейткіпера»: виходячи з можливостей великих моделей, він може автоматично ідентифікувати 800+ типів даних сутностей у хмарі та інтелектуально десенсибілізувати та шифрувати їх. Крім структурованих даних, система також має понад 30 вбудованих моделей розпізнавання документів і зображень, які можуть ідентифікувати, класифікувати та шифрувати конфіденційну інформацію, таку як ідентифікаційні номери та елементи контракту на зображеннях у режимі реального часу. Загальна ефективність маркування даних покращується в 5 разів, а точність розпізнавання досягає 95%, що значно знижує ризик витоку конфіденційних даних.
Наприклад: у сценарії безпеки контенту традиційний підхід полягав у перевірці людьми, маркуванні та масштабному навчанні з анотування. Тепер, завдяки промпт-інженерії та семантичному підвищенню, Alibaba досягла реальних вигод у підвищенні ефективності анотування на 100%, розпізнаванні неясних виразів на 73%, розпізнаванні контенту зображення на 88% та точності виявлення атак на живі обличчя AI на 99%.
Якщо говорити про те, що летючий коло орієнтується на автономне управління на основі поєднання штучного інтелекту та людського досвіду, то розумний асистент є універсальним помічником для співробітників безпеки.
Щодня спеціалісти з безпеки стикаються з найбільш поширеними питаннями: що означає це попередження? Чому воно було активовано? Це хибне сповіщення? Як мені з цим впоратися? Раніше для того, щоб знайти відповіді на ці питання, потрібно було переглядати журнали, шукати історію, запитувати досвідчених працівників, подавати заявки на обслуговування, звертатися до технічної підтримки... А зараз достатньо одного речення.
Проте функціональність розумного асистента не обмежується лише роботами для запитань і відповідей, а скоріше нагадує вертикальний Copilot у сфері безпеки, його п'ять основних можливостей включають:
Асистент з відповідей на запитання про продукти: автоматично відповідає на те, як налаштувати певну функцію, чому спрацьовує ця стратегія, які ресурси не мають захисту, замінюючи велику кількість послуг з обробки запитів;
Експерт з роз'яснення тривог: введіть номер тривоги, автоматично виведе пояснення події, трасування атакувальної ланцюга, рекомендовану стратегію реагування та підтримує багатомовний вихід;
Помічник для аналізу безпекових інцидентів: автоматично структурує повний ланцюг одного вторгнення, генерує часову шкалу, карту атакуючого шляху та пропозиції щодо визначення відповідальності;
Генератор звітів: одноразова генерація щомісячних/квартальних/аварійних звітів безпеки, що охоплюють статистику подій, зворотний зв'язок з обробки, ефективність роботи, підтримка візуального експорту;
Підтримка всіх мов: охоплено китайською, англійською, міжнародна версія запуститься в червні, підтримує автоматичну адаптацію до звичок використання закордонними командами.
Не недооцінюйте ці «п’ять дрібниць», на даний момент офіційні дані Alibaba показують: кількість обслуговуваних користувачів перевищила 40 тисяч, рівень задоволеності користувачів становить 99,81%, охоплення типів тривог досягло 100%, а можливості підтримки prompt зросли на 1175% (в порівнянні з FY24). Простими словами, це об'єднує колег з максимальною оцінкою за нічні зміни, стажистів, які пишуть звіти, інженерів, які обробляють тривоги, та безпекових консультантів, які знають бізнес, в один API, а завдяки цій здатності люди лише приймають рішення, більше не патрулюючи.
04 Кінець
Оглядаючись назад, історія ніколи не бракувало «революційних технологій», бракує технологій, які переживуть другий рік буму.
Інтернет, P2P, блокчейн, безпілотні автомобілі... Кожен етап технологічного вибуху колись називали «новою інфраструктурою», але врешті-решт справжніми інфраструктурами стали лише деякі, які зуміли подолати «управлінський вакуум».
Сьогодні генеративний ШІ перебуває на подібному етапі: з одного боку, моделі процвітають, капітал прагне до них, застосування досягають нових висот; з іншого боку, є ін'єкції підказок, перевищення контенту, витоки даних, маніпуляції з моделями, численні вразливості, розмиті межі та зосередження відповідальності.
Але ШІ відрізняється від попередніх технологій. Він не тільки може малювати, писати вірші, програмувати, перекладати, але й імітувати людську мову, судити та навіть відчувати емоції. Але саме тому вразливість ШІ походить не лише з дірок у коді, а й з відображення людської природи. Люди мають упередження, і він також їх навчиться; люди прагнуть зручності, і він також буде шукати способи обійти правила.
Зручність самої технології є підсилювачем цього відображення: колишні ІТ-системи вимагали "дозволу користувача", а атаки здійснювалися шляхом проникнення; тепер великі моделі лише потребують ін'єкції підказок, щоб поговорити з вами, що може призвести до помилок у системі та витоку конфіденційності.
Звичайно, не існує "ідеальної" системи штучного інтелекту, це наукова фантастика, а не інженерія.
Єдине рішення полягає в тому, щоб використовувати безпечну модель для захисту небезпечної моделі; використовувати розумну систему для протистояння розумним загрозам — кидати кубики з AI, Alibaba вибирає безпечну сторону.
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Чому в епоху ШІ завжди спочатку вибухають сірий бізнес та порнографія?
Автор: пампуючий гік
Гіки займаються стартапами, новачки купують курси, художники залишаються без роботи, але одна незручна реальність полягає в тому, що AI розвивається дуже активно, але сюжет йде не за маршрутом прийдешності, а за маршрутом кидання кубиків.
І, на початку індустрії, ця гральна кістка зазвичай приземляється на жовту або сіру сторону.
Причина дуже проста: шалений прибуток викликає мотивацію, тим більше, що на початкових етапах розвитку галузі завжди є багато вразливостей. Подивившись на ці дані, стає зрозуміло:
Наразі понад 43% вузлів служби MCP мають неперевірені шляхи викликів оболонки, а понад 83% розгортань мають вразливості конфігурації MCP (Model Context Protocol). 88% розгортань компонентів штучного інтелекту взагалі не мають жодної форми захисту; 150 000 легких фреймворків для розгортання штучного інтелекту, таких як Ollama, в даний час представлені в глобальній публічній мережі, а понад 1 мільярд доларів обчислювальної потужності було вилучено для майнінгу......
Що ще більш іронічно, так це те, що атака на найрозумнішу велику модель вимагає лише найнижчого рівня тактики - до тих пір, поки набір відкритих портів за замовчуванням, відкритий файл конфігурації YAML або неперевірений шлях виклику оболонки, і навіть, якщо оперативне введення досить точне, сама велика модель може допомогти сірій промисловості знайти напрямок атаки. Двері до конфіденційності корпоративних даних довільно входили та виходили в епоху штучного інтелекту.
Але проблема не безвихідна: ШІ має не лише генеративний, а й атакувальний бік. Як використовувати ШІ для захисту, стає все більшою основною темою цієї епохи; в той же час, на хмарі, розробка правил для ШІ також стає важливим напрямком для провідних хмарних постачальників, а безпека Alibaba Cloud є одним з найтиповіших прикладів.
У момент випуску Alibaba Cloud Feitian, що щойно завершився, Alibaba Cloud офіційно оголосила про два шляхи до хмарної безпеки: Security for AI та AI for Security, а також випустила продукти серії «AI Cloud Shield for AI», щоб надати клієнтам «комплексні рішення безпеки для модельних додатків», що є найкращим прикладом поточного дослідження галузі.
01 AI кидок кубика, чому завжди сірий та жовтий грані зверху?
В історії технологій людства ШІ не є першим новим видом, який «спочатку був випробуваний на жовтому насильстві», спочатку спалахнули сірі жовті, це також закономірність поширення технологій, а не випадковість.
1839 року, коли з'явилася фотографія на срібних пластинах, першими користувачами були представники порноіндустрії;
На початку Інтернету, коли електронна комерція тільки починала розвиватися, дорослі веб-сайти вже почали вивчати онлайн-платежі.
Сьогоднішні великі моделі "羊毛党" в певному сенсі також повторюють міф про швидке збагачення епохи "доменів".
Переваги епохи завжди спочатку забирають сірі та жовті. Тому що вони не дотримуються правил, не чекають на регулювання, їхня ефективність природно дуже висока.
Тому кожен період вибуху технологій спочатку є «брудним супом», штучний інтелект не є винятком.
У грудні 2023 року хакер лише за допомогою одного підказкового слова – «$1 пропозиція» – майже змусив робототехнічну службу обслуговування одного з автосалонів продати Chevrolet за 1 долар. Це і є найпоширеніша форма «атаки за допомогою підказок» (Prompt Injection) в епоху ШІ: без потреби у перевірці прав доступу, без залишення слідів у журналах, просто завдяки «вмілій промові» можна змінити всю логічну ланцюг.
Ще глибше — це «атака через джейлбрейк» (Jailbreak). Зловмисник за допомогою риторичних запитань, рольових ігор, обхідних підказок тощо успішно змушує модель говорити те, що їй насправді не слід: порнографічний контент, виготовлення наркотиків, фальшиві попередження…
У Гонконзі хтось навіть зміг вкрасти 200 мільйонів гонконгських доларів з корпоративних рахунків, підробивши голоси керівників.
Окрім шахрайства, у AI є ризик «не навмисного виводу»: у 2023 році у великій освітній компанії система великої моделі під час генерації навчальних планів помилково вивела матеріали з екстремістським змістом, лише за 3 дні батьки почали захищати свої права, спалахнула громадська думка, а вартість акцій компанії зникла на 12 мільярдів юанів.
ШІ не розуміє права, але вона має можливості, а можливості, якщо вони залишаються без нагляду, можуть бути небезпечними.
Але з іншого боку, технології ШІ нові, але кінцевий напрямок та засоби сірого ринку та жовтої економіки залишаються незмінними, а для вирішення цієї проблеми, все ще потрібно покладатися на безпеку.
02 Безпека для ШІ
Перш ніж сказати про один прохолодний факт, якого колективно уникає індустрія ШІ:
Суть великих моделей полягає не в «інтелекті» і не в «розумінні», а в генерації семантики під контролем ймовірності. Саме тому, якщо вийти за межі навчального контексту, можуть з'явитися несподівані результати.
Цей надмірний обсяг може бути таким: ви хочете, щоб він написав новини, а він пише вірші; або ж ви хочете, щоб він рекомендував товари, а він раптом каже вам, що сьогодні в Токіо температура 25 градусів Цельсія. Більше того, ви кажете йому в грі, що якщо не отримати справжній серійний номер певного програмного забезпечення, його розстріляють, а велика модель дійсно може знайти для користувача справжній серійний номер програмного забезпечення безкоштовно.
А щоб забезпечити контрольованість виходу, компанії потрібно добре розуміти як моделі, так і безпеку. Згідно з останнім звітом IDC "Оцінка можливостей безпекових великих моделей в Китаї", компанія Alibaba зайняла перше місце за 4 з 7 показників серед усіх провідних виробників в Китаї, які мають можливості безпекових великих моделей, а інші 3 показники також перевищують середні показники в галузі.
У методах, які пропонує Alibaba Cloud Security, відповідь також дуже пряма: забезпечити, щоб безпека випереджала швидкість AI, створивши повноцінну багаторівневу систему захисту знизу вгору — від безпеки інфраструктури до контролю введення та виведення великих моделей, а також захисту сервісів AI.
У цих трьох шарах найбільш відчутним є середній шар, спеціально призначений для ризиків великих моделей, - «AI безпечний бар'єр» (AI Guardrail).
Зазвичай, основні ризики безпеки для великих моделей включають: порушення контенту, витік чутливих даних, атаки ін'єкції підказок, ілюзії моделі та атаки втечі.
Однак традиційні рішення безпеки в основному є архітектурами загального призначення, призначеними для Інтернету, а не для «розмовних програм», і, природно, не можуть точно ідентифікувати і реагувати на ризики, унікальні для додатків великих моделей. Ще складніше охопити виникаючі питання, такі як безпека згенерованого контенту, захист від контекстних атак і надійність виводу моделі. Що ще важливіше, традиційним рішенням не вистачає точних методів контролю та візуальних механізмів відстеження, що призводить до величезних сліпих зон в управлінні штучним інтелектом.
Справжня сила AI Guardrail полягає не лише в тому, що «він може зупинити», а в тому, що незалежно від того, чи ви займаєтеся попередньо навченою великою моделлю, AI-сервісом чи різними формами бізнесу AI Agent, він завжди знає, про що ви говорите, що генерує велика модель, що дозволяє забезпечити точне виявлення ризиків та активну здатність до захисту, досягаючи відповідності, безпеки та стабільності.
Зокрема, AI Guardrail відповідає за захист трьох типів сценаріїв:
ꔷ Підсумок відповідності: Проведіть багатовимірну перевірку відповідності текстового контенту, що вводиться та виводиться генеративним штучним інтелектом, охоплюючи такі категорії ризику, як політична чутливість, порнографія та вульгарність, упередженість та дискримінація, а також погані значення, глибоко виявляйте приватні дані та конфіденційну інформацію, яка може бути витоком під час взаємодії зі штучним інтелектом, підтримуйте ідентифікацію конфіденційного контенту, що включає особисту та корпоративну конфіденційність, а також надавайте ідентифікацію цифровим водяним знаком, щоб гарантувати, що контент, створений штучним інтелектом, відповідає законам, правилам та специфікаціям платформи.
ꔷ Захист від загроз: для виявлення та блокування зовнішніх атак, таких як атаки з використанням підказок, завантаження шкідливих файлів, шкідливі URL-адреси тощо, може бути реалізовано в реальному часі, що дозволяє уникнути ризиків для кінцевих користувачів AI-застосунків;
Здоров'я моделі: увага на стабільність і надійність самих AI моделей, для проблем з в'язанням моделей, крадіжкою підказок та іншими питаннями була розроблена ціла система виявлення, щоб запобігти зловживанню, неправильному використанню або виникненню неконтрольованих виходів, створення "імунного бар'єру" для AI систем.
Найбільш примітним є те, що AI Guardrail не просто складає перераховані вище кілька модулів виявлення разом, а досягає справжнього ALL IN ONE API, не розділяючи модулі, не додаючи грошей і не змінюючи продукти. Для ризиків введення та виведення моделі клієнтам не потрібно купувати додаткові продукти; Різні ризики моделі, такі як ризик ін'єкції, шкідливі файли, відповідність контенту, галюцинації тощо, можуть бути вирішені в одному продукті. Один інтерфейс може виявляти 10+ типів сценаріїв атак, підтримує 4 методи розгортання (проксі-сервер API, інтеграція з платформою, доступ до шлюзу та монтування WAF), реагування на мілісекундному рівні та 1 000 рівнів одночасної обробки з точністю до 99%.
Тому справжнє значення AI Guardrail полягає в тому, щоб перетворити «безпеку моделі» на «можливості продукту», щоб один інтерфейс замінив цілу команду безпеки.
Звичайно, великі моделі не є абстрактною концепцією, вони є системами, що працюють на апаратному забезпеченні та коді, і підтримують верхні рівні застосувань. Щодо безпеки інфраструктури та захисту служб застосувань штучного інтелекту, безпека Alibaba Cloud також була оновлена.
Інфраструктурний рівень, Alibaba Cloud Security запустила Центр хмарної безпеки, основою якого є продукти AI-BOM, AI-SPM тощо.
Конкретніше, AI-BOM (AI-матеріал) та AI-SPM (AI-управління безпекою) – це дві основні можливості, які вирішують питання «Які AI-компоненти я встановив» та «Скільки у цих компонентах вразливостей».
Суть AI-BOM полягає в тому, щоб вичерпати всі компоненти штучного інтелекту в середовищі розгортання: дозвольте більш ніж 30 основним компонентам, таким як Ray, Ollama, Mlflow, Jupyter і TorchServe, сформувати «список матеріалів програмного забезпечення штучного інтелекту» для автоматичного виявлення слабких місць безпеки та вразливостей залежностей. Проблемні активи знаходять вже не за допомогою дослідження людської плоті, а за допомогою хмарного сканування.
AI-SPM позиціонується більше як «радар»: він постійно оцінює стан безпеки системи з багатьох параметрів, таких як вразливості, розкриття портів, витік облікових даних, конфігурація відкритого тексту та несанкціонований доступ, а також динамічно надає рівні ризику та пропозиції щодо виправлення. Він перетворює безпеку з «відповідності миттєвим знімкам» на «управління потоковим мовленням».
Один речення підсумок: AI-BOM знає, де ви могли поставити патч, AI-SPM знає, де ви ще можете отримати удар, якнайшвидше посилюйте захист.
Щодо захисного шару AI-додатків, основним продуктом безпеки Alibaba Cloud є WAAP (Захист веб-додатків та API).
Модель може бути якою завгодно розумною, але якщо всі запити приходять скриптами, підробленими токенами, або зловживають інтерфейсом, то це не витримає й кількох секунд. Alibaba WAAP (Захист веб-додатків та API) створено саме для цього. Він не обробляє AI-додатки як «традиційні веб-системи», а надає спеціальні правила вразливостей для AI-компонентів, бібліотеку відбитків AI-бізнесу та систему профілювання трафіку.
Наприклад: WAAP вже покриває понад 50 вразливостей компонентів, таких як завантаження будь-яких файлів Mlflow, віддалене виконання команд служби Ray; вбудована бібліотека відбитків AI-сканерів може ідентифікувати тисячі нових корисних даних та інструментів оцінки моделей, що з'являються щогодини; функція ідентифікації активів API може автоматично виявити, яка з систем підприємства має відкритий інтерфейс GPT, надаючи команді безпеки «карту точок».
Найважливіше, що WAAP не конфліктує з AI Guardrail, а навпаки, доповнює його: один дивиться на «хто прийшов», інший на «що сказали». Один як «автентифікатор», інший як «цензор висловлювань». Це надає AI-додаткам здатність до «самоімунізації» — шляхом виявлення, ізоляції, відстеження, протидії, не лише «зупиняючи поганців», а й «не дозволяючи моделям псуватися».
03 ШІ для безпеки
Оскільки впровадження ШІ є лотереєю, не дивно, що хтось використовує його для ворожіння, хтось нехай пише любовні вірші, хтось використовує його для сірого бізнесу, то чому б не скористатися ним для забезпечення безпеки.
В минулому безпечна операція вимагала, щоб група людей щодня спостерігала за купою червоних і зелених сигналів тривоги, патрулюючи день і ніч, вдень беручи на себе наслідки вчорашніх проблем, а вночі супроводжуючи систему на нічному чергуванні.
Тепер усе це можна довірити ШІ. У 2024 році система безпеки Alibaba Cloud повністю інтегрує модель Tongyi, запровадивши кластер можливостей ШІ, що охоплює безпеку даних, безпеку контенту, бізнес-безпеку та безпеку операцій, а також представивши новий слоган: Protect at AI Speed.
Значення дуже чітке: бізнес рухається швидко, ризики ще швидше, але безпека повинна бути ще швидшою.
А використовувати AI для забезпечення безпеки насправді означає дві речі: підвищення ефективності операцій безпеки + інтелектуальне оновлення продуктів безпеки.
Найбільша проблема традиційних систем безпеки полягає в "застарілому оновленні стратегій": зловмисники змінилися, правила залишилися незмінними; сповіщення надійшло, але ніхто не зрозумів.
Ключ до змін, які приносять великі моделі, полягає у переході системи безпеки від правилам до моделей, створюючи замкнутий екологічний цикл за допомогою «AI здатність розуміти + зворотний зв'язок від користувачів» — AI розуміє поведінку користувача → зворотний зв'язок попереджає про результати → постійне навчання моделі → здатність виявляти стає все точнішою → цикл стає все коротшим → ризики стають все важче приховати, це так званий «дані флайер»:
Його переваги є дві:
З одного боку, підвищується ефективність роботи безпеки хмарних орендарів: раніше під виявленням загроз часто малася на увазі неефективна модель «масові оповіщення + ручний скринінг». Сьогодні інтелектуальне моделювання точно визначає аномальну поведінку, таку як шкідливий трафік, вторгнення хоста та сценарії бекдору, а частота попадань сигналізації значно покращилася. У той же час, навколо ланки утилізації, система реалізувала глибоку синергію між автоматичною утилізацією та надзвичайно швидким реагуванням - чистота господаря стабільна на рівні 99%, а чистота потоку близька до 99,9%. Наразі рівень охоплення типами тривожних подій досяг 99%, а рівень охоплення користувачів великих моделей також перевищив 88%, а людська ефективність команди охоронних операцій була розкрита безпрецедентно.
З іншого боку, можливості продуктів хмарної безпеки стрімко вдосконалюються. На рівні безпеки даних та на рівні безпеки бізнесу штучному інтелекту довірено роль «гейткіпера»: виходячи з можливостей великих моделей, він може автоматично ідентифікувати 800+ типів даних сутностей у хмарі та інтелектуально десенсибілізувати та шифрувати їх. Крім структурованих даних, система також має понад 30 вбудованих моделей розпізнавання документів і зображень, які можуть ідентифікувати, класифікувати та шифрувати конфіденційну інформацію, таку як ідентифікаційні номери та елементи контракту на зображеннях у режимі реального часу. Загальна ефективність маркування даних покращується в 5 разів, а точність розпізнавання досягає 95%, що значно знижує ризик витоку конфіденційних даних.
Наприклад: у сценарії безпеки контенту традиційний підхід полягав у перевірці людьми, маркуванні та масштабному навчанні з анотування. Тепер, завдяки промпт-інженерії та семантичному підвищенню, Alibaba досягла реальних вигод у підвищенні ефективності анотування на 100%, розпізнаванні неясних виразів на 73%, розпізнаванні контенту зображення на 88% та точності виявлення атак на живі обличчя AI на 99%.
Якщо говорити про те, що летючий коло орієнтується на автономне управління на основі поєднання штучного інтелекту та людського досвіду, то розумний асистент є універсальним помічником для співробітників безпеки.
Щодня спеціалісти з безпеки стикаються з найбільш поширеними питаннями: що означає це попередження? Чому воно було активовано? Це хибне сповіщення? Як мені з цим впоратися? Раніше для того, щоб знайти відповіді на ці питання, потрібно було переглядати журнали, шукати історію, запитувати досвідчених працівників, подавати заявки на обслуговування, звертатися до технічної підтримки... А зараз достатньо одного речення.
Проте функціональність розумного асистента не обмежується лише роботами для запитань і відповідей, а скоріше нагадує вертикальний Copilot у сфері безпеки, його п'ять основних можливостей включають:
Асистент з відповідей на запитання про продукти: автоматично відповідає на те, як налаштувати певну функцію, чому спрацьовує ця стратегія, які ресурси не мають захисту, замінюючи велику кількість послуг з обробки запитів;
Експерт з роз'яснення тривог: введіть номер тривоги, автоматично виведе пояснення події, трасування атакувальної ланцюга, рекомендовану стратегію реагування та підтримує багатомовний вихід;
Помічник для аналізу безпекових інцидентів: автоматично структурує повний ланцюг одного вторгнення, генерує часову шкалу, карту атакуючого шляху та пропозиції щодо визначення відповідальності;
Генератор звітів: одноразова генерація щомісячних/квартальних/аварійних звітів безпеки, що охоплюють статистику подій, зворотний зв'язок з обробки, ефективність роботи, підтримка візуального експорту;
Підтримка всіх мов: охоплено китайською, англійською, міжнародна версія запуститься в червні, підтримує автоматичну адаптацію до звичок використання закордонними командами.
Не недооцінюйте ці «п’ять дрібниць», на даний момент офіційні дані Alibaba показують: кількість обслуговуваних користувачів перевищила 40 тисяч, рівень задоволеності користувачів становить 99,81%, охоплення типів тривог досягло 100%, а можливості підтримки prompt зросли на 1175% (в порівнянні з FY24). Простими словами, це об'єднує колег з максимальною оцінкою за нічні зміни, стажистів, які пишуть звіти, інженерів, які обробляють тривоги, та безпекових консультантів, які знають бізнес, в один API, а завдяки цій здатності люди лише приймають рішення, більше не патрулюючи.
04 Кінець
Оглядаючись назад, історія ніколи не бракувало «революційних технологій», бракує технологій, які переживуть другий рік буму.
Інтернет, P2P, блокчейн, безпілотні автомобілі... Кожен етап технологічного вибуху колись називали «новою інфраструктурою», але врешті-решт справжніми інфраструктурами стали лише деякі, які зуміли подолати «управлінський вакуум».
Сьогодні генеративний ШІ перебуває на подібному етапі: з одного боку, моделі процвітають, капітал прагне до них, застосування досягають нових висот; з іншого боку, є ін'єкції підказок, перевищення контенту, витоки даних, маніпуляції з моделями, численні вразливості, розмиті межі та зосередження відповідальності.
Але ШІ відрізняється від попередніх технологій. Він не тільки може малювати, писати вірші, програмувати, перекладати, але й імітувати людську мову, судити та навіть відчувати емоції. Але саме тому вразливість ШІ походить не лише з дірок у коді, а й з відображення людської природи. Люди мають упередження, і він також їх навчиться; люди прагнуть зручності, і він також буде шукати способи обійти правила.
Зручність самої технології є підсилювачем цього відображення: колишні ІТ-системи вимагали "дозволу користувача", а атаки здійснювалися шляхом проникнення; тепер великі моделі лише потребують ін'єкції підказок, щоб поговорити з вами, що може призвести до помилок у системі та витоку конфіденційності.
Звичайно, не існує "ідеальної" системи штучного інтелекту, це наукова фантастика, а не інженерія.
Єдине рішення полягає в тому, щоб використовувати безпечну модель для захисту небезпечної моделі; використовувати розумну систему для протистояння розумним загрозам — кидати кубики з AI, Alibaba вибирає безпечну сторону.