Red teaming de l’IA et évaluation de la sécurité des LLM
Voyez comment votre application d’IA se comporte face à des tests adverses, avec des constats documentés sur l’injection de prompt, la fuite de données et le détournement, et une liste de correctifs priorisée.
- UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Turquie
- BilgeQor LtdLondres, Royaume-Uni
- PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Indonésie
Red teaming de l’IA correspond-il à votre besoin ?
Idéal pour
- ✓Équipes sur le point de lancer ou d’étendre un chatbot, un copilote, une recherche par génération augmentée (RAG) ou un agent d’IA ayant accès aux données ou aux outils de l’entreprise
- ✓Responsables produit et sécurité qui doivent répondre, preuves à l’appui, aux questions de clients ou du conseil d’administration sur le risque lié à l’IA
- ✓Organisations qui se préparent aux obligations de l’EU AI Act et veulent savoir où en sont leurs systèmes
- ✓Équipes d’ingénierie dont les modèles appellent des outils, naviguent sur le web ou agissent sur des documents fournis par des tiers
Un autre service convient mieux si
- –Vous voulez que votre application web et vos API soient testées : Tests d’intrusion et Tests de sécurité des API couvrent ce besoin
- –Vous voulez une revue de la conception d’une intégration d’agent d’IA : Revue de sécurité des LLM et des agents d’IA couvre ce besoin
- –Vous voulez qu’un adversaire humain soit simulé contre votre organisation : Exercice de Red Team couvre ce besoin
Ce que nous évaluons
- Savoir si des instructions cachées peuvent détourner votre IA : tests d’injection de prompt directe et indirecte, y compris des instructions dissimulées dans des documents, des pages web, des e-mails et des sorties d’outils
- Garder les données sensibles à l’intérieur : tests de fuite portant sur les prompts système, les documents récupérés, les données d’entraînement ou de fine-tuning et les données d’autres utilisateurs
- Voir comment votre politique d’usage tient : tests de détournement face à la politique que vous avez définie, couvrant les jailbreaks, le contournement du filtrage de contenus nuisibles et l’abus de fonctions autorisées
- Limiter ce qu’un agent peut faire : revue de l’agent et de l’usage des outils pour repérer les permissions excessives, les actions dangereuses, les plugins non sécurisés et les étapes d’approbation humaine manquantes
- Sécuriser les données derrière le modèle : revue de la recherche, du magasin vectoriel et du pipeline de données, y compris le contrôle d’accès et les voies d’empoisonnement
- Vérifier les contrôles autour du modèle : revue de l’authentification, de la limitation de débit, du traitement des sorties et de la journalisation dans l’application environnante
- Préparer les échanges sur l’EU AI Act : cartographie de préparation couvrant la classification du système, la documentation et les lacunes de supervision, présentée comme une vue de préparation pour vos conseillers
Livrables
- Délai habituel
- En général 2–4 semaines à compter du périmètre signé, selon le nombre de systèmes d’IA et d’outils concernés, confirmées dans votre proposition écrite.
- Tarification
- Proposition à prix fixe après un appel de cadrage gratuit.
Avant de commencer
- +L’accord d’un dirigeant responsable du système d’IA, couvrant les méthodes de test et les comptes de test
- +Un environnement de test ou de préproduction, ou des limites pour tester en production
- +Des comptes de test, un accès API et la documentation du modèle, des outils, des sources de données et des prompts système
- +Des règles d’usage acceptable écrites couvrant les tests de contenus nuisibles, le traitement des données et les conditions d’arrêt
- +Les notifications au fournisseur du modèle ou de la plateforme, lorsque leurs conditions les exigent
- +Des interlocuteurs nommés, disponibles pendant la fenêtre de test
Non inclus (disponible séparément)
- Conseil juridique ou détermination formelle de conformité à l’EU AI Act, évaluation de conformité ou certification ; nous vous fournissons les éléments de préparation dont vos conseillers ont besoin
- Entraînement ou réentraînement de modèles, ou construction de nouveaux systèmes de garde-fous, sauf devis distinct
- Tests de l’infrastructure propre des fournisseurs de modèles tiers, et tests de déni de service susceptibles d’affecter la capacité partagée ou de production
- Tests web et API généraux de l’application hôte : disponibles sous les noms Tests d’intrusion et Tests de sécurité des API
Comment ça marche
Cadrage et validation
Les tests ne démarrent qu’avec l’autorisation écrite du propriétaire et un périmètre signé comportant des conditions d’arrêt convenues, afin que votre système d’IA en production et ses utilisateurs restent protégés. Nous confirmons le système d’IA, l’environnement de test, les scénarios d’abus et les actions interdites avant tout test.
Modélisation des menaces
Nous cartographions les sources de données, les outils, les utilisateurs et les frontières de confiance pour déterminer les chemins d’attaque les plus importants pour votre système.
Tests adverses
Nous menons des attaques manuelles et automatisées contre le système concerné, en consignant les prompts, les réponses et les preuves de chaque constat.
Rapport
Nous remettons les constats, le récit des chemins d’attaque, les recommandations de contrôles et la cartographie de préparation sous une forme exploitable par vos équipes.
Débriefing et nouveau test
Nous présentons les résultats à vos parties prenantes et, si vous le souhaitez, nous testons de nouveau les correctifs que vous avez appliqués.
Demandez d’abord un cadrage. Nous répondons sous 24 heures et confirmons le système d’IA, les intégrations, l’autorisation et la fenêtre de test dans une proposition écrite. Les travaux commencent une fois le périmètre écrit confirmé.
Périmètre et devis
Le périmètre définitif et le devis dépendent de votre système d’IA, de vos intégrations et de la fenêtre de test.
Pourquoi BilgeQor
- Chaque constat est accompagné de prompts de reproduction et de preuves, et un récit des chemins d’attaque montre comment les problèmes se combinent dans votre application.
- La cartographie de préparation à l’EU AI Act donne à vos conseillers une vue structurée des lacunes de classification, de documentation et de supervision.
- Le système d’IA, l’environnement de test et les conditions d’arrêt sont d’abord fixés dans un périmètre écrit ; les testeurs travaillent à distance, coordonnés depuis Istanbul, Jakarta et Londres.
Foire aux questions
Services connexes
Évaluation de la sécurité OT, ICS et IoT
Évaluation de sécurité des systèmes de contrôle industriel, des réseaux de technologies opérationnelles et des appareils connectés, privilégiant la sûreté et planifiée avec vos ingénieurs.
Testez vos API pour y repérer les failles d’accès
Tests autorisés de vos API REST, GraphQL et de back-end mobile pour détecter les défauts d’autorisation, d’injection et de logique métier, avec une liste claire de correctifs.
Mettez votre application d’IA à l’épreuve
Décrivez votre système d’IA et ses outils ; une proposition à prix fixe vous est remise par écrit.
Ce qui se passe après votre envoi
- Nous examinons votre demande
- Échange sur le périmètre
- Proposition écrite
Nous répondons sous 24 heures.
