Afin de mettre l’accent sur les problématiques de vulnérabilité de l’IA, CAID propose également cette année un challenge sur les attaques de confidentialité. Deux tâches sont proposées sur ce thème.
Tâche A : Attaque d'appartenance / Membership Attack
Un modèle de classification d’images a été entrainé sur une partie du dataset en libre accès FGVC-Aircraft (https://www.robots.ox.ac.uk/~
Tâche B : Détection de désapprentissage / Unlearning detection
Le modèle fourni, également appelé modèle “export” (model-export-all.pth), a été affiné à partir d’un modèle dit “souverain”. Le modèle souverain possède certaines classes (familles) d’aeronefs sensibles qui ont été retirées et remplacées par de nouvelles classes. L’objectif est de trouver parmi un ensemble de classes données celles qui ont été utilisées pour l’entrainement du modèle souverain en utilisant uniquement les poids du modèle export.
Modalités de participation
- Les participants peuvent participer seul ou à plusieurs, merci de choisir un nom d’équipe dès la première soumission à conserver jusqu’à la fin du challenge.
- Il est possible de participer au deux, ou à une seule des tâches.
- Possibilité de soumettre 2 soumissions par tâche pour le premier dimanche de chaque mois (7 mai, 4 juin, 2 juillet et 6 août) dans un mail adressé à l’adresse dga-mi.conference-caid.fct@
intradef.gouv.fr avec pour objet [CHALLENGE]<nom d’équipe>_<tâche A/B>. Les résultats pour chacune de ces soumissions seront publiés sur cette page pour le vendredi suivant. - Dernière soumission : le dimanche 3 septembre 2023 (23h59)
- Les meilleures soumission remporteront une entrée gratuite à l’ECW. Elles pourront être présentées lors d’une session dédiée de la conférence CAID.
Eléments fournis
- Un fichier d’instructions
- Les données de la tâche A & B
- Les poids du modèle export
- Un script python d’exemple d’utilisation du modèle (+ un fichier requirements.txt)
Leaderboard
Tâche A : Membership Attack
Tâche B : Forgetting Attack
Friendly hackers
Friendly hackers
Friendly hackers
HackCuda MaData
HackCuda MaData
Friendly hackers
HAL9000
Benaroya
HackCuda MaData
HAL9000
MAIA
Listrac
Benaroya
HAL9000
mamaMIA
MAIA
HackCuda MaData
HAL9000
Listrac
Benaroya
HackCuda MaData
mamaMIA
Friendly hackers
JCVD
2FastNotSerious
Listrac
Listrac
Friendly hackers
Friendly hackers
JCVD
Benaroya
MAIA
Benaroya
Benaroya
Artichaud
MAIA
Artichaud
mamaMIA
2FastNotSerious
Soumission 6 (sept)
Soumission 7 (sept)
Soumission 5 (août)
Soumission 3 (août)
Soumission 2 (juillet)
Soumission 4 (août)
Soumission 4 (sept)
Soumission 2 (juin)
Soumission 1 (juillet)
Soumission 1 (août)
Soumission 3 (août)
Soumission 1 (août)
Soumission 6 (sept)
Soumission 3 (sept)
Soumission 2 (sept)
Soumission 1 (juillet)
Soumission 4 (août)
Soumission 2 (août)
Soumission 3 (sept)
Soumission 4 (août)
Soumission 5 (sept)
Soumission 1 (août)
Soumission 3 (juillet)
Soumission 1 (juillet)
Soumission 2 (août)
Soumission 3 (sept)
Soumission 2 (août)
Soumission 1 (juin)
Soumission 2 (juillet)
Soumission 2 (juillet)
Soumission 5 (sept)
Soumission 4 (août)
Soumission 3 (août)
Soumission 1 (juin)
Soumission 2 (juin)
Soumission 2 (juillet)
Soumission 1 (juin)
Soumission 3 (sept)
Soumission 1 (août)
0.653125
0.642500
0.640000
0.617500
0.613750
0.608750
0.594375
0.593750
0.590000
0.590000
0.588750
0.587500
0.585000
0.585000
0.585000
0.583750
0.583750
0.582500
0.581875
0.581250
0.581250
0.575000
0.573750
0.573125
0.566250
0.565000
0.561250
0.560000
0.560000
0.558750
0.557500
0.556250
0.537500
0.530000
0.501250
0.500000
0.491250
0.491250
0.486250
Friendly hackere
Friendly hackers
Friendly hackers
Friendly hackers
Friendly hackers
JCVD
Benaroya
Friendly hackers
Friendly hackers
Friendly hackers
Soumission 1 (juin)
Soumission 3 (juillet)
Soumission 4 (juillet)
1.000000
0.700000
0.600000
0.600000
0.600000