OWASP LLM Top 10 e MITRE ATLAS

Por Ricardo Costa Val do Rosario e ChatGPT 4.0

Python Copy

from docx import Document
from docx.shared import Inches

# Criar o documento
doc = Document()

# Adicionar a capa
doc.add_picture('/mnt/data/A_digital_illustration_in_high-tech_and_futuristic.png', width=Inches(6))
doc.add_paragraph('')
doc.add_paragraph('OWASP LLM Top 10 e MITRE ATLAS: Riscos e Estratégias para Segurança em Inteligência Artificial')
doc.add_paragraph('')

Adicionar o conteúdo

texto = """

OWASP LLM Top 10 e MITRE ATLAS

Ambas fornecem subsídios teóricos e práticos para compreender e mitigar os riscos inerentes ao uso de IA generativa e algoritmos de aprendizado de máquina em ambientes críticos.

OWASP LLM Top 10

A OWASP Foundation criou o OWASP LLM Top 10, um documento que consolida os dez principais riscos de segurança relacionados ao uso de LLMs. Entre os destaques desse levantamento, podemos citar:

• Prompt injection: trata-se de um tipo de ataque em que um agente malicioso consegue manipular os comandos (prompts) fornecidos ao modelo de linguagem, induzindo-o a executar ações que não estavam previstas ou autorizadas. Isso pode resultar em respostas inadequadas, vazamento de dados ou comportamentos perigosos por parte da IA.

• Data poisoning (envenenamento de dados): refere-se ao risco de que informações maliciosas sejam introduzidas no conjunto de dados utilizado para treinar ou ajustar o modelo. Esse tipo de manipulação pode comprometer a integridade do modelo, induzindo a geração de respostas incorretas, enviesadas ou perigosas.

O OWASP LLM Top 10 enfatiza ainda a necessidade de controles rigorosos sobre os dados utilizados no treinamento dos modelos, pois a qualidade e a confiabilidade desses dados são determinantes para o comportamento seguro da IA.

MITRE ATLAS

O MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) constitui uma matriz que visa mapear e descrever as técnicas, táticas e procedimentos utilizados por agentes mal-intencionados em ataques a sistemas de IA. Trata-se de um framework semelhante ao famoso MITRE ATT&CK, porém dedicado ao universo da IA.

Entre os elementos abordados pelo MITRE ATLAS, destacam-se:

• A descrição das fases de um ataque adversarial: desde o reconhecimento e exploração de vulnerabilidades, passando por simulações de ataques, até os mecanismos utilizados para comprometimento do sistema.

• A possibilidade de o adversário identificar e explorar os sistemas de IA em uso, culminando, por exemplo, na instalação de um ransomware, na exfiltração de dados confidenciais, ou ainda no vazamento de informações sensíveis do próprio modelo de linguagem, sem a necessidade de instalar códigos maliciosos adicionais.

O estudo do MITRE ATLAS permite compreender o ciclo de vida completo de um ataque envolvendo IA e antever estratégias para defesa e mitigação dos danos.

Considerações finais

O aprofundamento nesses dois materiais — OWASP LLM Top 10 e MITRE ATLAS — é essencial para quem busca compreender os riscos associados ao uso de LLMs e estruturar defesas robustas contra ameaças que evoluem na mesma velocidade das tecnologias de inteligência artificial. Além disso, reforça a necessidade de práticas éticas e seguras na construção, treinamento e operação de sistemas baseados em IA.

"""

Python Copy

for paragrafo in texto.split('\n'):
    doc.add_paragraph(paragrafo)

# Salvar o arquivo
output_path = "/mnt/data/OWASP_LLM_Top10_MITRE_ATLAS_Seguranca_IA.docx"
doc.save(output_path)

output_path
Result
'/mnt/data/OWASP_LLM_Top10_MITRE_ATLAS_Seguranca_IA.docx'