https://arxiv.org/abs/2504.07831

https://arxiv.org/pdf/2502.20995

📖 Новое исследование от Anthropic показало, что ИИ скрывает свои "мысли"

Недавнее исследование команды Alignment Science в Anthropic показало, что даже продвинутые модели ИИ, такие как Claude 3.7 Sonnet, систематически скрывают реальные рассуждения, лежащие в основе их ответов. В тестах на проверку «цепочек рассуждений» (chain-of-thought) модели скрывали истинные источники своей логики — включая пользовательские подсказки и визуальные шаблоны — до 80% случаев.

Более того, оказалось, что чем сложнее задача, тем меньше честности в объяснениях. Результаты исследования ставят под сомнение существующие подходы к интерпретируемости: если модели не могут прозрачно объяснить даже простые решения, можно ли доверять их «откровенности» в более серьезных вопросах? Это также может затруднить разработку адекватных механизмов прозрачности регуляторами и специалистами по безопасности ИИ.

#AI #ИИ

https://github.com/PromptLabs/Prompt-Hacking-Resources

https://security.googleblog.com/2025/04/google-launches-sec-gemini-v1-new.html?m=1

https://arxiv.org/pdf/2406.01637

https://glama.ai/mcp/servers/@mlobo2012/Claude_Desktop_API_USE_VIA_MCP/inspect

https://github.com/AI4Good24/PsySafe/tree/main

https://github.com/lancopku/agent-backdoor-attacks

https://www.freebuf.com/articles/database/426633.html

https://protectai.com/blog/securing-agentic-ai

https://github.com/GAIR-NLP/DeepResearcher

У DeepSeek есть API, но за его использование хотят денег.

Но на платный API всегда найдётся человек с неофициальным враппером.

Например - DeeperSeek, небольшая библиотека на Python, позволяющая делать запросы к API DeepSeek бесплатно и с обходом защиты Cloudflare. Документация пока хромает, готовых инструментов с её использованием пока не нашёл. Но что-то работающее можем собрать.

Ставим библиотеку:
pip3 install DeeperSeek -U

Для начала можно использовать мой пример:
import os
import asyncio
import sys
from DeeperSeek import DeepSeek, Theme


async def main():
api = DeepSeek(
# Можно использовать связку email/pass или userToken
# email = "email@domain.com",
# password = "secret_password",
# token = "userToken_from_LocalStorage",
token = os.getenv('DEEPSEEK_USER_TOKEN'),
chrome_args = [],
verbose = True,
headless = True,
attempt_cf_bypass = True,
)
await api.initialize()
'''
Передаём текст из sys.argv при запуске скрипта
в примерах обычно строка "Hey DeepSeek!"
'''
response = await api.send_message(
sys.argv[1],
deepthink = True,
search = False,
slow_mode = True,
slow_mode_delay = 0.25,
timeout = 60,
)

print(response.text, response.chat_id)

# Можно использовать для отладки
# token = await api.retrieve_token()
# print(f"Session Token: {token}")

asyncio.run(main())

На каждый запрос будет создан новый чат, тут у меня готового решения нет. Но оно работает.

Github: DeeperSeek
Github: DeeperSeek Docs
Pypi: DeeperSeek

AI Penetration Testing: How to Secure LLM Systems
https://www.offsec.com/blog/ai-penetration-testing/

Explore how AI penetration testing enhances LLM security, addressing unique vulnerabilities and improving cyber defenses.
The post AI Penetration Testing: How to Secure LLM Systems (https://www.offsec.com/blog/ai-penetration-testing/) appeared first on OffSec (https://www.offsec.com/).

https://github.com/allie-secvendors/insecure-ai-agents

http://221.179.172.81/images/20250401/47021743476097906.pdf

Просочились детали про открытую модель от OpenAI (https://t.me/gonzo_ML/3521). По данным The Information (https://www.theinformation.com/briefings/openai-plans-release-free-model-reasoning-coming-months) у OpenAI уже есть эта модель и в данный момент она проходит тестирования безопасности.

Что известно про модель:

* Middle-sized model, то есть вероятно в районе 20-70B, также будет маленькая версия или несколько, чтобы можно было гонять on-device

* Модель мультиязычная, с поддержкой function calling. Ну этим сейчас уже никого не удивишь, необходимый минимум, не то что год назад (https://t.me/gonzo_ML/2821). Надеюсь, в отличие от Гугла (https://t.me/gonzo_ML/3447) список языков опубликуют?

* Это будет reasoning модель, что уже интересно. Reasoning модели такого размера нет, DeepSeek не для простых смертных с его 8x H200 (https://t.me/gonzo_ML/3239), и нишу для домашнего и мобильного использования пока ещё никто не занял, OpenAI будет первым (если новая Llama не обгонит).

* Модель мультимодальная, но что совсем интересно, в модальности будет аудио и новая модель в каком-то смысле является миксом Whisper и o3-mini. Про картиночную модальность неизвестно, но звук на входе и выходе это очень интересно, особенно мультиязычный. В on-device устройствах OpenAI планирует заюзать одновременно NPU и DSP (для звука они хороши), что видимо заметно улучшит скорость работы.

* Но что совсем бомба, это что ризонинг может идти в звуковой модальности! Модели будут рассуждать вслух! Но чтобы не сильно отвлекать пользователя, рассуждать модель будет шёпотом (Whisper же!). Если можно будет менять голос для ризонинга, то можно запускать GPT-радиостанцию!

Инсайдеры сообщают, что уже тестируют устную математику, но модель пока постоянно забывает перенести единичку.

Самый главный вопрос -- название модели пока неизвестно.

Хорошо, хорошо. Ждём ответку от Meta и Google. Ходят слухи, что Цукерберг уже нанял Eminem'а, чтобы обучить свою модель ритмичному reasoning'у под бит. А в Google DeepMind созвали экстренное совещание и, кажется, планируют выпустить би-ризонинг, когда модель играет сразу две роли, обычную и критика, причём разными голосами -- не просто так ведь модель называется Gemini. И она на самом деле уже тоже есть и проходит тестирования, включая старый добрый NotebookLM (https://t.me/gonzo_ML/2976) -- помните подкасты?

https://www.secrss.com/articles/77278

Critical AI Security Guidelines by SANS Institute (Draft)

🔐 Access: Use least privilege + zero trust. Lock down models, vector DBs, and APIs.

📦 Data: Protect training + augmentation data. No sensitive info in prompts. Sanitize everything.

🚀 Deployment: Avoid hardcoding rules into LLMs. Use RAG + ACLs. Vet public models for backdoors.

🧠 Inference: Validate inputs and outputs. Guardrails help, but can't be your only defense.

📊 Monitoring: Log prompts, watch for drift, detect abuse. Monitor API usage closely.

⚖️ GRC: Track AI usage, align with evolving regs (EU AI Act, EO 14110, etc). Build AIBOMs + model registries.

https://medium.com/enkrypt-ai/from-power-to-pitfalls-the-real-challenges-of-ai-agents-e5d503dd5870

Искусственный интеллект под реальной угрозой: почему специалисты по безопасности ИИ становятся всё более востребованными?

Повсеместное внедрение искусственного интеллекта (ИИ) в бизнес-процессы бросает новые вызовы рынку. Так, уже растет спрос на услуги специалистов по кибербезопасности в области ИИ (MLSecOps). По подсчетам аналитиков платформы hh.ru, в 2024 году количество вакансий разработчиков и аналитиков, связанных с защитой ИИ-решений, увеличилось в 5 раз.

Эксперты отмечают, что такие угрозы, как "Prompt Injection", "Best-of-N Jailbreaking" и "Data Poisoning", требуют новых подходов к безопасности. Специалисты MLSecOps играют ключевую роль в предотвращении утечек данных и обеспечении конфиденциальности моделей. Без должной защиты компании рискуют потерять не только данные, но и доверие клиентов.

Образование в этой области также развивается. Вузы начинают предлагать специализированные курсы по безопасности ИИ. Однако нехватка квалифицированных кадров остаётся актуальной проблемой, что ведёт к росту заработных плат и конкуренции среди работодателей.

Потребность в продвинутых дата-аналитиках с функциями LLM Security будет расти в ближайшие годы, прогнозирует директор по талантам ГК Swordfish Security Дарья Фигуркина.
«Компании-новаторы в том или ином формате уже активно применяют большие языковые модели в работе, но массово вопрос кибербезопасности ИИ встанет позже. Безопасность всегда следует рука об руку с разработкой, поэтому в ближайшие два-три года мы ожидаем роста запросов на создание центров компетенций по LLM Security (MLSecOps) для коммерческих компаний».

Подробнее читайте по ссылке 🖥

#ЭкспертизаSFS

https://crad.ict.ac.cn/article/cstr/32373.14.issn1000-1239.202440265

https://zhuanlan.zhihu.com/p/29666515909

https://aisafetychina.substack.com/p/ai-safety-in-china-2024-in-review

MCP Server for IDA Pro
https://github.com/mrexodia/ida-pro-mcp:

1. Available functionality: There are a few IDA Pro MCP servers floating around, but I created my own for a few reasons: To install the MCP server in Cline, follow these steps: This will open a web interface at http://localhost:5173 and allow you to interact with the MCP tools for testing.
2. Adding new features is a super easy and streamlined process.
3. Below is a video where I add the get_metadata function in less than 2 minutes (including testing): MCP Server for IDA Pro

@secharvester

https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=10916629

https://medium.com/@adarshpandey180/scanning-an-llm-for-agent-based-vulnerabilities-51394999f30f

https://github.com/hackysterio/owasp-risk-calculator

https://github.com/caspiankeyes/AEON-AI-Interpretability-Framework

https://github.com/GreenmaskIO/greenmask

PostgreSQL database anonymization and synthetic data generation tool

https://github.com/Mohamedkotb97/Cybersecurity-Threat-Intelligence-Analyst

https://github.com/zjuguxi/dragonsec

https://github.com/srafiuzzaman/AI-Security-and-Privacy

https://github.com/farestrad/LLM-Assisted-Secure-Coding

https://github.com/kenhuangus/ZeroTrustAgent

https://ttps.ai/matrix.html

new ttps

https://www.linkedin.com/pulse/mcp-server-key-agentic-ai-interoperability-what-mohit-sewak-ph-d--rvhec/

https://www.xenonstack.com/blog/agentic-ai-compliance

https://www.arthur.ai/blog/exploring-agentic-ai-systems

https://www.airisksummit.com/

https://www.sans.org/cyber-security-training-events/ai-summit-2025/

https://arxiv.org/pdf/2503.08195

https://ai-cybersecurity-hackathon.devpost.com/project-gallery

https://arxiv.org/pdf/2503.19626

https://www.plexal.com/ai-security-innovation-growth-national-security/

https://arxiv.org/pdf/2502.14529

https://technode.global/2025/03/26/the-future-of-multi-ai-agent-security-technology-in-enterprise-systems/

https://arxiv.org/pdf/2502.19145

https://cloudsecurityalliance.org/blog/2025/03/24/threat-modeling-openai-s-responses-api-with-the-maestro-framework

https://medium.com/@bijit211987/agentic-security-framework-1c253af8a223

https://www.udemy.com/course/agentic-ai-risk-and-cybersecurity-masterclass-2025/

https://systemweakness.com/threat-modeling-computer-using-agent-cua-part-1-45560879be96

https://medium.com/@arshriz/mastering-threat-modeling-for-agentic-rag-architectures-on-aws-a-stride-based-guide-e7876c8db26d

https://milev.ai/research/fortnightly-digest-4-march-2025/

🧾 AI Incident Digest – This Week

1️⃣ Fraudulent Prompts via AIXBT Dashboard Led AI Trading Agent to Transfer 55.5 ETH from Simulacrum Wallet
https://cryptonews.com/news/hacker-exploits-ai-crypto-bot-aixbt-steals-55-eth/ [#Cryptonews]

2️⃣ Manipulated Video Using AI-Generated Audio Targets Pakistan's Prime Minister Shehbaz Sharif with Fabricated Interview
https://www.dawn.com/news/1900242/fact-check-video-doesnt-show-anchor-confronting-pm-shehbaz-about-funding-umrah-for-30-member-delegation [#Dawn]

3️⃣ LLM Scrapers Allegedly Target Multiple Open Source Projects Disrupting the FOSS Ecosystem
https://thelibre.news/foss-infrastructure-is-under-attack-by-ai-companies/ [#TheLibre]

4️⃣ OpenAI’s Sora Is Plagued by Sexist, Racist, and Ableist Biases
https://www.wired.com/story/openai-sora-video-generator-bias/ [#WIRED]

5️⃣ AI-Enabled Organized Crime Expands Across Europe
https://thefuturemedia.eu/ai-powered-crime-europol-warns-of-a-new-era-in-organised-crime/ [#TheFutureMedia]

https://arxiv.org/abs/2501.17070

https://t.me/AISecHub

https://arxiv.org/abs/2503.15547

https://trustedsec.com/blog/mcp-an-introduction-to-agentic-op-support

https://simonwillison.net/2025/Jan/29/prompt-injection-attacks-on-ai-systems/

https://x.com/vijaybolina

https://aiagentindex.mit.edu/index/

https://www.arxiv.org/pdf/2503.01908

https://openreview.net/pdf?id=Mvn5g49RrM

https://arxiv.org/pdf/2503.12188v1

https://research.ibm.com/publications/is-my-data-in-your-retrieval-database-membership-inference-attacks-against-retrieval-augmented-generation

https://arxiv.org/pdf/2502.14847

https://www.xenonstack.com/blog/vulnerabilities-in-ai-agents

https://www.pillar.security/blog/the-security-risks-of-model-context-protocol-mcp

https://www.pillar.security/blog/red-teaming-for-ai-agents

https://www.theverge.com/news/634598/microsoft-security-copilot-ai-agents

https://www.giskard.ai/knowledge/how-to-implement-llm-as-a-judge-to-test-ai-agents-part-2

https://framerusercontent.com/assets/hVFunSe4xafLUFTvLz0AefMUSTo.pdf

https://go.catonetworks.com/rs/245-RJK-441/images/2025-cato-CTRL-threat-report.pdf

https://eprint.iacr.org/2025/546

https://www.securecodewarrior.com/solutions/ai-llm-secure-coding

https://offensiveaicon.com

#MLSecOps
#WebApp_Security
"CVE-Bench: A Benchmark for AI Agents’ Ability to Exploit Real-World Web Application Vulnerabilities", 2025.
]-> https://github.com/uiuc-kang-lab/cve-bench

https://applied-gai-in-security.ghost.io/last-week-in-gai-security-research-03-24-25

https://futurism.com/pentagon-ai-delete-woke

Agentic AI and the Cyber Arms Race
https://arxiv.org/abs/2503.04760

https://github.com/henryalps/OpenManus

"Generative AI for Cloud Solutions: Architect Modern AI LLMs in Secure, Scalable, and Ethical Cloud Environments" (2024) explores the intersection of Generative AI, Cloud Computing, and Security.

This book provides insights into designing and deploying large language models (LLMs) in cloud environments while ensuring security, scalability, and ethical AI practices. It covers key topics such as MLSecOps (Machine Learning Security Operations), data governance, compliance, model monitoring, and threat mitigation. With real-world use cases and best practices, this book is a valuable resource for cloud architects, AI engineers, and cybersecurity professionals looking to implement secure and responsible AI solutions in the cloud.


— CISO as a Service —

| Strategic Cyber Defense & GRC
Resilient Through Knowledge
2025.03.23

Adversarial AI Digest – 20 March 2025 – A digest of AI security research, insights, reports, upcoming events, and tools & resources.

https://www.linkedin.com/pulse/adversarial-ai-digest-20-march-2025-tal-eliyahu-knxyc


Would be great if you can share it as well, my latest newsletter on AI Security.

Also, I manage bunch of public projects in GitHub and other platforms, happy to support you with your projects as well. Just let me know, you doing a great job. I know Russian as well, so I am able to enjoy the content you publish.