Перейти к содержимому

Кастомные правила Semgrep для поиска IDOR в Python-коде

Кастомные правила Semgrep для поиска IDOR в Python-коде
Время чтения: 10 мин.

На ревью Django REST API для финтех-сервиса я прогнал semgrep --config p/python --config p/security-audit по всей кодовой базе — ноль findings по контролю доступа к объектам. Ноль. При этом в 14 из 23 вьюх параметр object_id из URL летел напрямую в Model.objects.get(id=object_id) без единой проверки, принадлежит ли объект текущему пользователю. Это классический IDOR (Insecure Direct Object Reference — когда атакующий меняет ID в запросе и получает чужие данные). Дефолтные ruleset’ы Semgrep это не ловят — и не должны, потому что IDOR не инъекция, а отсутствие проверки. Ниже разберём, как написать YAML-правила, которые находят такие пропуски автоматически.

Почему дефолтные правила Semgrep пропускают IDOR

Semgrep — открытый SAST-инструмент (Static Application Security Testing — анализ исходного кода на уязвимости без его запуска). Встроенные наборы правил (p/python, p/security-audit, p/owasp-top-ten) заточены под инъекции: SQL-injection, XSS, SSTI, небезопасную десериализацию (CWE-502). Принцип один: найти место, куда пользовательский ввод попадает в опасную функцию. Вот вызов eval() — CWE-95. Вот pickle.loads() — CWE-502. Есть опасный «приёмник» (sink), есть пользовательский ввод (source), есть цепочка между ними. Всё чётко.

IDOR работает иначе. Это не «данные попали куда не надо», а «проверки нет там, где должна быть». По сути — логическая ошибка: отсутствие авторизации в нужной точке обработки запроса. Стандартный pattern-matching ищет присутствие опасного паттерна, а нам нужно искать отсутствие безопасного. Почувствуйте разницу.

По классификации OWASP Top 10 (если ещё не сталкивались — это стандартный рейтинг рисков веб-приложений, обновляется раз в несколько лет) IDOR попадает в категорию A01:2021 Broken Access Control. Первая по распространённости категория: 94% протестированных приложений имели какую-либо форму нарушения контроля доступа. В терминологии MITRE ATT&CK (открытая база тактик и техник атак; T-коды вроде T1190 — её идентификаторы) эксплуатация IDOR через публичный API — это техника T1190 Exploit Public-Facing Application, тактика Initial Access.

IDOR-уязвимость в Python-коде: что искать в Django и FastAPI

Бизнес-логика атаки: зачем атакующему IDOR

Мотивация прямая: атакующий меняет числовой ID или UUID в API-запросе (/api/orders/1337 → /api/orders/1338) и получает доступ к чужому заказу, профилю, медицинской записи. С целочисленными ID всё просто — инкремент на единицу. UUID сложнее перебрать в лоб, но они утекают через логи сервисов, URL-сокращатели, кэши CDN, страницы в Internet Archive. Монетизация: массовая выгрузка персональных данных, несанкционированные финансовые операции, компрометация чужих аккаунтов. Одной случайной проверки в Burp Repeater тут недостаточно — нужно масштабируемое обнаружение на уровне кода.

Уязвимый паттерн в Django-вьюхе:

# Уязвимо: объект доступен любому авторизованному пользователю
def order_detail(request, order_id):
    order = Order.objects.get(id=order_id)
    return JsonResponse(order.to_dict())

Идентификатор из URL летит напрямую в ORM-запрос (ORM — Object-Relational Mapping, слой абстракции для работы с базой через Python-объекты) без фильтрации по текущему пользователю. Безопасный вариант — одно дополнительное условие: Order.objects.get(id=order_id, user=request.user). Или через filter(): Order.objects.filter(id=order_id, user=request.user).first().

В FastAPI паттерн аналогичный: параметр пути попадает в db.query(Model).filter(Model.id == item_id).first() без Model.owner_id == current_user.id. Ключевое: мы ищем НЕ вызов опасной функции, а ORM-запрос по ID, рядом с которым НЕТ фильтрации по пользователю. Semgrep позволяет это выразить через комбинацию pattern (что ищем) и pattern-not (что исключаем).

Написание правил Semgrep: pattern-matching для поиска IDOR

Правила Semgrep описываются в YAML-файлах. Каждое содержит id (уникальный идентификатор), pattern или patterns (что искать), message (рекомендация разработчику), languages (язык) и severity (критичность: INFO, WARNING, ERROR). Вот правило, которое ловит .objects.get() с параметром id без фильтра по владельцу:

rules:
  - id: django-idor-get-without-owner
    patterns:
      - pattern: $MODEL.objects.get(id=$ID, ...)
      - pattern-not: $MODEL.objects.get(..., user=$USER, ...)
      - pattern-not: $MODEL.objects.get(..., owner=$USER, ...)
    message: >
      ORM-запрос по ID без проверки владельца — IDOR (A01:2021).
    languages: [python]
    severity: ERROR

Разберём логику. $MODEL — метапеременная Semgrep (placeholder, который подхватит любое выражение; пишется заглавными с $). Она поймает Order.objects.get(...), Profile.objects.get(...) — любую модель. $ID — метапеременная для аргумента id=. Многоточие ... (эллипсис) означает «ноль или более других аргументов». Без него правило поймает только вызовы с одним аргументом, а Order.objects.get(id=order_id, status='active') проскочит мимо.

Два блока pattern-not — исключения: если рядом с id= стоит user= или owner=, проверка есть, правило молчит. Когда pattern и pattern-not стоят внутри patterns, они работают как логическое И: «нашли вызов .get(id=…) И не нашли при этом user=…».

Аналогичное правило для filter() — замените get на filter в pattern. Для полноты можно объединить оба варианта через pattern-either (логическое ИЛИ): перечислите $MODEL.objects.get(id=$ID, ...) и $MODEL.objects.filter(id=$ID, ...).first() как альтернативы внутри одного правила.

Типичные ошибки при написании YAML-правил Semgrep

Первая — забытый ... в паттерне. Запись $MODEL.objects.get(id=$ID) без эллипсиса не найдёт вызовы с несколькими аргументами. Всегда добавляйте ....

Вторая — строчные метапеременные. Semgrep требует $UPPER_CASE. Запись $model не заработает как метапеременная — Semgrep воспримет это как литерал model.

Третья — слишком широкий pattern-not. Запись pattern-not: $MODEL.objects.get(...) без конкретного аргумента исключит ВСЕ вызовы .get(), и правило не найдёт ничего. Исключение должно быть точным: именно наличие user= или owner= в аргументах.

Четвёртая — забытый metavariable-regex для сужения scope. Правило выше сработает на ЛЮБУЮ модель, включая модели с публичными данными. Article.objects.get(id=article_id) для блога с открытыми статьями — не IDOR. Чтобы снизить ложные срабатывания, добавьте metavariable-regex с перечислением чувствительных моделей:

metavariable: $MODEL → regex: "(Order|Profile|Document|MedicalRecord)".

Это требует знания кодовой базы, но разница ощутима: в том финтех-сервисе из 14 findings осталось 9 после добавления regex. Остальные 5 — публичные каталоги, не IDOR.

Semgrep taint analysis: отслеживаем путь от request до базы данных

Pattern-matching ловит прямой паттерн — когда request.GET['id'] и .objects.get(id=...) стоят в одной функции. Но разработчик может вынести получение параметра в хелпер, передать через промежуточную переменную, и простой паттерн это пропустит.

Для таких случаев в Semgrep есть taint-анализ — отслеживание «заражённых» данных от источника до точки использования. Вы указываете source (откуда приходит пользовательский ввод), sink (куда он попадает) и sanitizer (что считается проверкой). Semgrep отслеживает поток данных, даже если между source и sink стоят промежуточные переменные.

rules:
  - id: django-idor-taint
    mode: taint
    languages: [python]
    severity: ERROR
    message: Параметр запроса попадает в ORM без проверки владельца.
    pattern-sources:
      - pattern: request.GET.get(...)
      - pattern: request.data[...]
    pattern-sinks:
      - pattern: $MODEL.objects.get(id=..., ...)

Semgrep помечает как «заражённые» все значения из request.GET.get(...) и request.data[...] (source). Если заражённое значение доходит до objects.get(id=...) (sink) — срабатывание. Для исключения легитимных случаев добавьте секцию pattern-sanitizers с проверками вашего проекта: вызов $MODEL.objects.get(..., user=request.user, ...) или кастомный декоратор авторизации.

Нюанс по версиям: в Semgrep CE (бесплатная open-source версия, серия релизов 1.x) taint-анализ работает в пределах одной функции (single-function taint). Для межфункционального отслеживания (cross-function, cross-file) нужен Semgrep Code (раньше назывался Pro). На практике для Django-вьюх одной функции часто хватает — обработчик запроса обычно делает ORM-вызов в своём теле. Если в вашем проекте проверки вынесены в отдельные модули — потребуется либо платная версия, либо обходной путь: добавить pattern-inside с контекстом HTTP-обработчика.

Для FastAPI source будет другим: pattern: request.query_params.get(...) или параметры функции-обработчика (например, async def get_item(item_id: int, ...)). Принцип тот же: source → sink без sanitizer = finding.

Практический блок: поиск IDOR статическим анализом кода

Делай раз: подготовка окружения

Предпосылки: Python 3.8+, pip доступен в терминале. Установите Semgrep: pip install semgrep. Проверьте: semgrep --version — ожидаемый вывод содержит номер вида 1.x.x. Если команда не найдена — проверьте, что директория ~/.local/bin добавлена в $PATH.

Создайте директорию idor-rules/ и два файла внутри. Первый — idor_check.yaml с YAML-правилом из секции pattern-matching выше. Второй — test_app.py с двумя Django-вьюхами: уязвимой (.objects.get(id=order_id) без user=) и безопасной (.objects.get(id=order_id, user=request.user)).

Делай два: запуск и интерпретация

Запустите: semgrep --config idor-rules/idor_check.yaml test_app.py. Ожидаемый результат — finding на строку с уязвимым вызовом: id правила, сообщение, severity ERROR и номер строки. Строка с user=request.user в аргументах НЕ должна попасть в findings.

Если findings нет — проверьте три вещи: (1) YAML-синтаксис (отступы в YAML критичны, Semgrep выдаст parsing error при лишнем пробеле); (2) languages: [python] указан; (3) паттерн совпадает с кодом — если в тестовом файле filter(), а в правиле get(), совпадения не будет.

Для JSON-вывода, пригодного для CI/CD-пайплайна: semgrep --config idor-rules/ --json test_app.py > results.json. JSON содержит путь к файлу, номер строки, текст сообщения и severity — формат подходит для интеграции с DefectDojo, SARIF-отчётами в GitHub Actions, GitLab CI.

Для отладки паттернов полезна команда semgrep --dump-ast --lang python test_app.py. Она показывает AST (Abstract Syntax Tree — внутреннее представление кода, по которому Semgrep ищет совпадения). Если правило не срабатывает, сверьте структуру AST с вашим паттерном: бывает, что ORM-вызов через queryset-переменную (qs = Order.objects; qs.get(id=x)) порождает другое дерево, чем прямой Order.objects.get().

Делай три: тестирование правил через semgrep —test

У Semgrep есть встроенная система тестирования. В тестовом Python-файле перед уязвимой строкой добавьте комментарий # ruleid: django-idor-get-without-owner, перед безопасной — # ok: django-idor-get-without-owner. Идентификатор после ruleid: / ok: должен точно совпадать с id в YAML-правиле.

Запуск: semgrep --test idor-rules/. Ожидаемый вывод: 1 passed, 0 failed. Если тест провалился — Semgrep покажет, какая строка ожидала срабатывания, но правило промолчало (или наоборот). Без этой проверки не узнаете, что правило сломалось после рефакторинга паттерна.

Ограничения SAST для Python приложений и расширение ruleset

Semgrep-правила на IDOR — не серебряная пуля. Три ограничения, которые стоит держать в голове:

Ограничение Суть Обходной путь
Контекстная слепота Правило не знает, какие модели хранят чувствительные данные metavariable-regex на $MODEL с перечислением чувствительных моделей проекта
Нестандартные проверки доступа check_object_permissions(), декораторы, middleware — не user= в ORM Дополнительные pattern-not-inside с конкретными проверками вашего фреймворка
Межсервисная архитектура Проверка доступа в другом микросервисе или API-gateway Комбинация SAST с DAST: Semgrep находит подозрительные места, nuclei/Burp проверяет в рантайме

Статья на xakep.ru по IDOR-поиску описывает расширение через join mode — объединение срабатываний разных правил по общим метапеременным. Первое правило находит обработчики без вызова сессии пользователя, второе — структуры ввода с полями-идентификаторами. Join mode соединяет два набора по имени входной структуры и выдаёт точечный результат. Подход рабочий, но требует понимания архитектуры конкретного приложения.

Для CI/CD-пайплайна рекомендую добавлять кастомные IDOR-правила к дефолтным: semgrep --config p/python --config ./idor-rules/ ./src. Так получается и стандартное покрытие (SQL-injection, XSS, десериализация), и проверка контроля доступа, специфичная для проекта. В GitHub Actions или GitLab CI используйте --severity ERROR как blocking gate: сборка не пройдёт, если найдена проблема с severity ERROR. Формат SARIF (--sarif) позволяет интегрировать результаты напрямую в GitHub Code Scanning.

Про российский контекст: Semgrep — open-source, ставится через pip install без ограничений. Если корпоративная политика требует альтернативу — смотрите на Solar appScreener или PT Application Inspector. Оба поддерживают кастомные правила для Python, хотя синтаксис отличается от Semgrep YAML.

За полтора года внедрения кастомных SAST-правил на трёх Django-проектах я пришёл к выводу, который многим покажется спорным: паттерн-матчинг на IDOR полезнее taint-mode. Не потому что taint хуже технически — он объективно мощнее. А потому что простое правило на 10 строк YAML понимает каждый разработчик в команде, может поправить за пять минут и не боится трогать. Taint-правило с sources, sinks и sanitizers — уже чёрный ящик для большинства. Его пишет один человек, и когда тот уходит, правило либо отключают при первом ложном срабатывании, либо оно тихо гниёт с устаревшими sanitizers. Автоматизация поиска уязвимостей в appsec — это не самое умное правило, а такое, которое команда готова поддерживать. Начинайте с простого pattern + pattern-not на конкретные модели вашего проекта, доводите false positive rate до приемлемого и только потом усложняйте. Если ищешь джуниор-роль в AppSec или DevSecOps — IB Basics на codeby.school закрывает базу за пару месяцев, а пара кастомных Semgrep-правил в портфолио даст что показать на собеседовании.

Эту тему и смежные навыки разбирают на практике в курсе «Профессия: инженер по безопасности приложений (AppSec)» Codeby Academy.