dev #9

Merged

avm merged 100 commits from dev into main 2026-03-17 16:06:44 +03:00

Conversation 0 Commits 100 Files Changed 247 +37633 -4899

100 Commits

Author	SHA1	Message	Date
avm	ba5018254e	Merge pull request 'feat: expand platform APIs, source integrations, and test coverage' (#8) from feature/regestry into dev ... Reviewed-on: #8	2026-03-17 15:59:21 +03:00
Aleksandr Meshchriakov	25176f31b4	fix pre-commit	2026-03-17 13:55:34 +01:00
Aleksandr Meshchriakov	3d298ce352	feat: expand platform APIs, sources, and test coverage	2026-03-17 12:56:48 +01:00
avm	b505c67968	Merge pull request 'feature/regestry' (#7) from feature/regestry into dev ... Reviewed-on: #7	2026-03-06 13:46:03 +03:00
Aleksandr Meshchriakov	a91ed1f1ae	feat(registry): add new endpoints for registers, exchange, and backups; update routing and configurations	2026-03-04 15:36:57 +01:00
Aleksandr Meshchriakov	052389d921	refactor(parsers): перенести тесты в ROOT_DIR/tests и синхронизировать контракты задач ... - перенесены тесты parsers из src/apps/parsers/tests в tests/apps/parsers - обновлены тесты задач под текущее поведение Celery (ошибки пробрасываются исключениями) - убрана зависимость тестов от внешнего брокера через локальные eager-вызовы - добавлены/уточнены фабрики и импорты для единой структуры тестов - обновлены README и CHANGELOG с новым правилом размещения тестов и запуском	2026-03-04 15:35:50 +01:00
Aleksandr Meshchriakov	0738c53040	Docker startup: поддержка legacy DJANGO_SETTINGS_MODULE config.settings.* ... - Нормализация config.settings.* -> settings.* во всех entrypoint-скриптах - Устраняет ModuleNotFoundError: No module named 'config' при старте в Dokploy	2026-02-18 17:14:01 +01:00
Aleksandr Meshchriakov	76d9c1d312	CI: единое TG-уведомление об успехе и авто-миграции при старте web ... - Добавлен job notify_success: одно сообщение в Telegram при успешных lint+test - start-web.sh теперь выполняет check-deps и python manage.py migrate --noinput перед Gunicorn	2026-02-18 17:02:52 +01:00
Aleksandr Meshchriakov	547942268f	CI: оставить только lint/test и брать TG из secrets	2026-02-18 16:53:15 +01:00
Aleksandr Meshchriakov	054b070511	CI: жёстко пинить git.dev на внутренний IP и форсировать netdns=go	2026-02-18 16:25:00 +01:00
Aleksandr Meshchriakov	f0b39ca0d6	CI: использовать IP из REGISTRY_HOST для token endpoint резолвинга	2026-02-18 16:20:45 +01:00
Aleksandr Meshchriakov	f53d691de3	CI: отключить proxy для registry auth и добавить NO_PROXY	2026-02-18 14:09:53 +01:00
Aleksandr Meshchriakov	674a769a11	CI: фикс резолвинга token endpoint через внутренний IP 10.10.0.10	2026-02-18 14:00:32 +01:00
Aleksandr Meshchriakov	8b4e49f898	CI: использовать TG переменные раннера без переопределения secrets	2026-02-18 13:38:10 +01:00
Aleksandr Meshchriakov	ea473f0f2d	Исправлены падения тестов и Telegram-уведомления CI ... - Исправлен импорт core.celery в тестах health-check вместо устаревшего config.celery - Добавлен fallback для Checko datasets при отсутствии JSON-файлов в CI - Обновлен BaseDataset: загрузка встроенных данных при missing JSON - Прокинуты TG_BOT_KEY/TG_CHANNEL из secrets в jobs lint/test/build_push	2026-02-18 13:36:47 +01:00
Aleksandr Meshchriakov	ff7884ebe9	Актуализирован README и очищены служебные артефакты ... - Полностью обновлена документация проекта под текущую архитектуру - Добавлены исчерпывающие инструкции локального запуска: Docker и без Docker - Уточнены реальные API эндпоинты, задачи Celery, переменные окружения и prod/dev сценарии - Удалены вспомогательные временные файлы: concatenate_files.py и один_файл.docx	2026-02-18 13:30:31 +01:00
Aleksandr Meshchriakov	d5d184537f	Рефакторинг инфраструктуры и конфигурации проекта ... - Перенесена структура Django-конфига в src/core и src/settings - Унифицирована Docker-сборка и docker-compose для dev/prod - Добавлены startup-checks (DB/Redis) и обновлены env-шаблоны - Расширена OpenAPI-документация и ответы API - Удалены устаревшие deploy/requirements/служебные скрипты - Обновлены CI/CD, README и тесты	2026-02-18 13:25:01 +01:00
avm	0f4af561de	Merge pull request 'fix_config' (#5) from fix_config into dev ... Reviewed-on: #5	2026-02-18 13:20:22 +03:00
dkrivov	36f0faa13a	Скрипт для объединения всех файлов в дереве каталогов в один .docx файл.	2026-02-11 12:39:27 +03:00
dkrivov	f2ccc5df18	fix_config	2026-02-11 10:15:35 +03:00
Aleksandr Meshchriakov	10fc1d96eb	fix: switch to dev settings for Docker services and improve env config	2026-02-10 21:31:03 +01:00
Aleksandr Meshchriakov	106ea42ade	fix: switch to dev settings for Docker services and improve env config	2026-02-10 20:24:23 +01:00
Aleksandr Meshchriakov	49702096a0	fix: switch to dev settings for Docker services and improve env config	2026-02-10 20:10:38 +01:00
Aleksandr Meshchriakov	6cb53fe92a	fix: switch to dev settings for Docker services and improve env config	2026-02-10 20:05:08 +01:00
Aleksandr Meshchriakov	c217b62100	fix: switch to dev settings for Docker services and improve env config	2026-02-10 19:44:56 +01:00
Aleksandr Meshchriakov	beec622b75	fix: switch to dev settings for Docker services and improve env config	2026-02-10 19:14:36 +01:00
Aleksandr Meshchriakov	053d74b614	fix: increase gunicorn timeout to 120s ... Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 13:52:38 +01:00
Aleksandr Meshchriakov	c1a720ffca	fix: allow all hosts on dev stand #no_test #no_lint ... Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 13:36:09 +01:00
Aleksandr Meshchriakov	551b341d3b	fix: disable SSL for PostgreSQL on dev stand ... Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 12:58:03 +01:00
Aleksandr Meshchriakov	8466678fbc	fix: make PostgreSQL sslmode configurable via env variable ... На dev стенде SSL не нужен, теперь можно отключить через POSTGRES_SSLMODE=disable Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 12:46:55 +01:00
Aleksandr Meshchriakov	a41f1413de	fix: use host network mode and localhost for db/redis #no_lint #no_test ... Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 12:43:22 +01:00
Aleksandr Meshchriakov	f6ffb196c5	fix: add SECRET_KEY with default to all services #no_lint #no_test ... Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 12:38:28 +01:00
Aleksandr Meshchriakov	5a1c2ac944	fix: use stdout logging for Docker #no_lint #no_test ... Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 12:31:38 +01:00
Aleksandr Meshchriakov	14b9b8d4ba	fix: correct log path and add logs/.gitkeep #no_lint #no_test ... Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 12:25:59 +01:00
Aleksandr Meshchriakov	e919ef60b3	fix: add missing os import to production settings #no_test #no_lint ... Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 12:16:50 +01:00
Aleksandr Meshchriakov	4e43d6c347	fix: add DJANGO_SETTINGS_MODULE to all services #no_lint #no_test ... Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 12:13:38 +01:00
Aleksandr Meshchriakov	9f4c0d06b6	fix: remove db/redis from compose, use external services ... - Use external postgres and redis from services_default network - Remove db/redis containers from deploy commands Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 12:06:41 +01:00
Aleksandr Meshchriakov	feb4c51110	fix: remove sudo from deploy commands #no_lint #no_test ... Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 12:01:55 +01:00
Aleksandr Meshchriakov	37d6612365	feat: add #no_lint and #no_test commit hooks ... Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 12:00:19 +01:00
Aleksandr Meshchriakov	ec176fc9fe	fix: configure Docker insecure registry on deploy ... Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 11:58:46 +01:00
Aleksandr Meshchriakov	0d29766757	fix: create deploy directory before scp ... Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 11:52:57 +01:00
Aleksandr Meshchriakov	e1959cd5b5	fix: handle unbound PYTHONPATH in CI ... Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 11:47:04 +01:00
Aleksandr Meshchriakov	cdc30400f8	chore: fix formatting of test comment in manage.py	2026-02-10 11:32:27 +01:00
Aleksandr Meshchriakov	4186c64f49	chore: add djangorestframework-stubs dependency and suppress lint warning with # noqa in parsers views	2026-02-10 11:31:29 +01:00
Aleksandr Meshchriakov	f9eadb83d5	ci: lint only src/, make lint/test non-blocking on dev ... - Ruff now checks only src/ (not tests/) - On dev branch: lint/test failures don't block build/deploy - On main branch: lint/test must pass Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 11:27:58 +01:00
dkrivov	b734ba5271	test_comment	2026-02-10 13:24:20 +03:00
Aleksandr Meshchriakov	c04dd97717	chore(tests): add # noqa to suppress linter complaints in zakupki_client tests	2026-02-10 11:22:34 +01:00
Aleksandr Meshchriakov	c002ea7659	chore: track uv.lock for reproducible CI builds ... Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 11:17:24 +01:00
Aleksandr Meshchriakov	a8c7673b52	fix: use GITHUB_HEAD_REF for PR checkout in CI ... Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 11:15:21 +01:00
avm	790fc007a3	Merge pull request 'feature/chekalo' (#4) from feature/chekalo into dev ... Reviewed-on: #4	2026-02-10 13:09:58 +03:00
Aleksandr Meshchriakov	ee95628a0a	feat: обновления парсеров, тестов и миграций ... - Обновлены клиенты парсеров (checko, fns, minpromtorg, proverki, zakupki) - Добавлены новые миграции для моделей - Расширено покрытие тестами - Обновлены конфигурации и настройки проекта - Добавлены утилиты для тестирования Co-Authored-By: Warp <agent@warp.dev>	2026-02-10 10:17:47 +01:00
Aleksandr Meshchriakov	975d019ba5	test(parsers): cover proverki client and lock races	2026-02-06 23:43:56 +01:00
Aleksandr Meshchriakov	c36c7b9ba9	feat(parsers): добавлен API клиент для checko.ru ... - Реализован CheckoClient с поддержкой всех 10 эндпоинтов API v2 - Frozen dataclass модели для запросов и ответов - Справочники ОКВЭД2, ОКФС, ОКОПФ, ОКПД, статусы компаний - Маппинг русских полей API на английские имена - Unit тесты с моками - E2E тесты с реальными запросами - Настройка CHECKO_API_KEY в settings.py	2026-02-03 17:00:19 +01:00
Aleksandr Meshchriakov	5c88c6466d	fix: remove editable install from requirements.txt	2026-02-02 15:50:42 +01:00
Aleksandr Meshchriakov	4eb127cf6a	fix: set LOGIN_URL for drf-yasg	2026-02-02 15:46:10 +01:00
Aleksandr Meshchriakov	e6af252f29	feat: add whitenoise for static files serving	2026-02-02 15:45:20 +01:00
Aleksandr Meshchriakov	80c01f2df1	fix: create all required directories in Docker image	2026-02-02 15:38:05 +01:00
Aleksandr Meshchriakov	7bb328224f	fix: create src/logs directory in Docker images	2026-02-02 15:30:55 +01:00
Aleksandr Meshchriakov	bf12b18463	fix(ci): force remove containers before deploy	2026-02-02 15:18:43 +01:00
Aleksandr Meshchriakov	9816977faa	fix(ci): docker compose down before up to avoid container conflicts	2026-02-02 15:15:10 +01:00
Aleksandr Meshchriakov	5dc50582ab	fix(ci): use scp to copy compose file to server	2026-02-02 15:11:23 +01:00
Aleksandr Meshchriakov	62bc3621fb	ci: trigger deploy after insecure-registry config	2026-02-02 15:07:40 +01:00
Aleksandr Meshchriakov	f43358059e	fix(ci): fix curl URL quoting for compose file	2026-02-02 15:06:49 +01:00
Aleksandr Meshchriakov	983f4534c8	fix(ci): update docker-compose.prod.yml on server before deploy	2026-02-02 15:03:10 +01:00
Aleksandr Meshchriakov	d690fe470e	ci: rebuild images on IP registry	2026-02-02 14:39:55 +01:00
Aleksandr Meshchriakov	1f80b73743	fix(ci): use internal IP 10.10.0.10:3000 for registry everywhere	2026-02-02 14:32:59 +01:00
Aleksandr Meshchriakov	6f884789a2	ci: trigger deploy with base64 SSH key	2026-02-02 14:27:05 +01:00
Aleksandr Meshchriakov	ebc36d72bf	fix(ci): decode base64 SSH key for deploy	2026-02-02 14:26:01 +01:00
Aleksandr Meshchriakov	404e380661	feat(ci): add deploy step to pull and run images on server	2026-02-02 14:20:59 +01:00
Aleksandr Meshchriakov	6c0e7bad9b	ci: trigger workflow with registry secrets	2026-02-02 14:13:01 +01:00
Aleksandr Meshchriakov	2555153994	fix(ci): use REGISTRY_TOKEN secret for container registry auth	2026-02-02 14:11:15 +01:00
Aleksandr Meshchriakov	223e6e40fb	fix(ci): consolidate crane steps and use password-stdin	2026-02-02 14:07:58 +01:00
Aleksandr Meshchriakov	04d9e6bf40	fix(ci): use domain name for Gitea container registry	2026-02-02 14:03:10 +01:00
Aleksandr Meshchriakov	97111afbd1	fix(ci): add --insecure to crane auth login	2026-02-02 13:57:53 +01:00
Aleksandr Meshchriakov	7b5982375c	fix(ci): use hardcoded 10.10.0.10:3000 for container registry	2026-02-02 13:54:08 +01:00
Aleksandr Meshchriakov	19d051a3ad	fix(ci): use crane for HTTP registry push (replaces buildx)	2026-02-02 13:48:15 +01:00
Aleksandr Meshchriakov	5f8ffb6854	fix(ci): create docker config.json manually for buildx auth	2026-02-02 13:36:37 +01:00
Aleksandr Meshchriakov	3fcb2ab0dd	fix(ci): add docker login before buildx push	2026-02-02 13:32:31 +01:00
Aleksandr Meshchriakov	ace2391620	fix(ci): use docker buildx with buildkitd config for insecure HTTP registry	2026-02-02 13:26:56 +01:00
Aleksandr Meshchriakov	65383b8a40	fix(ci): configure Docker insecure registry for HTTP Gitea	2026-02-02 13:16:22 +01:00
Aleksandr Meshchriakov	823dc2f83d	fix(ci): derive registry URL from GITHUB_SERVER_URL instead of vars	2026-02-02 13:13:30 +01:00
Aleksandr Meshchriakov	01ca794071	fix(parsers): add Russian tag names support in ProverkiClient XML parser	2026-02-02 13:03:12 +01:00
Aleksandr Meshchriakov	9bbc225942	fix(ci): run tests from project root with correct PYTHONPATH	2026-02-02 12:58:32 +01:00
Aleksandr Meshchriakov	0122834c8f	fix(ci): lint only src/ to match pre-commit config	2026-02-02 12:57:38 +01:00
Aleksandr Meshchriakov	9b2b12130e	fix(lint): sort imports in test files	2026-02-02 12:57:06 +01:00
Aleksandr Meshchriakov	bb34c194f8	fix(ci): install Python 3.11 from deadsnakes PPA	2026-02-02 12:54:12 +01:00
Aleksandr Meshchriakov	5da87c40f7	fix(ci): use system python3 instead of python3.11 (Ubuntu 24.04 has 3.12)	2026-02-02 12:53:36 +01:00
Aleksandr Meshchriakov	3fab27b166	fix(ci): preserve http protocol in git clone URL	2026-02-02 12:52:39 +01:00
Aleksandr Meshchriakov	2848bb2f5c	fix(ci): use gitea.token instead of secrets for authentication	2026-02-02 12:51:43 +01:00
Aleksandr Meshchriakov	72839995ce	fix(ci): add GITEA_TOKEN for git clone authentication	2026-02-02 12:50:17 +01:00
Aleksandr Meshchriakov	f68b4fbbf1	fix(ci): add dev branch to CI workflow triggers	2026-02-02 12:49:06 +01:00
Aleksandr Meshchriakov	3f222a9141	fix(lint): resolve ruff errors in tests and run_tests.py ... - Fix import sorting (I001) - Remove unused imports and variables (F401, F841) - Add noqa for test code (S106 hardcoded passwords, S314 XML parsing) - Auto-format with ruff format	2026-02-02 12:44:37 +01:00
Aleksandr Meshchriakov	97a7764155	fix(ci): replace GitHub Actions with native bash commands ... - Remove dependency on GitHub (network blocks access) - Replace actions/checkout@v4 with git clone - Replace actions/setup-python@v4 with apt-get install - Replace docker/build-push-action with native docker commands - Use config.settings.test (SQLite in-memory) for tests Closes: network connectivity issue in CI	2026-02-02 12:39:06 +01:00
avm	12a4cb46d7	Merge pull request 'feature/fns' (#2) from feature/fns into dev ... Reviewed-on: #2	2026-02-02 13:03:21 +03:00
Aleksandr Meshchriakov	efa5c3ae34	feat(api): полное API для всех парсеров с документацией	2026-02-01 15:19:21 +01:00
Aleksandr Meshchriakov	eacb1527c4	refactor(fns): переместить роуты /api/v1/parsers/fns → /api/v1/fns ... - Упростить URL: /api/v1/fns/reports/, /api/v1/fns/upload/ - Добавить swagger теги для группировки в документации	2026-02-01 14:49:43 +01:00
Aleksandr Meshchriakov	cd0e21350b	feat(fns): парсер ФНС бухгалтерской отчетности ... - Модели FinancialReport и FinancialReportLine - FNSExcelParser для файлов fin_{id}_{ogrn}.xlsx - FNSReportService с дедупликацией по хешу файла - Celery задачи для мониторинга папки (каждые 5 мин) - API: POST /fns/upload/, GET /fns/reports/ - Django admin интеграция - 25 unit-тестов	2026-02-01 14:44:19 +01:00
avm	eb0d6f2600	Merge pull request 'feat(parsers): добавлен парсер zakupki.gov.ru с SOAP API интеграцией' (#1) from feature/eis-zakypki into dev ... Reviewed-on: #1	2026-02-01 15:44:56 +03:00
Aleksandr Meshchriakov	a369642459	feat(parsers): add SOAP API support for zakupki.gov.ru ... - Add post() method to BaseHTTPClient for SOAP requests - Update download_file() to support custom headers (for token) - Add ZAKUPKI_TOKEN and PARSER_PROXIES settings - Improve SOAP error parsing to show EIS error messages - Update E2E tests to use token from settings - Add data/ and .zed/ to gitignore	2026-01-28 13:13:10 +01:00
Aleksandr Meshchriakov	c6483d8427	feat(parsers): добавлен парсер zakupki.gov.ru с SOAP API интеграцией ... Реализована полная интеграция с ЕИС Закупки через SOAP API (FTP доступ закрыт с 01.01.2025). Добавлено: - ZakupkiClient с поддержкой SOAP методов getDocsByOrgRegionRequest и getDocsByReestrNumberRequest - Модель ProcurementRecord (18 полей, 3 индекса) - ProcurementService и ParserLoadLogService для бизнес-логики - Celery задачи parse_procurements и sync_procurements - Админка с цветовой индикацией статусов и фильтрами - 71 тест (unit + E2E с RUN_E2E_TESTS=1) Требования: токен SOAP API через Госуслуги 🤖 Generated with [Qoder][https://qoder.com]	2026-01-27 16:01:28 +01:00