Опубликован выпуск проекта Snoop 1.3.3, развивающего криминалистический OSINT-инструмент, который разыскивает учётные записи пользователей в публичных данных (разведка на основе открытых источников). Программа анализирует различные сайты, форумы и социальные сети на предмет наличия искомого имени пользователя, т.е. позволяет определить на каких сайтах имеется пользователь с указанным ником. Проект разработан на материалах исследовательской работы в области скрапинга публичных данных. Сборки подготовлены для Linux и Windows.
Код написан на языке Python и распространяется под лицензией, ограничивающей применение только для личного пользования. При этом проект является ответвлением от кодовой базы проекта Sherlock, поставляемой под лицензией MIT (форк был создан из-за невозможности расширить базу сайтов).
Snoop внесён в российский Единый реестр российских программ для электронных вычислительных машин и баз данных с заявленным кодом 26.30.11.16: «Программное Обеспечение, обеспечивающее выполнение установленных действий при проведении оперативно-розыскных мероприятий:: No7012 приказ 07.10.2020 No515». На данный момент Snoop выслеживает наличие пользователя на 2279 интернет ресурсах в полной версии и по самым популярным ресурсам в Demo-версии.
Основные изменения:
- Добавлены видео-подсказки по быстрому запуску snoop для пользователей новичков, которые не работали с CLI.
- Добавлен текстовый отчет: файл ‘bad_nicknames.txt’ в который записываются пропущенные дата/nickname(s) (недопустимые имена/телефоны/некоторые_спецсимволы), обновляя файл (режим дозаписи) в ходе поиска, например с опцией ‘-u’.
- Добавлен режим корректной остановки ПО с высвобождением ресурсов для разных версий/платформ Snoop Project (ctrl+c).
- Добавлена новая опция ‘—headers’ ‘-H’: задать вручную пользовательский user-agent. По умолчанию на каждый сайт создаётся случайный, но реальный юзерагент или выбирается/переопределяется из БД Snoop с расширенным заголовком для обхода некоторых ‘защит CF’.
- Добавлена snoop-заставка и некоторые emoji, когда nickname(s) для поиска не заданы или выбраны противоречивые параметры в аргументах CLI
(исключение: snoop for Windows OS — старая CLI OS Windows 7). - Добавлены различные информационные панели: в отображении БД list-all; в режим verbose; новый блок ‘snoop-info’ с опцией ‘-V’; с опцией -u
разделение на группы nickname(s): валидные/невалидные/дубликаты; в CLI Yandex_parser-a (full-версии). - Обновлён режим поиска с опцией ‘—userlist’ ‘-u’ расширен алгоритм детектирования nickname(s)/email (просто попробуйте его использовать снова).
- Ускорен в разы вывод БД в CLI для методов опции ‘list-all’.
- Для Snoop for Termux (Android) добавлено авто-открытие результатов поиска во внешнем браузере без перекрытия результатов в CLI
(по желанию пользователя открытие результатов во внешнем веб-браузере можно проигнорировать). - Обновлен внешний вид вывода результатов в CLI при поиске nickname(s). Обновлен вывод лицензии в стиле Windows XP.
Обновлён прогресс (ранее прогресс обновлялся по мере поступления данных и из-за этого казалось, что подвис в full-версиях),
прогресс обновляется несколько раз в сек. или по мере поступления данных в режиме вербализации опции ‘-v’. - В html-отчеты добавлена новая кнопка ‘Doc’, ведущая на документацию ‘Общее руководство Snoop Project.pdf’/онлайн.
- В txt-отчеты также, как и в html/csv-отчеты добавлен параметр ‘сессия’.
- Обновлены все опции Snoop Project, которые приближены к рекомендациям POSIX (см snoop —help).
Старый вариант использования аргументов в CLI с подтверждением [y] обратно совместим. - Yandex_parser обновлён до версии 0.5: убрано — Я.коллекции (ресурс неактивен).
Добавлен Я.аватар: logina/email. В многопользовательский режим в txt; cli; html добавлены/обновлены метрики:
‘валидные логины/незареганные_пользователи/необработанные данные/дубликаты’, метки логинов. - Подкаталоги сохранённых отчетов/результатов группируются: plugin(s) в один каталог, nickname(s) в другой.
- Налажен корректный выход из ПО при попытке с опцией ‘-v’ протестировать сеть при её отсутствии/сбое .
- Исправлено в CLI: индивидуальная сессия/трафик/время при поиске в одной сессии нескольких имен или с опцией ‘-u’ или с опцией ‘-v’.
- Исправлено в csv-отчетах: время отклика сайта разделяется ‘верным дробным знаком’:: точка или запятая с учётом локали пользователя
(т.е. число в таблице всегда цифра независимо от дробного знака, что прямо влияет на сортировку результатов по параметру.
Данные ниже 1 Кб округляются точнее, свыше 1 Кб без дробной части. Общее время (было в мс., теперь в с./сот).
При сохранении отчетов с опцией ‘-S’ или в обычном режиме для сайтов использующих специфичный метод детектирования nickname(s):
(username.salt) теперь так же подсчитываются размер данных сессии. - Выполнена миграция build-версий Snoop Project с python 3.7 на python 3.8 (кроме EN-версий).
Источник: http://www.opennet.ru/opennews/art.shtml?num=56403