Выпуск Snoop 1.4.0, OSINT-инструмента для сбора информации о пользователях из открытых источников

Опубликован выпуск проекта Snoop 1.4.0, развивающего криминалистический OSINT-инструмент, который разыскивает учётные записи пользователей в публичных данных (разведка на основе открытых источников). Программа анализирует различные сайты, форумы и социальные сети на предмет наличия искомого имени пользователя, т.е. позволяет определить на каких сайтах имеется пользователь с указанным ником. Проект разработан на материалах исследовательской работы в области скрапинга публичных данных. Сборки подготовлены для Linux и Windows.

Код написан на языке Python и распространяется под лицензией, ограничивающей применение только для личного пользования. При этом проект является ответвлением от кодовой базы проекта Sherlock, поставляемой под лицензией MIT (форк был создан из-за невозможности расширить базу сайтов).

Snoop внесён в российский Единый реестр российских программ для электронных вычислительных машин и баз данных с заявленным кодом 26.30.11.16: «Программное Обеспечение, обеспечивающее выполнение установленных действий при проведении оперативно-розыскных мероприятий:: No7012 приказ 07.10.2020 No515». На данный момент Snoop выслеживает наличие пользователя на более 3700 интернет ресурсах в полной версии и по самым популярным ресурсам в Demo-версии.

Основные изменения:

  • Поисковая база доведена до 3716 сайтов.
  • На 140%, т.е. почти в 2.5 раза, ускорен поиск в версии Snoop для GNU/Linux (при скорости интернет соединения не менее 12 Мбит/с поиск по имени пользователя (username) в полной БД Snoop в quick-режиме ‘—quick/-q’ длится менее минуты.
  • Ускорен запуск Snoop на старых ПК с ОС Windows/HDD.
  • Добавлен новый и умный алгоритм автоопределения явно не указанных/проблемных/перепутанных кодировок сайтов
    при поиске в различных режимах.

  • Расширена информативность в CLI при поиске по сокращённой БД, используя опции-фильтры: ‘—site’, ‘—exclude’ или ‘—include’
    (количество веб-сайтов при сужении поиска отображается в квадратных скобках справа от общего количества сайтов БД).

  • С 2% до 2.5% поднят порог оповещения о Bad_raw.
  • Улучшено форматирвоание информации в CLI на небольших/сжатых по ширине терминалах, например, в CLI Termux на Android
    (добавлены авто отступы строк с учётом пользовательского CLI-окружения).

  • Обновлён HTML-отчёт:
    • изменены стили кнопок;
    • добавлена подсветка и увеличены строки из списка сайтов при наведении курсора (двигаясь по списку при выборе ресурса теперь сложно промахнуться);
    • удалена дублирующая строка/тавтология о том, на скольких ресурсах найден ‘username’;
    • увеличена визуальная составляющая группировки флагов стран;
    • добавлено отображение заголовков саундтреков при наведении на них курсора.
  • Исправлено автотестирование сети в режиме вербализации ‘—verbose/-v’ в случае, когда тесты иногда проваливались из-за отказа
    некоторых серверов принимать соединение по незащищённому каналу.

  • Во всех версиях Snoop из CLI убраны звуковые оповещения об ошибках и об окончании поиска.
  • К полной версии Snoop добавлены light-сборки, позволяющие запускать ПО почти мгновенно.
  • На платформе Android немного ускорен поиск в режиме вербализации.
  • На платформе Android если пользователь предпочитает открывать html-отчеты вручную и из своего GUI ФМ, то теперь подтягиваются и все стили.
  • Обновлены плагины ‘GEO_IP/domain’ и ‘ReverseVgeocoder’. Расширена визуализация данных в html-отчетах в полных версиях Snoop,
    в частности добавлены:

    • переключатель фильтрации данных по странам;
    • графики со статистикой по странам, регионам, объектам, провайдерам;
    • новый слой — топогорафические карты, меняется по клику/сдвигу;
    • режим переключения в полный экран;
    • авто отображение координат в любой точке на карте;
    • масштаб линейки;
    • памятка, отображающая статистику по InvalidData;
    • copyright;
    • поиск;
    • в плагине ‘ReverseVgeocoder’ от 10-100 раз увеличен масштаб покрытия/точности по округам/объектам в местоположениях RU, EU и CIS.

Источник: http://www.opennet.ru/opennews/art.shtml?num=60383