Однажды в голову мне пришла идея разработать немного-немало свой собственный google. Чтоб его можно было запустить в локальной сети и отыскать там любые секреты где нибудь в глубине публичных сетевых дисков, ftp или вебе. И что бы такая система понимала не только текстовые файлы, но и офисные документы, архивы, исполняемые файлы, картинки, звук, словом всё что только может прийти в голову и что нельзя искать простым текстовым поиском.
Интернет сегодня нельзя представить без поисковика, но почему в локальной сети иная картина? Ведь как известно общедоступные ресурсы это вечная головная боль всех админов, а для пентестеров их анализ слишком дорогостоящая по времени работа.
Разработать в одиночку и за умеренное время собственный аналог google непростая задача. К решению данной проблемы я пытался подойти с разных сторон и за всё время два или три раза полностью переписывал всю систему с нуля. Но в итоге мне удалось найти очень простое и элегантное решение, почти не требующее кодинг - создать систему построенную из готовых компонентов (GNU), легко масштабируемую и также легко внедряемую (docker). Да ещё и понимающую google дорки (opensearch).
Такая система может быть одинаково полезна как пентестерам когда перед тобой сотни шар, так и защитникам - ведь систему можно настроить на непрерывный регулярный краулинг всех общедоступных ресурсов.
В статье https://habr.com/ru/companies/ussc/articles/878340/ я детально описываю идею моей системы, её несложную логику работы а так же настройку и примеры использования.