SpiderFoot |
Обновлено: 31.08.2016 - 10:57
Средство автоматизированного сбора информации о заданной цели, которой может быть IP-адрес, имя домена, имя узла, имя подсети. SpiderFoot можно использовать в качестве теста на проникновение в черный ящик для сбора информации о заданной цели или чтобы определить, какую информацию ваша организация предоставляет атакующим, чтобы использовать против вас.
Задачи SpiderFoot
Существуют три основные области, в которых SpiderFoot может быть полезным:
- Если вы пен-тестер, SpiderFoot позволит автоматизировать рекогносцировку этапа тестирования, давая вам богатый набор данных, чтобы предоставить точечные области для тестирования..
- Понимание того, что ваша сеть / организация открыто подвергая внешнему миру. Такая информация в ненадёжных руках может предоставлять угрозу безопасности.
- SpiderFoot собирает угрозы о подозрительных вредоносных IP-адресах, которые можно видеть в журналах или в канале данных разведки угроз.
Возможности SpiderFoot
Использует загрузку данных из источников. Более 50 источников, в том числе SHODAN, RIPE, Whois, PasteBin, Google, SANS и другие. Эти источники SpiderFoot использует для сбора информации о вашей цели. Некоторые требуют ключей API, они находятся в свободном доступе.- Каждая часть данных передается в модули, которые заинтересованны в извлечении ценной информации. Ни одна часть обнаруженных данных не сохраняется из анализа.
- Встроенный визуализатор на основе JavaScript и экспорт в GEXF/CSV для использования в других инструментах, например в Gephi.
- Веб-интерфейс. Нет громоздкого CLI или Java чтобы возиться с ним. Интуитивно понятный и лёгок в использовании. Смотрите галерею: https://www.spiderfoot.net/gallery/
- Настраиваемость. Почти каждый модуль настраивается, таким образом Вы можете определить уровень инвазивности и функциональности.
- Модульная система. Каждая основная возможность представляет собой модуль, написанный на Python. Не стесняйтесь писать свои собственные модули и представить их нам!
- SQLite. Все результаты сканирования сохраняются в локальной базе данных SQLite.
- Одновременное сканирование. Каждое сканирование запускается как отдельный поток, так что вы можете выполнять футпринтинг многих различных целей одновременно.
Источники данных
| Source | Location | Notes |
|---|---|---|
| abuse.ch | https://www.abuse.ch | Various malware trackers. |
| AdBlock | https://easylist-downloads.adblockplus.org/easylist.txt | AdBlock pattern matches |
| AlienVault | https://reputation.alienvault.com | AlienVault’s IP reputation database. |
| Amazon S3 Buckets | https://s3.amazon.com | File storage service provided by Amazon |
| Autoshun.org | https://www.autoshun.org | Blacklists. |
| AVG Site Safety Report | https://www.avgthreatlabas.com | Site safety checker. |
| Bing | https://www.bing.com | Scraping but future version to also use API. |
| bizcash.cz | https://www.bizcash.cz | Blacklists. |
| Blocklist.de | https://lists.blocklist.de | Blacklists. |
| BotScout | https://www.botscout.com | Blacklists. |
| Checkusernames.com | https://www.checkusernames.com | Look up username availability on popular sites. |
| DNS | Your configured DNS server. | Defaults to your local DNS but can be configured to whatever IP address you supply SpiderFoot. |
| DroneBL | https://www.dronebl.org | |
| DuckDuckGo | https://www.duckduckgo.com | |
| https://www.facebook.com | Scraping but future version to also use API. | |
| FreeGeoIP | https://freegeoip.net | |
| Github | https://www.github.com | |
| https://www.google.com | Scraping but future version to also use API. | |
| Google+ | https://plus.google.com | Scraping but future version to also use API. |
| Google Safe Browsing | https://www.google.com/safebrowsing | Site safety checker. |
| IPCat | https://raw.githubusercontent.com/client9/ipcat/master/datacenters.csv | IP Categorisation. |
| https://www.linkedin.com | Scraping but future version to also use API. | |
| malc0de.com | https://malc0de.com | Blacklists. |
| malwaredomainlist.com | https://www.malwaredomainlist.com | Blacklists. |
| malwaredomains.com | https://www.malwaredomains.com | Blacklists. |
| MalwarePatrol | https://www.malwarepatrol.net | Blacklists. |
| MaxMind.com | https://www.maxmind.com | Blacklists. |
| McAfee SiteAdvisor | https://www.siteadvisor.com | Site safety checker. |
| Notepad.cc | https://www.notepad.cc | |
| Nothink.org | https://www.nothink.org | Blacklists. |
| Onion.City | https://onion.city | Search engine for the dark web. |
| OpenBL | https://www.openbl.org | Blacklists. |
| PasteBin | https://www.pastebin.com | Achieved through Google scraping. |
| Pastie | https://www.pastie.org | |
| PGP Servers | https://pgp.mit.edu/pks/ | PGP public keys. |
| PhishTank | https://www.phishtank.org | Identified phishing sites. |
| Project Honeypot | https://www.projecthoneypot.org | Blacklists. API key needed. |
| PunkSPIDER | https://www.punkspider.org | |
| RIPE/ARIN | https://stat.ripe.net/ | Includes data from ARIN. |
| Robtex | https://www.robtex.com | |
| SANS ISC | https://isc.sans.edu | Internet Storm Center IP reputation database. |
| SHODAN | https://www.shodanhq.com | API key needed. |
| SORBS | https://www.sorbs.net | Blacklists. |
| Social Sites | https://github.com/WebBreacher/WhatsMyName | An amazing list of social sites by WebReacher for identifying the existence of accounts. |
| SpamCop | https://www.spamcop.net | Blacklists. |
| SpamHaus | https://www.spamhaus.org | Blacklists. |
| ThreatExpert | https://www.threatexpert.com | Blacklists. |
| TOR Node List | https://torstatus.blutmagie.de | |
| TotalHash.com | https://www.totalhash.com | Domains/IPs used by malware. |
| UCEPROTECT | https://www.uceprotect.net | Blacklists. |
| VirusTotal | https://www.virustotal.com | Domains/IPs used by malware. API key needed. |
| VOIPBL | https://www.voipbl.org | Blacklists. |
| VXVault | https://www.vxvault.net | Blacklists. |
| WayBack Machine | https://www.archive.org | |
| Whois | Various | Whois servers for different TLDs. |
| XSSposed | https://www.xssposed.org | |
| X-Force Exchange | https://exchange.xforce.ibmcloud.com/ | Blacklists. |
| Yahoo | https://www.yahoo.com | Scraping but future version to also use API. |
| Zone-H | https://www.zone-h.org | Easy to get black-listed. Log onto the site in a browser from the IP you’re scanning from first and enter the CAPTCHA, then it should be fine. |
------------------------
Восстановление сайтов из Вебархива
Размещение по доскам объявлений России
ТРИО теплый пол отзыв
Заработок на сокращении ссылок
Earnings on reducing links
Код PHP на HTML сайты
Категория: Индексация и поиск, Безопасность
| Комментарии |

