资产收集管理平台-H
H是一款强大的资产收集管理平台,主要用于src信息收集和红蓝对抗资产收集用,采用python celery分布式实现多节点部署,提高效率.
整个系统架构为 bootstrap + flask + celery(rabbitmq&redis) + mysql,实测在2核4G内存的服务器上能够独立运行,1核2G的可以试试目前没尝试,但问题应该不大,备案信息查询模块是用python实现的,为了契合平台发现了很多问题,最后觉得将其拆开可能更好.
https://github.com/SiJiDo/IEyes
实现以下功能
-
域名扫描
-
端口扫描
-
web站点扫描
-
目录扫描
-
漏洞扫描(nuclei, 自定义poc, xray+rad)
-
host碰撞插件
-
apk域名提取插件
-
备案信息查询
-
fofa查询
-
多账号管理
公众号(扫码关注,精彩不断)-IT运维前线
一、开发日志
闲暇时间龟速开发,想起了就记录下进度
2022.5.15 -- 增加fscan漏洞扫描工具,修复了http,dirb页面的查询报错问题,排查了xray的问题,程序本身没有错,配置有出入可能会导致xray不工作,详细可见配置修改处对xray进行配置
,更下载了新了shuffledns工具,解决了爆破子域名的子域名时可能该子域名并没有有效解析导致的卡死。
git clone https://github.com/SiJiDo/H.git
cd H && docker-compose build
配置修改
注意这里个坑,目前没有解决,在腾讯云上运行正常,在华为云上会报错,如果在自己的vps上报错,注释掉下面
位置在,该文件为celery的客户端启动文件,H/client/Dockerfile, 17~19行
建议修改下redis和rabbitmq的密码,在H/docker-compose.yml中
version: '3'
services:
server:
restart: always
build: .
ports:
- "5005:5005"
- "5004:5004"
tty: true
restart: always
networks:
- H_network
rabbitmq:
image: rabbitmq:3.8.3-management
container_name: rabbitmq
restart: always
ports:
- 5672:5672
- 15672:15672
environment:
- RABBITMQ_DEFAULT_VHOST=H_broker
- RABBITMQ_DEFAULT_USER=[rabbitmq账号]
- RABBITMQ_DEFAULT_PASS=[rabbitmq密码]
- RABBITMQ_VM_MEMORY_HIGH_WATERMARK=2147483648
networks:
- H_network
redis:
image: redis
container_name: redis
command: redis-server --requirepass [redis密码]
restart: always
ports:
- 6379:6379
networks:
- H_network
worker:
build: client/.
tty: true
environment:
DEBUG: 'False'
BROKER: 'amqp://[rabbitmq账号]:[rabbitmq密码]@rabbitmq:5672/H_broker'
BACKEND: 'redis://:[redis密码]@redis:6379/2'
TZ: Asia/Shanghai
restart: always
networks:
- H_network
networks:
H_network:
driver: bridge
以及H/config.ini
[CELERY_CONFIG]
CELERY_BROKER_URL = amqp://[rabbitmq账号]:[rabbitmq密码]@rabbitmq:5672/H_broker
CELERY_RESULT_BACKEND = redis://:[redis密码]@redis:6379/2
[DATABASE]
DB_HOST = 127.0.0.1
DB_USER = root
DB_PASSWD = root
DB_DATABASE = H
DB_PORT = 3306
对xray进行配置
在使用时注意xray的webhook地址,端口默认是5005也就是扫描器的web地址,而h_server_1
这个地址是docker镜像地址
如果是下载的main包,docker镜像名字可能就是hmain_server_1
因此这里配置时要正确,xray才会工作
反链地址同理的,反链地址为server的5004端口
#配置位置 client/config.ini
vuln_xray_webhook = h_server_1:5005
#配置反链平台位置:
client/vuln_scan/xray_scan/tools/xray/config.yaml
123行: http_base_url: "http://h_server_1:5004"
启动服务
搭建好后就是运行,服务端启动
#启动整个docker容器
docker-compose up -d
docker exec -it h_server_1 bash
cd /app && nohup python3 run.py &
cd /app/app/scan/lib/tools && chmod 755 xray
nohup ./xray reverse &
客户端启动
docker exec -it h_worker_1 bash
#如果你注释了开头的那段配置文件,你需要进入容器运行那一段代码
cd /tmp && wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb && apt install -y ./google-chrome-stable_current_amd64.deb
cd /app
python3 client_run.py
#需要启动哪些模块,可以在下面文件中配置
vim /app/config.ini
之后访问vps的5005端口,即可看到登录页面,默认账号为admin/123456
多台部署
如果你要部署多台,可以在第二台主机上这样运行,修改H/docker-compose.yml,只保留worker的配置,并且rabbitmq和redis的ip设置为主服务器(搭建了rabbitmq和redis的那台服务器的ip)
services:
worker:
build: client/.
tty: true
environment:
DEBUG: 'False'
BROKER: 'amqp://[rabbitmq账号]:[rabbitmq密码]@[rabbitmq服务器的ip]:5672/H_broker'
BACKEND: 'redis://:[redis密码]@[redis服务器的ip]:6379/2'
TZ: Asia/Shanghai
restart: always
networks:
- H_network
networks:
H_network:
driver: bridge
二、使用简介
首页
当有客户端节点接入的时候,会显示celery节点信息,记事本预留内容为每个模块的搜索语法,你也可以自己记录自己想要的内容
系统设置模块
该模块几个参数
同时扫描任务上限,这里的2意思是可以2个项目一起并行扫,但是也需要节点数量够,大部分节点都是多线程,多进程,部分如域名扫描时单进程(后续优化)
自定义poc地址,这里填你poc管理的github或者gitee地址,国内vps建议用gitee,更新拉取的时候不会出错,poc格式参照nuclei的格式即可,在扫描模式勾选了自定义poc会从你在此次设定的github地址拉取你的poc,你只需要维护好自己的github的poc,不会存储在本地
邮箱账号和邮箱密码(不是你邮箱的登录密码,发件密码需要申请一个独立的密码)还有邮箱服务器地址,可以在如126.com和qq.com邮箱获得
接收邮箱可以填多个,每个一行即可,都会接收到
之后就是配置推送信息时间和内容选择
扫描模式
扫描模式预设了2个模式,full和normal,里面有组件勾选
注意:如果选择了对应的组件,但该组件没有节点连接,则项目卡在该阶段一直等待
定时模块
定时模块主要作用是,比如一个src项目需要每个月扫一次,则会自动重新扫描,发现新资产并记录
三、项目添加
添加内容可分为主域名, 指定域名和ip, 黑名单分为domain,ip,title
黑名单设置需要设置title如:
domain: xxx.alibaba.com
title: 店铺
添加了后进入项目详细点击开始扫描, 暂停扫描此处是中断扫描,导出结果会保存成Excel
四、信息展示
每个页面均有一个搜索框,搜索语法可以看初始化时候,首页记事本有记载,简单的来说就可以通过&&符号拼接多个条件,搜索框查多条信息
端口
站点
设置了标记按钮,如果浏览了该站点,可以点击未标记,该条信息会自动跑到列表最后,可以通过该方式来过滤已经看过的站点
点击标记后,跑到列表末尾
点击详细,集成了该站点的路径扫描和漏洞扫描的信息
五、路径扫描
路径扫描结果如下
六、漏洞扫描
nuclei分等级,有一个漏洞等级的选项卡,该选项卡如果是nuclei扫描的话,会返回poc的等级,如果是xray扫描的话,不会划分等级统一归为xray
七、备案信息查询
调用了https://github.com/canc3s/cSubsidiary, 该工具会根据天眼查查询第一个公司并获取子公司,经过我的改良,实现了通过关键字获取子公司和备案域名信息
特别注意,该查询功能被做成了celery,在client中有icpget
模块,之所以做成celery模块是因为vps对天眼查发起请求时会被判定为海外ip,无法访问到数据,这边建议可以部署在本地,或者一台不关机的设备上即可
使用该模块需要一个auth_token 该值为登录天眼查后cookie中的一个字段,经过测试,天眼查获取数据只需要该字段值即可,并且该cookie长时间有限,实测半个月还有效
八、host碰撞
host碰撞调用该工具
https://github.com/cckuailong/hostscan
输入主域名到内网域名生成,会自动生成一些可能是内网的域名,当然你也可以自定义输入收集到的域名,ip地址需要自行准备,这边可以通过站点信息模块中nginx返回403的站点ip来作为一个目标
碰撞了后有记录,点击后会显示碰撞前的域名和ip,如果有结果在右侧会出来,反之没有成功则不会显示
九、apk域名提取
原理是使用grep命令提取
效果页面如下
上一篇: 代码学习日志 42 - 动态编程
推荐阅读
-
腾讯 JAVA开源项目】面向资产和应用的企业级配置管理,蓝鲸配置平台源码公开
-
资产收集管理平台-H
-
41 个下载免费 3D 模型的最佳网站-使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 17. Clara.io Clara.io 是一个创建 3D 内容的全球平台,也是一个培养新 3D 艺术家的社区。Clara.io 提供+100,000个免费的3D模型,包括OBJ,Blend,STL,FBX,DAE,Babylon.JS,Three.JS格式,用于 Clara.io,Unity 3D,Blender,Sketchup,Cinema 4D,3DS Max和Maya。 使用说明:免费,标准和专业帐户仅供个人使用,如果您需要将 clara.io 用于商业用途,请与销售团队联系。 18. 3DExport 3DExport是一个市场,您可以在其中购买和销售用于CG项目的3D模型,3D打印模型和纹理。它提供15 +不同的3D格式供下载,如3DS MAX(.max),Cinema4D(.c4d),Maya(.mb,.ma),Lightwave(.lwo),Softimage(.xsi),Wavefront OBJ(.obj),Autodesk FBX(.fbx)等。它还提供15种不同的语言! 使用说明:免费下载仅供个人和非商业用途。 19. 3D Warehouse 3D Warehouse是一个开放的库,允许用户共享和下载SketchUp 3D模型,用于建筑,设计,施工和娱乐!任何人都可以免费制作,修改和重新上传内容到3D仓库,您可以找到任何您能想到的东西,如家具,电子产品,室内产品等。 使用说明:3D Warehouse中的所有模型都是免费的,因此任何人都可以下载文件以用于SketchUp甚至其他软件,如AutoCAD,Revit和ArchiCAD。 20. CadNav.com CadNav是CGI平面设计师和CAD / CAM / CAE工程师的在线3D模型库,我们提供超过50000 +免费3D模型和CAD模型下载。在CadNav网站上,您可以下载高质量的多边形网格3D模型,3D CAD实体对象,纹理,Vray材料,3D作品,CAD图纸等。 使用说明:免费下载仅供个人和非商业用途。 21. All3dfree.net 就像网站名称一样,它提供免费的3D模型,还包括Vray材料,CAD块,2d和3d纹理集合,无需注册即可免费下载。它是不断更新的,因此您可以查找或请求3DS,MAX,C4D,skp,OBJ,FBX,MTL等格式的模型。 使用说明:所有资源均不允许用于商业用途,否则您将承担责任。 22. Hum3D 自2005年以来,Hum3D帮助来自3多个国家的80D艺术家节省3D建模时间,并制作逼真的3D模型,用于电影,视频游戏,AR应用程序和可视化。所有模型均由首席3D艺术家进行验证,他们检查其是否符合专业要求和最新的3D建模标准。 使用说明:免费下载仅供个人和非商业用途。 23. Artist-3D.com 艺术家-3D 库存的免费 3D 模型下载按通用类别排序。它为人体解剖学、汽车、家具、火箭、卫星等模型提供 AutoDesk 3DS Max 格式。您还可以在浏览他们的网站时找到教程和类似类型的建模。 使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 24. Free the models 就像本网站的标题一样,它为3d应用程序和3d游戏引擎提供免费的内容模型。您可以为您的任何项目找到许多有趣且有用的模型!它提供3ds,wavefront,bryce,poser,lightwave,md2和unity3d格式的模型。还有一个很棒的纹理集合,可以在您最喜欢的建模和渲染程序中使用。 使用说明:您从这里下载的所有内容都可以免费使用,除非它不能包含在另一个免费的网络或CD收藏中,也不能单独出售。否则,您可以在商业游戏,3D应用程序或渲染作品中使用它。您不必提供信用,但如果您这样做,那就太好了。 25. Resources.blogscopia 本网站由一家名为Scopia的公司创建。他们制作3D图像和视频,您可以找到许多为CGI工作的信息架构设计的模型,所有这些都可以在现实生活中使用。您可以免费下载它们,但是,如果您想一次下载它们,您可以支付 3 到 9 欧元。 使用说明:您可以免费下载模型部分的所有文件。每个压缩文件都包含您也可以在此处找到的许可证。基本上,您可以对文件执行任何操作。唯一的限制是不归属于Scopia的重新分发。 26.ambientCG 1000+公共领域PBR材料适合所有人!环境CG是使用许多不同的方法和资产类型创建的,例如照片纹理(PBR),贴花(PBR),图集(PBR),照片纹理(普通),物质存档(SBSAR),雕刻画笔,3D模型和地形。您可以在所有项目中*使用它们! 使用说明:在 ambientCG 上提供下载的所有 PBR 材料、画笔、照片和 3D 模型均根据知识共享 CC0 1.0 通用许可提供。您可以复制、修改、分发和执行作品,即使是出于商业目的,也无需征得许可。信用将不胜感激。 不要满足于平庸的大理石纹理 - 立即使用我们的免费PBR大理石纹理升级您的3D设计。 27.Pixar One Twenty Eight 这是一个提供官方动画行业经典纹理的网站:皮克斯,创建于 1993 年,该纹理库包括 128 个重复纹理,现在免费提供。 它包含您来到的纹理,包括砖块和动物毛皮。肯定会有一些你可以使用的东西。 使用说明:皮克斯动画工作室的《Pixar One Twenty Eight》根据知识共享署名4.0国际许可协议进行许可。即使出于商业目的,您也可以重新混合、调整和构建您的作品,只要您以相同的条款对新创作进行信用和许可。 访问数以千计的免费纹理并提升您的设计游戏 - 立即开始下载! 28. 3DXO 即使有近 620 个免费贴纸可供下载,3DXO 也不是最大的资源,但它的内容非常有用,不需要注册。无论是简单的墙壁或地板,还是一些奇怪的小东西,您都需要的纹理都可以在此网站上看到。 使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 29. 3DModelsCC0 3DModelsCC0 与其他产品的不同之处在于它包含超过 250+ 个高质量 3D 模型,并且本网站上的所有内容都是免费的,完全是公共领域!使用我们的模型时无需信用或归属! 使用说明:为每个人提供完全免费的公共领域内容。 30.Sketch up texture club Sketchup Texture Club是一个非营利性的教育和信息门户网站,由3D社区的图像促进协会管理,特别强调面向学生和建筑和室内设计专业人士的可视化和渲染技术,以及所有正在学习3D可视化的人。 使用说明:您无需支付版税或使用费。纹理可以免费下载和使用。不允许将纹理作为竞争产品出售或重新分发,即使图像被修改也是如此。 31. FlippedNormals FlippedNormal 是一个提供计算机图形和 3D 资产的市场,您可以找到许多用于雕刻、建模、纹理、概念艺术、3D 模型、游戏资产或课程的高级资产! 使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 32. NASA 3D NASA 3D网站是一个在线门户,提供与太空和各种NASA任务相关的大量三维模型和模拟。该网站是用户友好的,并提供有关每个型号的详细信息。该网站允许用户探索和下载几种不同格式的模型,包括 OBJ、STL 和 FBX,只需单击下载按钮即可。 使用说明: 要下载模型,只需单击模型页面上的下载按钮并选择所需的格式。 33. 3DAGOGO (Astroprint) 3DAGOGO 是一个提供广泛 3D 模型的网站,包括角色、车辆和建筑物。3DAGOGO 的独特功能之一是它专注于适合 3D 打印的模型,使其成为希望创建物理原型或模型的设计师的绝佳资源。要使用 3DAGOGO,设计师只需在网站上搜索他们正在寻找的模型类型,然后下载 STL 格式的文件。 使用说明: 要使用 3DAGOGO,只需搜索所需的 3D 模型类型并下载 STL 格式的文件。根据需要自定义模型,并确保在将其用于商业目的之前检查使用权限。 34. FreeCAD FreeCAD是一款了不起的3D建模软件,可让您在计算机上创建令人难以置信的3D设计。该软件可免费下载和使用,它提供了广泛的工具和功能,可用于创建用于各种目的的3D模型。 该网站易于浏览,您可以找到开始使用FreeCAD的所有必要信息。此外,该网站还提供一系列教程和指南,可帮助您了解 3D 建模的来龙去脉。 使用说明: 要下载模型,请访问网站并从库中选择所需的模型。该网站还提供了一系列使用该软件的教程和指南。 35. Pinshape Pinshape是一个提供一系列3D打印模型的网站。网站上提供的型号质量很高,因此您可以确保您的最终印刷产品看起来很棒。该网站提供了广泛的模型,包括从家居用品到小雕像和珠宝的所有物品。 但这还不是Pinshape所能提供的全部!该网站还允许用户上传和共享自己的3D模型。这意味着您不仅可以下载出色的模型,还可以通过分享自己的设计为社区做出贡献。此外,Pinshape 提供了一系列自定义选项,因此您可以调整和调整模型以满足您的特定需求。 使用说明: 要下载模型,请在网站上创建一个帐户,搜索所需的模型,然后单击下载按钮。该网站还为每种型号提供了一系列定制选项。 36.Yeggi Yeggi 提供了大量免费的 3D 模型,您可以下载各种格式的模型,例如 STL、OBJ 和 FBX。该网站易于使用,您可以按关键字、类别或特定网站搜索模型。 Yeggi 对于任何寻找 3D 模型的人来说都是一个很好的资源。它提供了大量的模型集合,从日常物品到复杂的机械,以及介于两者之间的一切。该网站的收藏量在不断增长,每天都有新的型号增加。 使用说明: 要下载模型,请在网站上搜索所需的模型,然后单击下载按钮。该网站还提供指向托管模型的原始网站的链接。 37. Open3DModel 来自开放3D模型的图像 Open3DModel具有各种类别的模型,包括建筑,车辆和角色。无论您需要建筑物,汽车还是人的3D模型,都可以在此网站上找到。 该网站易于浏览,您可以按类别或关键字搜索模型。每个模型都附带预览图像和详细信息,例如文件格式、大小和多边形数量。此信息可以帮助您选择适合您需求的模型。 使用说明: 要下载模型,请访问网站,从库中选择所需的模型,然后单击下载按钮。 使用最好的 3D 资产管理工具简化您的 3D 制作流程。立即试用它们,将您的 3D 项目提升到一个新的水平! 38. 3DExport 对于那些为其 3D 设计项目寻找 3D 模型、纹理和其他资源的人来说,该平台是一个很好的资源。该网站有大量模型可供选择,包括 3D 打印对象、游戏资产等。用户可以按类别、文件格式或价格范围浏览,以找到适合其项目的完美资源。此外,3DExport 还提供一系列教程和其他 3D 资源,以帮助用户提高技能并创建更令人印象深刻的设计。 使用说明: 要使用 3DExport,只需创建一个帐户并浏览可用型号。您可以按类别、格式和价格进行搜索,以找到所需的型号。找到喜欢的模型后,只需下载它并开始在您的项目中使用它。 39.Blend Swap Blend Swap是一个社区驱动的市场,提供与Blender软件兼容的各种免费3D模型。该平台允许用户共享和下载模型、纹理和其他资产,以便在他们的项目中使用。 使用说明: 创建免费帐户后,您可以浏览社区上传的大量3D模型。当您找到要使用的一个时,只需下载它并将其导入您选择的 3D 软件即可。 40. 3DShook 3DShook 是一个高级 3D 模型市场,提供一系列用于建筑、游戏等各个行业的高质量模型。该平台提供基于订阅的模型,具有不同的定价计划,允许用户访问一系列模型。 使用说明: 注册免费帐户后,只需浏览3D模型库,选择您喜欢的模型,然后以您需要的格式下载它们。 41. Smithsonian X 3D 史密森尼 X 3D 对于正在寻找历史文物和文物的高质量 3D 模型的设计师来说,这是一个独特的资源。该平台提供了大量3D模型,这些模型是根据史密森尼博物馆和研究中心中的真实物体扫描创建的。 使用说明:
-
简易打造二维码平台,一键管理每一件固定资产:实操应用案例
-
移动云加强全方位云网保护,守护数字中国发展 - 新增云安全中心涵盖终端安全,整合EDR的查杀、预警、应对及溯源功能,实现终端安全管理一体化。它能迅速定位并处理各类网络威胁,如病毒、入侵和新漏洞,减少人工应对负担。EDR在HVV行动中是关键防护,能在终端建立坚固防线,阻止威胁扩散,并协同其他产品追踪攻击链路。 态势感知全面覆盖监控、审计、运维、评估和预警等多个方面,针对混合云环境,提供统一业务安全管理、全面安全信息收集、智能安全事件关联分析以及系统性能与可用性的全面检测,满足等保标准、安全运营、数据保护和重要时期的保障需求。 云堡垒机推出全新混合云版本,支持混合云、私有云及客户自建平台部署,专为运维资源管理和审计提供安全保障。安全资源池行业版则针对于私有云和行业云,提供定制化的场景化安全合规整体解决方案,并可根据需要提供改造、统一管理、远程更新等一系列配套服务。 共同构建安全、便捷且高效的远程办公环境。
-
12款开源数据资产(元数据)管理平台选型分析(一)-Apache Atlas
-
如何高效搭建资产管理平台?众安科技告诉你答案是图技术