全球主机交流论坛

标题: 爆肝半年，做了一个分布式的IP扫描器！贡献算力，让你的... [打印本页]

作者: v4u 时间: 2024-5-6 19:00
标题: 爆肝半年，做了一个分布式的IP扫描器！贡献算力，让你的...
本帖最后由 v4u 于 2024-5-6 19:00 编辑

做程序员，已经好几年了，从最初的热情满满，到后来的日渐疲惫。

年纪也接近30了，一直待在一个不知名的小破公司，薪资低微，只够吃喝，压根还不起房贷，这么些年来也不见涨幅，未来也看不到希望，导致我工作上真的有点力不从心。老板也看出来了，因为比刚进公司那会，勤勤恳恳的打鸡血工作，效率明显低了很多，然后不出意外的，老板很快一脚就把我踹了，换了更能干的新人。

然后我就一直在家待业，一直找工作。

工作之余，我有个爱好就是很喜欢去外面搞鸡，这导致我前前后后在鸡场进行了很多不合法的交易，不过每次都是3秒钟的快乐，很快就索然无味了。

因为我常常在鸡场游荡，所以我妈每次看到我都说，你这个二大姨的儿子又买奥迪了，你那个三大姨的儿子又谈了个新女朋友，就你天天抱着你的破电脑，天天捣鼓什么破鸡，破服务器，逛什么垃圾论坛，除了浪费时间金钱，一点用都没有。

她几乎每天都重复念叨着同样的话，我沉默了，因为我也无力反驳。

我想过，把鸡给卖了回血，但我好像也就这点爱好了，把鸡卖了，我也不知道干什么去，而且卖鸡也没几个钱。于是乎，我就打消了卖鸡的念头，但这么多鸡放着，着实是有点浪费了，所以，我想到了一个把小鸡的价值发挥到最大化的办法。

我结合我苦心钻研了很久的，从入门到入坟系列之“论搞鸡的十八种奥义”终极房中秘术。

终于开发出了“分布式的算力共享扫描器”。之所以选择做这个扫描器，一方面是因为他可以利用上，我手头上所有小鸡的所有资源，然后创造一个非常强的算力共享扫描系统。另一个方面，是我喜欢看电视，需要用到这个扫描器去扫描一些网络直播源，而且也结合我之前玩的一些技术，什么漏洞扫描、CF优选IP、Socks代理等等，都需要去fofa等这类网络空间查找IP，但每次能找着的量不多，也比较麻烦。

所以我就想着，能不能创造一个，能解决我之前所有需求的扫描器呢？

有了这个想法后，我开始进行了第一次的尝试。每天从早肝到晚，大约持续了2个月左右，就开发出了第一版的扫描器。自己用了一下，效果好像还可以，勉强说得过去。
我把这个扫描器分享给我的朋友，他们也挺喜欢的，也纷纷掏鸡参与进来。

第一版扫描器

有了他们的参与以后，项目好像有了点活力，于是为了能让大家更加愉快的交流学习，就开始拼命给扫描器迭代，又开始了没日没夜的猛肝。经过我不分昼夜的连续加班加点，第二代的扫描器也就不负众望地诞生了。第二版，相比于第一版，使用了全新的UI，并且彻底抛弃了之前的网站结构，采用了最新的前后端分离人不分离模式。

也加入了很多直播源相关的功能，有网络爬虫获取的直播源，也有直播源节目解析相关的，最主要是因为我和我的朋友都是比较喜欢折腾直播源的，所以必须得先安排上，也就发展成现在的这个样子。

第二版扫描器

这个是扫描器整体的情况，包括，架构，用到的所有技术等等。整个网站核心背后大致的原理就是，用户通过网站添加任务，就给母鸡下达指令，母鸡再整理任务，下载相关数据，切割数据，再分发给各个小鸡，然后小鸡完成自己的任务后再传回母鸡，再由母鸡整理出一份最终的完整可用数据。

关于这个扫描器，目前主要是应用于网络直播源的扫描，可以完美的覆盖天南地北的直播源，以后也会慢慢给除直播源之外的源IP不断拓展优化。

既然我的朋友感兴趣，我又想到了各位MJJ可能也会觉得有意思，所以也来给各位MJJ分享下我开发的这个扫描器，希望能得到MJJ的支持。

关于扫描器，从一开始的初代版本，几百行的纯命令行操控的bash脚本代码，到如今已经是第六代了，不知不觉地就把屎山代码堆到了几万行。

部分脚本功能

接下来，简单谈谈怎么个共享法，网站的核心是一个扫描器来的，这个扫描器主要是依托分布式的这种架构，去充分利用云计算的多核多线的强大并发能力，提高数据包的并发量，从而提升扫描速度。由于这个过程相当费时，也非常消耗算力，所以它会只对网站的贡献者开放使用。
成为贡献者的其中一种方式就是捐鸡，大家都是鸡友，捐鸡以后，大家就是好兄弟了。

咱们有原则的，不白**兄弟，绝对负责到底————能捐鸡的都是好兄弟，就是尊贵的会员，那就可以使用网站的全部功能啦！除了能享受到网站扫描的所有资源外，也能调度整个站群算力去扫描新的任务~嘿嘿！

当然，不捐鸡也可以通过注册账户，使用部分强大的功能。

还有，我得重点强调下，捐鸡的都是我兄弟。

如果做不了兄弟，那做父子也是可以的，来者不拒哈。

捐鸡是我兄弟，捐款的就是我爸爸，我的衣食父母，养育之恩不用来世回报，今年就能给暴打上了。

当全网都在为胖猫哭泣时，我觉得我比他们还要难过，呜呜呜X﹏X~~他们一定不相信，会问我：有这么伤心么？
我说：我也吃不起麦当劳，也吃10块钱以内的拼好饭。

最重要的，没没——没————没有一个捞女能看上我，哭唧唧ToT

好了不扯淡了，谈谈正事

咱们的捐鸡门槛非常低~非常低，不要9 9 8，也不要1 9 8，完全免费，0元白**！！！

有鸡就是兄弟，也不要求18厘米长度，只需要有3Mbps的宽度，就可以正常交友！！！而且不影响鸡鸡后续正常使用，嘿嘿(*^▽^*)

更多的资质介绍，都在这儿~了，就不多细嗦了。

https://isus.cc/frontend/about

很遗憾告诉大家，企鹅马爸爸，已经把我们网站裆部靠左的搞鸡群，列为了重点监控对象，频繁被盯上封杀。
所以，为了安全起见，可以瞅瞅右边的。

作者: qtip 时间: 2024-5-6 19:02
啊

作者: HOH 时间: 2024-5-6 19:05
懒得看，迟早进去包吃住

作者: LOC论坛最屌MJJ 时间: 2024-5-6 19:06
牛逼老帖666，我只求一套稳定快速的CCTV源

作者: misakafa 时间: 2024-5-6 19:07
等个大佬言简意赅的总结一下

作者: jims 时间: 2024-5-6 19:09
竟然看完了

作者: team_aliez 时间: 2024-5-6 19:09
shodan enterprise 用户路过

不过我手上握有大量自有服务器和带宽资源，有合作需求可以找我

作者: VigoFen 时间: 2024-5-6 19:10
牛批，可以做个港澳台节目APP吗，可以付费，希望单人价能便宜一点

作者: 围观者 时间: 2024-5-6 19:13
好帖啊，这排版。。。。。。。。。。。。

作者: 10000 时间: 2024-5-6 19:14
早晚要进去这种东西也敢开发

作者: 半世烟尘 时间: 2024-5-6 19:14
这个表情包我都偷走了，够我用半年的

作者: Romeoiii 时间: 2024-5-6 19:15
工作之余，我有个爱好就是很喜欢去外面搞鸡，这导致我前前后后在鸡场进行了很多不合法的交易，不过每次都是3秒钟的快乐，很快就索然无味了。

你表情包真多，让我怀疑来到了十多年前的百度贴吧

作者: b66667777 时间: 2024-5-6 19:16
图片太多叼毛

作者: v4u 时间: 2024-5-6 19:18

HOH 发表于 2024-5-6 19:05
懒得看，迟早进去包吃住

这种产品并不是只有坏处也是有大大的好处的，有一定规模以后，只要把控好尺度，完全是可以正规化的，像fofa一样，而且比fofa更容易控制。

作者: v4u 时间: 2024-5-6 19:19

misakafa 发表于 2024-5-6 19:07
等个大佬言简意赅的总结一下

标题......

作者: v4u 时间: 2024-5-6 19:20

LOC论坛最屌MJJ 发表于 2024-5-6 19:06
牛逼老帖666，我只求一套稳定快速的CCTV源

网站上，不是大把吗？自己去翻

作者: 小米八宝茶 时间: 2024-5-6 19:21
内容没看多少，只能说表情牛逼

作者: 冰糖不太甜 时间: 2024-5-6 19:27
支持一下

作者: v4u 时间: 2024-5-6 19:52

小米八宝茶发表于 2024-5-6 19:21
内容没看多少，只能说表情牛逼

作者: Quantumult 时间: 2024-5-6 19:55
你小子表情包是真多

作者: nut 时间: 2024-5-6 20:00
提示: 作者被禁止或删除内容自动屏蔽

作者: konger 时间: 2024-5-6 20:19
https://ei.qninq.cn/i/2024/05/05/201934.webp

作者: 中囯 时间: 2024-5-6 20:40
看完了。故事会，做编辑去吧。

作者: kimigao 时间: 2024-5-6 20:41
去年也玩了一段时间扫源，要说质量好还得是地波，港台全是1080p，韩国甚至有满血4k源，一秒50m比看奈飞还清晰。坏处也有，这些源都不长久，少则几天多则两个月

作者: iMranRan 时间: 2024-5-6 21:30
什么鬼，但文档不错。

作者: kldeam 时间: 2024-5-6 21:32
點註冊沒啥用

作者: xftaw 时间: 2024-5-6 21:33
一堆弱智表情包几分钟都没加载完

小尾巴~~~~~

作者: skugov 时间: 2024-5-6 21:34
不管怎么说，楼主的文章还是挺风趣的，另外，楼主你的熊猫头都是我的了

作者: a87750530 时间: 2024-5-6 21:46
矿老板的算力滞后了，各位请帮帮忙吧，贡献算力，快乐挖矿！

作者: 会翻车吗 时间: 2024-5-6 22:33
还是裁判文书网看的少

作者: alaskawolf 时间: 2024-5-6 23:11
吊图一堆我喜欢

作者: 真浪 时间: 2024-5-6 23:15
你是斗图大佬是真的

作者: 黑客 时间: 2024-5-6 23:58
很刑注意安全

作者: h4des 时间: 2024-5-7 00:05
看完了，你搞开发屈才了真的

作者: wange008 时间: 2024-5-7 06:30

v4u 发表于 2024-5-6 19:18
这种产品并不是只有坏处也是有大大的好处的，有一定规模以后，只要把控好尺度，完全是可以正规化的，像fo ...

你这东西本身就属于扫描类工具，能正规起来很难，那样的话首先得北岸，被某个安全公司收编，那样也就失去了价值，总之，如果发展下去，定个帮x很容易

作者: scheme 时间: 2024-5-7 06:49
你要是小学生就算了，都工作了还搞这个，除非出去了，否则风险很大

作者: FeiLai 时间: 2024-5-7 07:52
楼主可以转行：起点中文网写小说，安全钱又多。

作者: 龙之谷 时间: 2024-5-7 07:55
内容先不说了，配图还是很用心的。

作者: 丶心围双城 时间: 2024-5-7 08:09
已收藏，等更新。

作者: BigBug 时间: 2024-5-7 08:11
吊图一堆我喜欢骚话不少我也爱

作者: func 时间: 2024-5-7 08:14
想法挺好，但是开发这种系统，风险还是要考虑的。

作者: v4u 时间: 2024-5-7 08:29

func 发表于 2024-5-7 08:14
想法挺好，但是开发这种系统，风险还是要考虑的。

是的，所以一直都有在寻求一个合法合规的解决办法。

作者: 921 时间: 2024-5-7 08:32
帖不错

作者: v4u 时间: 2024-5-7 08:33

wange008 发表于 2024-5-7 06:30
你这东西本身就属于扫描类工具，能正规起来很难，那样的话首先得北岸，被某个安全公司收编，那样也就失去 ...

能明白你说的，也知道这条路注定是艰难的，但是也是值得尝试的。

作者: v4u 时间: 2024-5-7 08:35

scheme 发表于 2024-5-7 06:49
你要是小学生就算了，都工作了还搞这个，除非出去了，否则风险很大

有在思考，在尝试，能不能通过北岸，管控，就在国内做。

作者: v4u 时间: 2024-5-7 08:38

h4des 发表于 2024-5-7 00:05
看完了，你搞开发屈才了真的

民间的很多牛马，都是全才

，但是没办法，不是所有千里马都能遇着伯乐，日行千里的！！！

作者: v4u 时间: 2024-5-7 08:42

中囯发表于 2024-5-6 20:40
看完了。故事会，做编辑去吧。

做编辑没出版社收编呀，我想自研，核武，这个比较有意思

作者: v4u 时间: 2024-5-7 08:46

kldeam 发表于 2024-5-6 21:32
點註冊沒啥用

按理说，都是可以注册的，你先看看有没有什么错误提示，还有是不是HTTPS？

作者: v4u 时间: 2024-5-7 08:48

a87750530 发表于 2024-5-6 21:46
矿老板的算力滞后了，各位请帮帮忙吧，贡献算力，快乐挖矿！

是的，非常缺算力，咱们这搞得是，绿色环保挖矿，清洁能源算力池

作者: v4u 时间: 2024-5-7 08:50

FeiLai 发表于 2024-5-7 07:52
楼主可以转行：起点中文网写小说，安全钱又多。

现在看小说的人群少，写了小说，没人看也是没意思呀

作者: v4u 时间: 2024-5-7 08:59

team_aliez 发表于 2024-5-6 19:09
shodan enterprise 用户路过

不过我手上握有大量自有服务器和带宽资源，有合作需求可以找我 ...

作者: heihai 时间: 2024-5-7 09:06

v4u 发表于 2024-5-7 08:50
现在看小说的人群少，写了小说，没人看也是没意思呀

其实还是很多的，只是那几个大的网文站不当人，导致的网文现在有点萎靡

它们什么都知道，它们本就是故意的
我什么也做不了

作者: Broccoli 时间: 2024-5-7 09:34
挺棒的，可以扩展下英语日语粤语的资源吗，啥时候做个资源导航啊。
另外没有发现怎么共享小鸡算力啊，没找到入口

作者: v4u 时间: 2024-5-7 09:48
本帖最后由 v4u 于 2024-5-7 09:50 编辑

Broccoli 发表于 2024-5-7 09:34
挺棒的，可以扩展下英语日语粤语的资源吗，啥时候做个资源导航啊。
另外没有发现怎么共享小鸡算力啊，没找 ...

现在系统还没那么完善，入口的话，都是私下聊，你可以通过下面的TG找到我，手动添加上去的

作者: yanger 时间: 2024-5-7 11:09
表情包来一份

作者: gcczm 时间: 2024-5-7 11:10

竟然看完了

作者: llussy 时间: 2024-5-7 18:01
等个大佬言简意赅的总结一下

作者: sety 时间: 2024-5-7 19:47
楼主人才一枚

作者: 似毛非毛 时间: 2024-5-7 20:02
看在那么多屌图的份上顶一下楼主

作者: 0.0 时间: 2024-5-7 20:07
我嘞个骚刚，第一次见这么骚的

作者: fuu 时间: 2024-5-7 20:28
不错呀小鸡都可以呀

作者: v4u 时间: 2024-5-7 21:31
有没有mjj知道，fofa这种空间引擎是如何做到合法北岸的？

作者: v4u 时间: 2024-5-7 21:33

似毛非毛发表于 2024-5-7 20:02
看在那么多屌图的份上顶一下楼主

谢谢老铁

作者: 切·格瓦拉 时间: 2024-5-7 21:52
牛逼大佬

作者: 贰零贰零伍贰零 时间: 2024-5-7 22:01
内容很有趣，我去看看网站

作者: acm 时间: 2024-5-7 22:07
看到tp5和vue2感觉怪怪的,有一种重回2018的感觉

作者: v4u 时间: 2024-5-9 23:33

acm 发表于 2024-5-7 22:07
看到tp5和vue2感觉怪怪的,有一种重回2018的感觉

技术没必要追求新，够用就行了

作者: 芭啦啦能量 时间: 2024-5-10 14:03
优秀，，能稳定维护PHP代理嘛，，

作者: v4u 时间: 2024-5-11 10:53

芭啦啦能量发表于 2024-5-10 14:03
优秀，，能稳定维护PHP代理嘛，，

不搞PHP代理，那玩意和爬虫一样折腾，而且这么多家，容易变动，折腾死人。

作者: v4u 时间: 2024-5-14 22:11
有的人好奇，这种大批量，为啥没给删鸡？在这统一解释下。 1、首先，本项目是合理利用资源，并没有滥用资源。所谓的大批量，是通过多主机叠加实现，所谓“聚沙成塔”的道理，大家都懂。 2、每台主机不只是发包，也会下包，而且只占用几百KB，比大家看羞羞视频都要慢得多。不仅有正常的上传，也有正常的下载，这是一个服务器在正常不过的行为，这没什么好删鸡的。 3、对外来说，每台主机，也只发送一个探测握手包，试问谁的服务器，连一个握手包的压力都承受不住？大家都是玩鸡的，都懂的，网络上每天都充斥着爬虫，无论是正规的，还是非正规的，不能因为别人发送了一个握手包，就认为有入侵的嫌疑吧？如果这样，那服务器就不应该放在公网上。 4、没有持续工作，而是一个正常使用服务器一样，一会儿占用，一会儿休息。

欢迎光临全球主机交流论坛 (https://sunk.eu.org/)