全球主机交流论坛

标题: 【开源】按关键字 从头到尾 搜索大文件 [打印本页]

作者: 斌斌    时间: 2020-11-25 04:34
标题: 【开源】按关键字 从头到尾 搜索大文件
net core3.1 源码
https://github.com/bbhxwl/LargeFileSearch/tree/1.0

下载地址,编译了win64位和linux 64位系统,其他系统的自己下载源码编译也可以。
单线程查询的。
https://github.com/bbhxwl/LargeFileSearch/releases/tag/1.0


作者: IDC_Global    时间: 2020-11-25 04:40
谢谢分享!
作者: MJJ思密达    时间: 2020-11-25 08:02
感谢大佬分享 项目star下 裤子就算了 没下
作者: 喵霸天    时间: 2020-11-25 08:57
本帖最后由 喵霸天 于 2020-11-25 09:13 编辑

搜索速度还行,不过不知道为什么我觉得能搜到我的信息,但是却搜不到
不过我搜其他的确实能搜到,给力
作者: 晴晴晴    时间: 2020-11-25 09:11
13.1 GB

开始时间:09:03:49
** 一条... 我的信息省略了

全部查询完成
09:07:41
请输入要查询的关键字

        HDD SATA2 大概读取速度100mb/s? 没注意
作者: 喵霸天    时间: 2020-11-25 09:14
有了这玩意,直接mysql都不用搞了,虽然比不上mysql索引啥的快,但是对于我们这些小白来说很棒
作者: weixiangnan    时间: 2020-11-25 09:19
厉害了,不过楼主什么时候把某音的脚本放出来
作者: leven5    时间: 2020-11-25 09:20
我只想看看里面的数据结构
导进mysql配合上sphnix或者xunsearch不是更爽
作者: zu1k    时间: 2020-11-25 09:59
https://github.com/zu1k/she
作者: 喵霸天    时间: 2020-11-25 10:14
leven5 发表于 2020-11-25 09:20
我只想看看里面的数据结构
导进mysql配合上sphnix或者xunsearch不是更爽

大佬,已经在navicat建立索引了,如果用sphinx 还需要另外创建索引么?
作者: shelizi1    时间: 2020-11-25 10:36
没下,先插眼。后续再看
作者: 总是吵架的猪    时间: 2020-11-25 11:09
本帖最后由 总是吵架的猪 于 2020-11-25 11:23 编辑

测试了  速度确实很快啊
最好用ssd硬盘  速度更快
十几个g的文件 两分钟就查完了


打开cmd命令行的时候 让输入文件地址
可以直接拖着txt文件到窗口
就可以自动输入地址了
  给作者提个建议  可以精确查找
现在都是模糊查找
包含的都显示出来
数据多的话 还得再找第二次
或者可以自动保存查找结果到同目录下的 一个txt文件么

不过最好还是导入mysql  建立索引 可惜我不会
作者: leven5    时间: 2020-11-25 11:54
喵霸天 发表于 2020-11-25 10:14
大佬,已经在navicat建立索引了,如果用sphinx 还需要另外创建索引么? ...

要的,sphinx有自己的索引,挺慢的,这么多数据得好一会
作者: 喵霸天    时间: 2020-11-25 11:57
leven5 发表于 2020-11-25 11:54
要的,sphinx有自己的索引,挺慢的,这么多数据得好一会

我用这个代码来搜索,能走索引,而且查询也是秒查

作者: xuhaoa    时间: 2020-11-25 12:35
大佬能编译个arm的吗 实在不会 已经star
作者: 斌斌    时间: 2020-11-25 15:32
喵霸天 发表于 2020-11-25 11:57
我用这个代码来搜索,能走索引,而且查询也是秒查

10g以上数据在一个表的话,索引也得看硬盘速度吧。没有硬盘能读取这么快
作者: 斌斌    时间: 2020-11-25 15:35
总是吵架的猪 发表于 2020-11-25 11:09
测试了  速度确实很快啊
最好用ssd硬盘  速度更快
十几个g的文件 两分钟就查完了

单线程这个速度比别的程序很快了,有时间弄下多线程就快几倍了。昨天就随便写了下给别人先用
作者: 总是吵架的猪    时间: 2020-11-25 16:22
斌斌 发表于 2020-11-25 15:35
单线程这个速度比别的程序很快了,有时间弄下多线程就快几倍了。昨天就随便写了下给别人先用 ...


大佬这个错误啥意思
wb的那个就出错
qq的那个可以用

作者: 斌斌    时间: 2020-11-25 16:34
总是吵架的猪 发表于 2020-11-25 16:22
大佬这个错误啥意思
wb的那个就出错
qq的那个可以用

权限问题
作者: 零度回忆    时间: 2020-11-25 16:40
膜拜大佬, 求多线程
作者: ouou8    时间: 2020-11-25 16:48
大佬厉害啊
作者: vicliu    时间: 2020-11-25 20:46
大佬大佬,已经收藏下载
作者: wang3y2    时间: 2020-11-25 21:05
好东西 我还准备装个mysql的 不用了




欢迎光临 全球主机交流论坛 (https://sunk.eu.org/) Powered by Discuz! X3.4