全球主机交流论坛

标题: 问问有什么源码能做爬虫云端数据处理吗 [打印本页]

作者: 做只小母鸡 时间: 2020-11-20 17:37
标题: 问问有什么源码能做爬虫云端数据处理吗

我现在需要写一个软件进行爬虫商品的价格和名字和介绍

为了数据的准确性我要对商品的UID在云端检查是否入库

然后在进行采集商品信息入库云端并入库UID

然后对数据进行数据分析不知道有什么源码能有这种功能并能提供api方便对接

作者: llmwxt 时间: 2020-11-20 17:38
提示: 作者被禁止或删除内容自动屏蔽

作者: 做只小母鸡 时间: 2020-11-20 17:39
主要还是能方便我云端去重我也不知道该称呼这些功能类型的源码叫啥..只能问问各位大佬了

作者: 做只小母鸡 时间: 2020-11-20 17:40
软件我会写但是网页云端去重的我不会但是想要做云端来对商品UID去重入库不知道有没有这种类型源码

作者: 斌斌 时间: 2020-11-20 17:41
这不是easy

作者: 中国银行 时间: 2020-11-20 17:41
帮顶，业务范围之外，哈哈哈哈哈

作者: tir 时间: 2020-11-20 17:42
这个有点难度，加钱！

作者: 做只小母鸡 时间: 2020-11-20 17:56

tir 发表于 2020-11-20 17:42
这个有点难度，加钱！

我要采集的数据也就撑死也就十来万条不至于吧

作者: Ticifer 时间: 2020-11-20 18:31
都会写软件了，利用软件的语言写个去重就好了
需求还应该细致，加钱

作者: 橡树叶 时间: 2020-11-20 18:34
有开发能力的话自己去重呗。找别人写，别人问你要需求问着问着你自己也懂了该怎么处理，这不就很尴尬了

作者: xcpan710 时间: 2020-11-20 18:56
连数据库呗

作者: tkn 时间: 2020-11-20 19:38
去重，手写一个分布式布隆过滤器，提供一个API调用，不就是云端去重了吗

欢迎光临全球主机交流论坛 (https://sunk.eu.org/)