全球主机交流论坛

标题: 有熟悉爬虫技术的人么? 要做个类似tuan800.com的站 [打印本页]

作者: 风继续吹    时间: 2012-1-22 14:38
提示: 作者被禁止或删除 内容自动屏蔽
作者: 失足大叔    时间: 2012-1-22 14:49
不懂
作者: 真内存    时间: 2012-1-22 14:52
楼下会!
作者: wdlth    时间: 2012-1-22 14:53
找小夜的师傅
作者: hanwei87    时间: 2012-1-22 15:09
tuan800  是api提交吧 不是爬虫吧.
作者: johnnyfu829    时间: 2012-1-22 15:13
我有个朋友会,不知道你价格多少?
作者: 风继续吹    时间: 2012-1-22 15:18
提示: 作者被禁止或删除 内容自动屏蔽
作者: 风继续吹    时间: 2012-1-22 15:19
提示: 作者被禁止或删除 内容自动屏蔽
作者: 风继续吹    时间: 2012-1-22 15:20
提示: 作者被禁止或删除 内容自动屏蔽
作者: puper    时间: 2012-1-22 15:36
这个没什么爬虫,采集而已,每个团购站一个规则,用火车挂着就行
作者: 风继续吹    时间: 2012-1-22 15:38
提示: 作者被禁止或删除 内容自动屏蔽
作者: 公鸡    时间: 2012-1-22 15:41
方维系统
作者: puper    时间: 2012-1-22 15:51
风继续吹 发表于 2012-1-22 15:38
需要爬虫的,因为要主动爬目标站内进行更新.

就是采集而已,当然也算爬虫
作者: 风继续吹    时间: 2012-1-22 16:07
提示: 作者被禁止或删除 内容自动屏蔽
作者: 风继续吹    时间: 2012-1-22 16:07
提示: 作者被禁止或删除 内容自动屏蔽
作者: 一步一杀    时间: 2012-1-22 16:12
puper 发表于 2012-1-22 15:36
这个没什么爬虫,采集而已,每个团购站一个规则,用火车挂着就行

+1
作者: puper    时间: 2012-1-22 16:18
风继续吹 发表于 2012-1-22 16:07
很多爬虫是基于JAVA平台来做的,太庞大了(例如www.pkprice.com)

这个就是按规则采集而已, 无非就是自动采集,定时采集而已,把分类和地区对应一下,这个数据量是有限的。比价网当然需要更智能,比如同一个产品在不同商家名字有区别,数据量太大,必须智能筛选+人工处理,爬虫就那样,复杂的是数据处理过程,你可以搜下小熊比价网的开发过程
作者: 风继续吹    时间: 2012-1-22 16:40
提示: 作者被禁止或删除 内容自动屏蔽
作者: puper    时间: 2012-1-22 16:50
风继续吹 发表于 2012-1-22 16:40
搜不到小熊比价网的开发文档.

非开发文档,就是一部分记录


http://blog.sina.com.cn/beargoo
作者: loveminds    时间: 2012-1-22 16:53
风继续吹 发表于 2012-1-22 15:20
开始用爬虫吧,以后牛逼了再谈API.

都是用API获取的
作者: 风继续吹    时间: 2012-1-22 17:01
提示: 作者被禁止或删除 内容自动屏蔽
作者: hanwei87    时间: 2012-1-22 17:07
风继续吹 发表于 2012-1-22 15:20
开始用爬虫吧,以后牛逼了再谈API.

开放提交接口

http://www.tuan800.com/open_api
作者: 公鸡    时间: 2012-1-22 17:19
风继续吹 发表于 2012-1-22 16:07
公鸡知道的东西还不少啊,有QQ吗?  这个方维系统中的分享我早就在找了.

http://www.fanwe.com/
产品中心
作者: 风继续吹    时间: 2012-1-22 17:28
提示: 作者被禁止或删除 内容自动屏蔽
作者: oldghost    时间: 2012-1-22 17:34
不会,精神支持一下
作者: 公鸡    时间: 2012-1-22 18:01
风继续吹 发表于 2012-1-22 17:28
看到了,正在看它.

我用过一次,这个东西都是团购程序把api提交给tuan800,然后就自动的获取了。大概是这样的。
作者: Comcast    时间: 2012-1-22 18:04
小心楼主
作者: 主机侦探    时间: 2012-1-22 19:48
没你想象的那么复杂,下个蓝海豚装上就是了,如果到了要写爬虫的程度,你早有自己的技术团队了。
作者: meta168    时间: 2012-1-22 19:58
puper 发表于 2012-1-22 15:36
这个没什么爬虫,采集而已,每个团购站一个规则,用火车挂着就行

是的
作者: loveminds    时间: 2012-1-23 01:17
风继续吹 发表于 2012-1-22 17:01
扯淡吧, ETAO的就是被京东屏蔽了爬虫.

所以用爬虫不好~做这类是要让团购网站主动给你推送,而不是你被动地采集
作者: 风继续吹    时间: 2012-1-23 15:23
提示: 作者被禁止或删除 内容自动屏蔽
作者: 主机侦探    时间: 2012-1-23 15:59
本帖最后由 主机侦探 于 2012-1-23 16:01 编辑

会做的会给你写,真是幼稚啊,懂点技术的要么自己做,要么加入了团队。不过你可以考虑一下yiqifa的开放api,这个东西要么是技术控自己做,要么组个大团队,你想用一点点钱就弄到下金蛋的鸡,没什么可能。
作者: 风继续吹    时间: 2012-1-23 16:48
提示: 作者被禁止或删除 内容自动屏蔽




欢迎光临 全球主机交流论坛 (https://sunk.eu.org/) Powered by Discuz! X3.4