全球主机交流论坛

标题: 有熟悉爬虫技术的人么? 要做个类似tuan800.com的站 [打印本页]

---

作者: 风继续吹    时间: 2012-1-22 14:38
提示: 作者被禁止或删除 内容自动屏蔽

---

作者: 失足大叔    时间: 2012-1-22 14:49
不懂

---

作者: 真内存    时间: 2012-1-22 14:52
楼下会!

---

作者: wdlth    时间: 2012-1-22 14:53
找小夜的师傅

---

作者: hanwei87    时间: 2012-1-22 15:09
tuan800  是api提交吧 不是爬虫吧.

---

作者: johnnyfu829    时间: 2012-1-22 15:13
我有个朋友会，不知道你价格多少？

---

作者: 风继续吹    时间: 2012-1-22 15:18
提示: 作者被禁止或删除 内容自动屏蔽

---

作者: 风继续吹    时间: 2012-1-22 15:19
提示: 作者被禁止或删除 内容自动屏蔽

---

作者: 风继续吹    时间: 2012-1-22 15:20
提示: 作者被禁止或删除 内容自动屏蔽

---

作者: puper    时间: 2012-1-22 15:36
这个没什么爬虫，采集而已，每个团购站一个规则，用火车挂着就行

---

作者: 风继续吹    时间: 2012-1-22 15:38
提示: 作者被禁止或删除 内容自动屏蔽

---

作者: 公鸡    时间: 2012-1-22 15:41
方维系统

---

作者: puper    时间: 2012-1-22 15:51

风继续吹 发表于 2012-1-22 15:38
需要爬虫的,因为要主动爬目标站内进行更新.

就是采集而已，当然也算爬虫

---

作者: 风继续吹    时间: 2012-1-22 16:07
提示: 作者被禁止或删除 内容自动屏蔽

---

作者: 风继续吹    时间: 2012-1-22 16:07
提示: 作者被禁止或删除 内容自动屏蔽

---

作者: 一步一杀    时间: 2012-1-22 16:12

puper 发表于 2012-1-22 15:36
这个没什么爬虫，采集而已，每个团购站一个规则，用火车挂着就行

+1

---

作者: puper    时间: 2012-1-22 16:18

风继续吹 发表于 2012-1-22 16:07
很多爬虫是基于JAVA平台来做的,太庞大了(例如www.pkprice.com)

这个就是按规则采集而已， 无非就是自动采集，定时采集而已，把分类和地区对应一下，这个数据量是有限的。比价网当然需要更智能，比如同一个产品在不同商家名字有区别，数据量太大，必须智能筛选+人工处理，爬虫就那样，复杂的是数据处理过程，你可以搜下小熊比价网的开发过程

---

作者: 风继续吹    时间: 2012-1-22 16:40
提示: 作者被禁止或删除 内容自动屏蔽

---

作者: puper    时间: 2012-1-22 16:50

风继续吹 发表于 2012-1-22 16:40
搜不到小熊比价网的开发文档.

非开发文档，就是一部分记录


http://blog.sina.com.cn/beargoo

---

作者: loveminds    时间: 2012-1-22 16:53

风继续吹 发表于 2012-1-22 15:20
开始用爬虫吧,以后牛逼了再谈API.

都是用API获取的

---

作者: 风继续吹    时间: 2012-1-22 17:01
提示: 作者被禁止或删除 内容自动屏蔽

---

作者: hanwei87    时间: 2012-1-22 17:07

风继续吹 发表于 2012-1-22 15:20
开始用爬虫吧,以后牛逼了再谈API.

开放提交接口

http://www.tuan800.com/open_api

---

作者: 公鸡    时间: 2012-1-22 17:19

风继续吹 发表于 2012-1-22 16:07
公鸡知道的东西还不少啊,有QQ吗?  这个方维系统中的分享我早就在找了.

http://www.fanwe.com/
产品中心

---

作者: 风继续吹    时间: 2012-1-22 17:28
提示: 作者被禁止或删除 内容自动屏蔽

---

作者: oldghost    时间: 2012-1-22 17:34
不会，精神支持一下

---

作者: 公鸡    时间: 2012-1-22 18:01

风继续吹 发表于 2012-1-22 17:28
看到了,正在看它.

我用过一次，这个东西都是团购程序把api提交给tuan800，然后就自动的获取了。大概是这样的。

---

作者: Comcast    时间: 2012-1-22 18:04
小心楼主

---

作者: 主机侦探    时间: 2012-1-22 19:48
没你想象的那么复杂，下个蓝海豚装上就是了，如果到了要写爬虫的程度，你早有自己的技术团队了。

---

作者: meta168    时间: 2012-1-22 19:58

puper 发表于 2012-1-22 15:36
这个没什么爬虫，采集而已，每个团购站一个规则，用火车挂着就行

是的

---

作者: loveminds    时间: 2012-1-23 01:17

风继续吹 发表于 2012-1-22 17:01
扯淡吧, ETAO的就是被京东屏蔽了爬虫.

所以用爬虫不好~做这类是要让团购网站主动给你推送，而不是你被动地采集

---

作者: 风继续吹    时间: 2012-1-23 15:23
提示: 作者被禁止或删除 内容自动屏蔽

---

作者: 主机侦探    时间: 2012-1-23 15:59


会做的会给你写，真是幼稚啊，懂点技术的要么自己做，要么加入了团队。不过你可以考虑一下yiqifa的开放api，这个东西要么是技术控自己做，要么组个大团队，你想用一点点钱就弄到下金蛋的鸡，没什么可能。

---

作者: 风继续吹    时间: 2012-1-23 16:48
提示: 作者被禁止或删除 内容自动屏蔽

---

欢迎光临 全球主机交流论坛 (https://sunk.eu.org/)

Powered by Discuz! X3.4