посоветуйте парсер [Архив] - Форум успешных вебмастеров

Просмотр полной версии : посоветуйте парсер

23.10.2007, 19:15

on Ton

Всем доброго времени суток :)

Кто какой парсер гугла нынче юзает? Самописные, покупные, фришные.. Подумываю прикупить хреферер, как он? А то запросов насоставлял, а выпарсить нечем.
В общем, кому не лень писать- жду советов на тему "парсер" :corn:

23.10.2007, 21:02
gogzik	Тема конечно ужасно боянистая... Но могу посоветовать XKoVaToR - зверь машина. xkovator.com

23.10.2007, 21:03
Maximus325	Аура решает

23.10.2007, 22:29
Webaz	XKoVaToR рулит

24.10.2007, 01:01
se_home	Подумываю прикупить хреферер, как он? Пользуюсь Hrefer, вполне устраивает. За 4 дня собрал 300к форумов. Сам прокси тягает, в общем удобно.

24.10.2007, 05:17
Maximus325	Пользуюсь Hrefer, вполне устраивает. За 4 дня собрал 300к форумов. Сам прокси тягает, в общем удобно. Бугога Аура собирает по ляму в день минимум))) это правда с дублями

24.10.2007, 06:19
alex_22	300к за 4дня можно собрать и фришным globalsquidoвским. Все зависит от запросов для распарса.

24.10.2007, 08:56

Dobrinia

Парсил и Аурой и Хрефером. Сейчас остановился на последнем.
Не буду говорить, что лучше хрефер, но сейчас я пользуюсь именно им.
~8 месяцев до него юзал аруру и был доволен.
Аура под линукс, хрефер под винду.
Если у тебя уже есть сервер, то покупай под него.Аура например у меня работала успешно с випом и дми :).

24.10.2007, 15:21
Longer	+1 за Ауру - для сервака +1 За ексковатор для Винды!

24.10.2007, 21:24

diver Alex

Бугога Аура собирает по ляму в день минимум))) это правда с дублями

хрефер в 200 потоков с нормальными проксями за 3 дня собрал 1,7 ляма гостевых, дублей отфильтровал около 10 лямов... единственный недостаток - когда идет фильтрация дублей очень сильно грузить оперативку
сервак 1 гб оперативки, 5 мегабит канал, перезагружал программу всего один раз

имхо, результат довольно неплохой, аурой не пользовался но 1 лям с дублями у меня хрефером собирается(по запросам в которых много результатов, ну типа guestbook.php :) и таких запросов с десяток если где то) очень быстро, от 1 до 5 часов...если отключить проверку урла по фильтру то еще быстрее....но нужны хорошие прокси, паблик если брать гораздо медленнее

25.10.2007, 05:17
Maximus325	Хрефер же соксы понимает - и это его большое преимущество перед аурой.

25.10.2007, 16:23
Fisherman	спамит Б мне нравится больше всех из десктопа

25.10.2007, 16:58

_Tex_

hreferom несколько часов назад решил собрать базу гостевух (до этого только форумы собирал), в час где-то по 50k собирает (без дублей) на канале 1mbit (правда машина - зверь =) конечно чем дальше тем меньше, т.к дублей все больше попадаеться, но меньше по крайней мере чем если форумы собирать и процент пробива по сырой базе раза в три выше.
Так что планирую собрать базу 300-400k гостевух и проверить даст ли она больше беков чем 80k форумов (примерно то же время занимает сбор да и рассылка куда быстрее), хотя что-то мне подсказывает что вряд ли так будет т.к. в успешных отчетах хрумера хрен потом найдешь свое сообщение

26.10.2007, 13:15
inferno[DGT]	Есть парсер консольный на перл. Отличная скорость и стабильность работы. Если интересно - сткни в Icq 402136

26.10.2007, 14:23
HQ Life	Может кто посоветует ещё парсер Yahoo? Желательно виндовый. Пользовался Spamit B, но последний апдейт вышел неудачным, и парсится теперь очень хреново.