Бесплатный парсер [Архив] - Форум успешных вебмастеров

Просмотр полной версии : Бесплатный парсер

28.12.2007, 11:40

Adm

Десктопный парсер выдачи Google. Сохраняет базу в txt-формате. Выдает заданное количество результатов поиска. Парсит с любой страницы до конца выдачи. Не берет ссылки на сам Google - только на результаты поиска. Никаких наворотов, только функционал.

Писал сам, поэтому буду благодарен за комменты - чего добавить/убрать.

Взять можно тут (http://tospam2008.narod.ru).

28.12.2007, 15:11
Ar2r	Отличная прога!

28.12.2007, 16:28
Madbe	бесплатно покликать по рекламе :)

28.12.2007, 16:31
Adm	Пасиб! Приятно, что Вам понравилась! В процессе написания - обслуживалка для напарсенных баз. Можно будет использовать для txt-баз, созданных любым парсером. Будет готова - выложу там же.

28.12.2007, 16:33
Adm	бесплатно покликать по рекламе Ну, это, конечно - желательно, но не обязательно... А вот парсит она нормально, так что можно мне и простить некоторую меркантильность :)

28.12.2007, 19:18
Crazy Joker	Даешь подарки на новый Год!СПС за программку

28.12.2007, 21:33
Ar2r	Пожелание: Таймаут чтоб можно было устанавливать в секундах. а то банит быстро.

28.12.2007, 22:16
Adm	Пожелание: Таймаут чтоб можно было устанавливать в секундах. а то банит быстро. Дело в том, что это - первый опыт... Объясните лоху - кто такой таймаут, а как его реализовать я придумаю сам!

29.12.2007, 00:32
Dmitry HT	задержка между запросами

29.12.2007, 00:43

Adm

задержка между запросами
О.к., понял. Реализовать это - не проблема, но, ИМХО, большого смысла не имеет.

Ведь во-первых - юзеру ничто не мешает задать новый запрос, реультаты которого будут запарсены в ту же базу.

А во-вторых - как показала моя личная практика (в ходе отладки программы) - изменение текста запроса ничуть не влияет на решение Гугла забанить запрос...

29.12.2007, 01:16

Le Comte de Monte-Cristo

но, ИМХО, большого смысла не имеет.

Имеет. Банит сцуко через некоторое время.
Практика: с одного IP при холде 6 секунд банит примерно через 5000 запросов. При холде 10 сек вообще не банит, только внуки потом будут разгребать результаты....

29.12.2007, 01:23

Adm

Имеет. Банит сцуко через некоторое время.
Практика: с одного IP при холде 6 секунд банит примерно через 5000 запросов. При холде 10 сек вообще не банит, только внуки потом будут разгребать результаты....

Возможно.
Я уже, вроде, говорил, что не спец в этих вопросах и буду благодарен за советы.
Ведь не хочете - не юзайте, всё честно, вроде!

А если у Вас есть знанияи относительно того, как обойти баг - давайте спишемся!

29.12.2007, 01:47

sevian

29.12.2007, 02:08
Le Comte de Monte-Cristo	Точно. Проксей много надо. :)

29.12.2007, 02:20
seocoder	кто мне объяснит. новички пишут парсер (зачем ХЗ) и еще претензии к тем кто дает дельные советы. Видно я отстал от жизни, но может пинча пихают нам юные хакеры )

29.12.2007, 02:35
Le Comte de Monte-Cristo	Заутро усе пароли уедут наусегда?

29.12.2007, 09:27

Adm

кто мне объяснит. новички пишут парсер (зачем ХЗ) и еще претензии к тем кто дает дельные советы.
Видно я отстал от жизни, но может пинча пихают нам юные хакеры )
Пишут для себя, выкладывают из соображений "может кому пригодится". Вам ничего не пихают, не нравится - не пользуйте.

29.12.2007, 10:32
mommalomas	топик хуйня

29.12.2007, 12:52
Adm	топик хуйня И Вам - того же, тем же и по тому же месту! :)

29.12.2007, 12:57

Adm

Заутро усе пароли уедут наусегда?

Какие пароли? Нет там никаких паролей. Может измениться только признак конца парсинга, это зависит от Google. Но и в этом случае напарсенную базу можно будет сохранить после сообщения об ошибке.

29.12.2007, 13:02

Adm

Имеет. Банит сцуко через некоторое время.
Практика: с одного IP при холде 6 секунд банит примерно через 5000 запросов. При холде 10 сек вообще не банит, только внуки потом будут разгребать результаты....

Поясните, плз, что такое 10 сек - задержка м/ду запросами? Или м/ду перелистыванием страниц запроса? Сделать-то задержку - не проблема, но где?

29.12.2007, 13:02
regulus	Какие пароли? Нет там никаких паролей. Может измениться только признак конца парсинга, это зависит от Google. Но и в этом случае напарсенную базу можно будет сохранить после сообщения об ошибке. :) :p

29.12.2007, 13:03
Adm	:) :p :d :pardon:

30.12.2007, 17:13
mudoeb	афтору респект, только сделай - управляемую задержку между обращениями к странице - поменьше окно и чтоб, посередине экрана, а то у мине при 1024х768 оно где то справа внизу и слишком длинное на чём писал ?

30.12.2007, 19:06

reddik

30.12.2007, 19:41

Adm

привет
программка может стать еще полезнее после минимальных исправлений
я написал недавно парсер гугла для моих узкоспецифических нужд, он у меня круглосуточно парсит, не быстро, зато осторожно
задержку меду запросами сделал рандомную от 10 до 30 секунд, и запросы постоянно чередуются
забанили всего пару раз за месяц
т.е. если добавить задержку и возможность задавать несколько запросов, будет хорошо

Спишемся в асе? Очень нужен совет - как сделать лучше! Т.е. код я и сам реализовать смогу, а вот где задержку ставить - между перелистыванием страниц запроса, или между запросами?

30.12.2007, 19:43

Adm

афтору респект, только сделай

- поменьше окно и чтоб, посередине экрана, а то у мине при 1024х768 оно где то справа внизу и слишком длинное

на чём писал ?

Окно - сделаю, чтоб вылезало посерёдке. Как откомпилировал, так и лезет. Не проблема. Да и автосайз под расширение можно замандить...

Писал на Delphi7.

30.12.2007, 20:27

mudoeb

делай ... жду обновлений, буду юзать и осторожно кликать по рекламе (не больше 2 раз в день)

ОБЯЗАТЕЛЬНО СДЕЛАЙ чтобы можно было вставлять не только текстовый запрос, но и адрес который получается в адресной строке например - http://www.google.ru/search?hl=ru&q=site%3Ablogspot.com&lr= < чтобы вот это можно было вставлять и парсить (а то там бывает много важных параметров, которые в поисковом поле не пропишешь)

добавь ещё кнопки пауза/продолжить и стоп

баги
- у меня прога после парсинга не закрывается, приходится применять насилие
- "хотим результатов" = 10 а парсит = 100
- иногда нельзя вставить новый запрос для парсинга,после того как закончил первый парсинг (было выставлено максимальное количество результатов)

30.12.2007, 20:33
Adm	Постараюсь исправить все вышеуказанное. С наступающим!

30.12.2007, 20:44

mudoeb

тебя тоже ...

сделай чтобы результаты предыдущего парсинга сбрасывались (или не сбрасывались - опционально) после начала нового парсинга

убери ещё эти дурацкие полосы прокрутки по краям программы а то раздражают ...

и поменяй дизайн проги, имхо браузер там ваще не нужен ... сделай окно проги покомпактнее и посимпатичнее - типа вверху твой банер с приглашением кликнуть, ниже окно для запросов и для вставки адреса (см. мой пост выше), потом кнопки управления, ниже окно с результатами, под ним кнопки для сохранения и всякие опции

30.12.2007, 20:47
Adm	Принято. Записано в блокнот. Возможно, будет учтено (хотя не обещаю) :)

30.12.2007, 23:45

reddik

Спишемся в асе? Очень нужен совет - как сделать лучше! Т.е. код я и сам реализовать смогу, а вот где задержку ставить - между перелистыванием страниц запроса, или между запросами?

Аську редко запускаю, лучше в личку пиши.
Паузы - между перелистываниями. Это ведь полноценные запросы, просто со start=100,start=200 и т.д. За них-то, подряд идущие, как правило и банят.

В идеале, я бы сделал так. Допустим, юзер задал 10 запросов, по каждому в выдаче по 10 страниц (максимум). Я бы их перемешал в случайном порядке. Типа
запрос 7, страница 2
запрос 4, страница 5
запрос 1, страница 10
и т.д.

И после каждого запроса - пауза, хотя бы 5-10 секунд, лучше тоже рандомная.

31.12.2007, 02:37
Adm	Ясно! Пасиб! Сделаю.

31.12.2007, 10:31
mudoeb	ты главное сделай чтобы можно было вставлять не только слова для поиска и последующего парсинга но и адрес который получается при поиске а с остальным можешь подождать

31.12.2007, 11:11
Adm	ты главное сделай чтобы можно было вставлять не только слова для поиска и последующего парсинга но и адрес который получается при поиске Не понял! Что за адрес? Куда вставлять?

31.12.2007, 11:23

mudoeb

ну пишешь например в поисковом окне гугла FUCK и получаешь строку

http://www.google.ru/search?hl=ru&q=FUCK&lr=

вот сделай чтобы эту строку (а не слова) можно было вставлять, нажимать на кнопку, и получать список урлов в результате парсинга

просто в строке урла можно прописать много параметров, для которых нет соответствующих операторов

31.12.2007, 11:55
Adm	Понятно. Но в принципе, можно писать такую строку в Гугле во встроенном браузере - парсинг пойдет.

31.12.2007, 12:58
mudoeb	ты чё то путаешь, короче отсутствует такая возможность, проверено так что добавь хоть эту функцию + настраиваемая задержка между обращениями к странице

31.12.2007, 14:18
seocoder	http://www.seocoder.org/2007/04/18/parser-google-za-neskolko-minut-na-delphi7/ вообще то это мой бесплатный парсер взят за основу. А как переделать его на блоге не написано, вот и нет таких фич ;)

01.01.2008, 11:33

Adm

http://www.seocoder.org/2007/04/18/parser-google-za-neskolko-minut-na-delphi7/ вообще то это мой бесплатный парсер взят за основу.
А как переделать его на блоге не написано, вот и нет таких фич ;)

Совершенно верно, идея Ваша. О чем и написан благодпрственный отзыв на соответствующей странице блога. А фич и сам навешаю - просто я не сео-спец и узнаю о том, что требуется в такой проге как раз из общения на таких вот форумах.

01.01.2008, 11:35
Adm	так что добавь хоть эту функцию + настраиваемая задержка между обращениями к странице Сделаю!

01.01.2008, 13:09
mudoeb	сделай исчо чтобы можно было вставлять список запросов и чтобы прога их проверяла

01.01.2008, 13:49

Adm

сделай исчо чтобы можно было вставлять список запросов и чтобы прога их проверяла

Т.е. - парсила не по одному запросу, а по нескольким? Будет и такое, но не сразу, ладно? Сначала - более насущные исправления. О выходе новых версий можно будет узнать, юзая прогу - над рекламкой в нижнем окне браузера буду давать соответствующую инфу.

01.01.2008, 17:32

Adm

ОБЯЗАТЕЛЬНО СДЕЛАЙ чтобы можно было вставлять не только текстовый запрос, но и адрес который получается в адресной строке например - http://www.google.ru/search?hl=ru&q=site%3Ablogspot.com&lr= < чтобы вот это можно было вставлять и парсить (а то там бывает много важных параметров, которые в поисковом поле не пропишешь)
добавь ещё кнопки пауза/продолжить и стоп

Готово. Адрес поиска можно вставлять в том же поле, что запрос, поставив галку "не передавать в браузер". Кнопки - под полем результатов. Испытывайте, пишите - где накосячил!

01.01.2008, 19:43
mudoeb	есть один косяк, прога просто так падаети после 20-30 запросов имхо на php лучше будет и быстрее

01.01.2008, 19:46
Adm	есть один косяк, прога просто так падаети после 20-30 запросов имхо на php лучше будет и быстрее Падает, видимо потому, что рандомная задержка еще не сделана. Но это - после каникул!

01.01.2008, 19:47
Adm	имхо на php лучше будет и быстрее php не знаю... А чего говорит-то при падении?

01.01.2008, 20:10

mudoeb

блин в проге косяков дофига и больше, пауза не работает, постоянные сбои, недопарс, падения (я имею ввиду как будто через ctrl alt del закрыта), короче прога сырая, я на неё время тратить не буду, сам тестируй и до ума доводи

А чего говорит-то при падении?
ничего не говорит, раз и нет

имхо на php лучше будет и быстрее
php не знаю...
я про себя говорю

02.01.2008, 00:25
Adm	ничего не говорит, раз и нет так не бывает!

11.01.2008, 12:01

Ar2r

Автор программы вроде забил на прогу :-)

Написал аналогичную прогу, но на C#
Добавил динамически генерируемое время между запросами. от 1 секунды до 15 секунд.
+ Добавил фишку, чтоб не по одному запросу перебирались все страницы, а вперемешку.Список из 500 запросов хорошо парсит.

11.01.2008, 13:02
Adm	Не забил! Есть обновленная версия, ссылка видна в "подвале". Там пока нет возможности задавать список запросов и рандомной задержки, но будет. Ща занимаюсь прогой для обработки txt-баз. Тоже, вроде, нужная весч...

12.01.2008, 13:20

Ar2r

Не забил! Есть обновленная версия, ссылка видна в "подвале". Там пока нет возможности задавать список запросов и рандомной задержки, но будет. Ща занимаюсь прогой для обработки txt-баз. Тоже, вроде, нужная весч...

Думаю нужно чтоб прога умела открывать txt базу запросов, парсила их по очереди например.
+ возможность остановить процесс парсинга и сохранить список запросов из которого будут удалены все отпарсеные запросы или метку поставить какую-то =))) :)):)):))

14.01.2008, 08:36
Adm	+ возможность остановить процесс парсинга... В новой версии есть кнопки "Стоп" и "Пауза". Остальное постараюсь учесть к следующей версии, но пока много работы на работе - некогда заняться :((

14.01.2008, 10:59

mudoeb

Adm смирись, твоя прога ацтой

Ar2r ссылку на твою прогу в студию (там кстати можно использовать список урлов которые получаются при запросе (например http://www.google.ru/search?hl=ru&q=fuck&lr=) и чтобы они парсились ? а не просто список поисковых слов)
+ если вдруг по запросу найдено 0 результатов, парсинг дальше продолжится ? а то в в agress parser иногда парсинг останавливаетс если на текущий запрос ничё нет

14.01.2008, 11:32

Ar2r

Ar2r ссылку на твою прогу в студию (там кстати можно использовать список урлов которые получаются при запросе (например http://www.google.ru/search?hl=ru&q=fuck&lr=) и чтобы они парсились ? а не просто список поисковых слов)
+ если вдруг по запросу найдено 0 результатов, парсинг дальше продолжится ? а то в в agress parser иногда парсинг останавливаетс если на текущий запрос ничё нет

Скоро выложу. Но прога написана на C# поэтоум нужен Framework от MS :cool: :cool:

Но, я еще пока не придумал какую страницу крутить во фрейме программы :-))

Но, я не понимаю чем моя прога будет улчше Agress Parser :-)

14.01.2008, 13:18
mudoeb	в agress parser парсинг останавливается если на текущий запрос не найдено результатов и нельзя парсить список собственных адресов