Долгожданный релиз парсера :)
Скрипт абсолютно новый.
Ядро скрипта написано на языке - python.
Админка, для удобства устaновки на php.

Скрипт логически разделен на два типа: парсинг и фильтрации.

Модули парсинга:
Google: 1000 результатов с запроса, 100 страниц на выдаче, использование разных data центров.
Yahoo: 1000 результатов с запроса, 10 страниц на выдаче.
Yahoo site explorer: 1000 результатов с запроса, 100 страниц на выдаче. Операторы: link, linkdomain, site
Live: 1000 результатов с запроса, 200 страниц на выдаче.
Все модули поддерживают:
- многопоточность;
- парсинг с прокси, задержкой;
- маскировка под сотни браузеров;
- gzip сжатие (увеличивает скорость и снижает потребление трафика);
- все операторы языка запросов для каждого поисковика;
- возможность использовать любые языки для составления запросов;
- удаление дубликатов по домену и по строке;
- полное логирование всех действий.

Модули фильтрации:
Regexp match: Выборка url'ов по регулярным выражениям, возможность замены подстроки.
Ping: Отбирает url'ы по статусу ответа 200, 301, 302 и т.д.
PR: Производит выборку url'ов по google page rank.
Scan: Сканирует ресурсы на предмет вхождения искомой строки (регулярного выражения).
Все модули поддерживают:
- многопоточность (для некоторых не актуальна);
- полное логирование всех действий.

Кроме того:
Четкое разделение заданий: парсинг и фильтрация.
Система запросов и подзапросов (доп. запросов).
Легкое внедрение вариаторов - им может быть любой фаил.
Система профайлов.
Средство для роботы с файлами;
В скрипт встроено средство для роботы с прокси.
Его возможности:
- cкачивание прокси с url'ов;
- многопоточная проверка на активность - пинг;
- запуск вручную и через cron;

Требования:
- unix подобная ос - linux, freebsd, mac os и т.д.
- php 4.х или 5.х с необходимыми директивами php.ini (проверяются скриптом);
- python, желательно последней версии - 2.5.1;
- apache 1.3.x или 2.x.x;
- браузер для управления (рекомендуется firefox, opera, safari).

Цены:

Основной системный модуль (движок): 70$

Модули парсинга:
Google: 20$
Yahoo: 20$
Yahoo site explorer: 25$
Live: 25$

Модули фильтрации:
Regexp match: 20$
Ping: 20$
Check PR: 25$
Scan for match: 25$

Для старых клиентов бонус: модули, которые у вас были - бесплатно (кроме системного)
Для владельцев dmii доргена скидка 15%.

Контакты:
e-mail: aura.proff at gmail dot com
сайт проекта: http://auraproff.biz

чочо потестить?

Да, не помешало бы кому-то потестить и отписаться, т.к. Аура 2 так толком и не работала, и не у меня одного.

Python стандартные модули использует? Всмысле не придется pycurl напр. ставить?

1. Парсер все стандартное использует, ставить ничего не надо,
толькос сам python если его нет.
2. Протестить - пожалуйста. Вообще:
Если у кого были проблемы с предыдущими версиями - на период теста парсер можно бесплатно, а потом уже решать oб обновлении. Главной проблемой было то что тот софт был не мой, в отличии от aura proff. С автором оригинала связаться с осени нельзя :(

Люди постоянно спрашивают о нагрузке.
Python большего всего грузит virtual memory.
Вот скрин 100 потков, парсинг с прокси гугла:
http://picasaweb.google.com/aura.proff/AuraProffScreens/photo#5171192343781806610

Готово первое обновление парсера.

Основные изменения

- Увеличилась “интеллектуальность” парсинга: скрипт в процессе работы определяет перспективность запросов, например, если по запросу blabla нет результатов, то и их и не будет на blabla site:com; более глубоко распознает ответы поисковиков, что помогает ускорить парсинг.

- В связи с этим - более подробное логирование, а так же конечный анализ парсинга, где определяется скорость, качество запросов и эффективность прокси.

- По окончанию процесса как парсинга, так и фильтрации, скрипт посылает оповещение на e-mail (это и было в первой версии, но не было упомянуто)

- Модуль Scan был существенно обновлен: теперь скрипт может проследовать по ссылкам на странице, и, если новые страницы подходят по критерию поиска - добавить их; критерий отбора ссылок для изучения задается регулярным выражением, что в совокупности дает отличный инструмент для поиска чего либо на сайте, например форм.

- В панели управления добавлены инструменты для работы с файлами, такие как соединение, разделение, уникализация файлов, удаление по подмаске и др.

- Исправлены недочеты, обновлен установщик.

Так же появился новый модуль/бонус: Snipets - он собирает первые 100 снипетов у гугла по запросу; модуль бесплатный, для тех у кого есть модуль Google.

Обновление доступно клиентам: для получении новой версии нужно нажать большую серую кнопку Download в зоне для клиентов :)

Закончено очередное обновление парсера :)

1. Введены подробные настройки для каждого модуля фильтрации и парсинга.

2. Проверка PR возможна с прокси, введены соответствующие настройки.

3. Обновлен скрипт сбора прокси, теперь он может работать с очень большим количеством прокси.

4. Установщик скрипта стал более гибок и универсален.

Готовится большое обновление, изменения коснуться парсинга, а так же будет создан новый модуль Trust - траст чекер.

Да, не помешало бы кому-то потестить и отписаться, т.к. Аура 2 так толком и не работала, и не у меня одного.

скрипт полная противоположность ауре 2. :))

скрипт полная противоположность ауре 2. :))

Да и DMI - тоже полная противоположность Synthetix'у, который оказался безответственным человеком.

Dmi динамщик еще тот, в аське отмалчиваться только может
короче нереспект ему

Dmi динамщик еще тот, в аське отмалчиваться только может
короче нереспект ему

Ну я свое мнение высказал, так как меня он всегда консультировал. :)

Введена поддержка прокси с авторизацией, их нужно использовать точно так же как и обычные.
Формат: login:pass@ip:port, обычные прокси по прежнему в дейставии)

Введена поддержка прокси с авторизацией, их нужно использовать точно так же как и обычные.
Формат: login:pass@ip:port, обычные прокси по прежнему в дейставии)
Есть проблема. Я тебе в аську написал. Ответь, плиз...

Я вот одного понять не могу...
Была у меня Аура1. Работала, парсила отлично. Потом обновился до второй. Она тоже парсила. Но уже кое-как, т.е. почти не парсила. Теперь обновился до профф. Она тоже вроде бы парсит. Но как-то, чтоб не обидеть, примерно как и Аура2. Т.е. хреново. То ли поисковики банят, то ли хз. Короче запускаю я опять АУРУ 1 и ей напарсиваю за полдня 5 лям базу при всех остальных равных условиях. Нормальную базу, после удаления дублей 600к осталось, но это явно не предел, мне просто не надо больше. Вот обьясните мне плиз, зачем улучшать то, что и так прекрасно работает, тем более "улучшать" так, что оно становится хуже оригинала, и намного?!

а чтобы бабла срубить

Jordan, если у тебя какие то проблемы, можно связаться со мной и все.
К ауре1 и ауре2 я имею очень косвенное отношение.
Webaz у тебя какие-то проблемы? По твоей icq, что в профайле, у меня никаких логов нет, к aura proff отношение ты не имеешь, сообщи мне лично что не так, если тебе, конечно, это надо.

Dmi динамщик еще тот, в аське отмалчиваться только может
короче нереспект ему

А вот с этим не соглашусь, со мной он возился полдня пока мой ацкий крон не запустили.

у меня траблы с твоим Dmi доргеном были,
про ауру2 я уж и не говорю

Я вот одного понять не могу...
Была у меня Аура1. Работала, парсила отлично. Потом обновился до второй. Она тоже парсила. Но уже кое-как, т.е. почти не парсила. Теперь обновился до профф. Она тоже вроде бы парсит. Но как-то, чтоб не обидеть, примерно как и Аура2. Т.е. хреново. То ли поисковики банят, то ли хз. Короче запускаю я опять АУРУ 1 и ей напарсиваю за полдня 5 лям базу при всех остальных равных условиях. Нормальную базу, после удаления дублей 600к осталось, но это явно не предел, мне просто не надо больше. Вот обьясните мне плиз, зачем улучшать то, что и так прекрасно работает, тем более "улучшать" так, что оно становится хуже оригинала, и намного?!

если не секрет, прокси юзаешь паблик или покупные?
тоже юзаю сабж, скорость не ахти, в среднем 10К/час (200 потоков, с inurl)
вот я не пойму медленно из-за парсера или из-за проксей?
жаль нет возможности попробовать на ауре 1 ((

Готово новое обновление, которое затронуло основной модуль парсинга, проксичекер и модуль PR.

Общая оптимизация скрипта. Сделаны изменения в основном модуле, которые позволят увеличить скорость парсинга с использованием прокси, а так же отсев “вечно забаненных запросов“ для гуглa.

Обновлен проксичекер, скорость его увеличена, например, 17k прокси прочекано за 12 минут (таймаут 10 секунд)

Модуль PR так же оптимизирован и позволяет проверять pagerank не самой страницы а домена, а так же сделан вывод результатов в CSV файл.

Парсер отличный. Саппорт на уровне.
Спасибо Dmi за все учтённые пожелания к парсеру.

Live изменил чуть выдачу, в связи с этим - обновление. А так же небольшое обновление самого парсера.

Добавлен новый модуль парсинга Яндекса - www.yandex.ru , все стандартные функции модуля при нем.
Цена нового модуля - 15$.

Обновление модуля парсинга google.
Добавлена возможность парсинга запросов через google по разным языкам - параметр lr, например: http://www.google.com/ie?q=test&start=0&num=100&hl=en&lr=lang_de.

Для этого используется макрос !lang! который нужно вставить в доп. запросы (subqueries), маскa запроса в настройках модуля, а 36 языков в файле system/google/lang.txt. В отсутствие макроса используется 1 язык - english.

кто перевел средства с кошелька Z12...890 пусть свяжется за парсером , а то контактов не было в примечании

Все вопросы через емайл aura dot proff at gmail dot com, через icq связи нет.

Какието обновления софта планируются? Новые функции или улучшение? Просто инетрестно

Dmi а кто, кстати правообладатель Ауры-1 в данный момент? Может бесплатно её раздавать без саппорта, а люди захотят улучшений и купят третью. Просто мнение.

Формально как бы я к первой ауре отношения не имею, надо у автора спрашивать.
Обновления конечно будут.

у кого-нибудь сейчас аура фунциклирует?
у меня парсить отказывается, видать из-за того что не работает http://www.auraproff.biz

Не работает(

Воскресла:)

уху :)

Вот тут первую Ауру обсуждали, она работает сейчас у кого-нибудь? Надо мной издеваеться - напарсивает белебирды 15 результатов всё на доменах гугла да ютюба, что не введи. Такое ощущение что в Гугле что-то изменилось, вот она другие адреса и таскает..

Появились два новых модуля :)

– yahoosnipets: парсер снипетов яху
– altasnipets: парсер снипетов альтависты

Все стандартно: прокси, многопоточность; сохраняют титлы и дески в разные файлы.
Цена: по 20 $ каждый.

Таким образом парсер aura proff позволит вам парсить снипетов уже трех поисковиков (есть еще парсер снипетов гугла).

Внмание: на парсер aura proff распространяются скидкa 20% от rx-partners (http://www.rxpblog.com/antikrizisnaya-akciya-seo-soft-so-skidkoj/).

Парсер aura proff (http://auraproff.biz) скоро получит дальнейшее развитие в виде абсолютно новой версии.

В связи с этим скидки: при покупки основного модуля, модули google, yahoo, live – бесплатно.
Т.е сейчас 70 $ стоит конфигурация, которая раньше стоила 135 $.

Мои контакты: icq 280 870 084, aura.proff@gmail.com велкам!

Незабываем так же про скидки клиентам моего доргена и aposter'a.

Судя по тому, что сейчас AuraProff в принципе не может работать, но никто по этому поводу не отписался - все парсят другими инструментами. Поделитесь информацией, пожалуйста :beer:

юзаю хрефер

Судя по тому, что сейчас AuraProff в принципе не может работать, но никто по этому поводу не отписался - все парсят другими инструментами. Поделитесь информацией, пожалуйста :beer:

я ща хрефер юзаю - но аура пижже

Обновление и изменение цен.
http://dmi3.biz/aura/blog/

Обновлены технические аспекты модулей и парсера.
Существуют два варианта покупки парсера:

1. Only Parsing. Включает все модули парсинга: Google, Yahoo, Yahoo Site Explorer, Live (Bing).
Цена: 105 $

2. Parsing and Filtration. Включает все модули парсинга с модулями фильтрации: RegExp Match, Scan, Ping, Check PR.
Цена: 155 $

В связи с изменением форм продажи, все старые клиенты могут получит aura proff parsing (версия со всеми модулями парсинга), а те старые клиенты, которые купили парсера дорое чем 155 $ могу получить aura proff arsing and filtration (версия со всеми возможными модулями).

Для получение таой или иной версии, нужно написать заявку на aura.proff@gmail.com,в теме письма обозначьте название версии (aura proff parsing или aura proff parsing and filtration) и укажите свой логин и пароль клиента.

Нужен стабильный и качественный источник прокси для парсера? Попробуйте (http://www.uniplace.ru/proxy/auraparser/) прокси-сервис от uniplace.ru (http://www.uniplace.ru/proxy/auraparser/).