| 09.02.2010, 10:06 | Nosfer | При пасринге через Yahoo API столкнулся с проблемой, связанной с ограничением в 1000 беков.
Соответственно разбавление кеями или цифрами здесь не катит, т.к. синтаксис запроса этого просто не допускает.
Есть идеи как парсятся ~2500 беков, как например, здесь _http://la0.ru/? |
| 09.02.2010, 12:34 | imgreen | может в разное время парсить, если их очень много новых появлется, то другие уже будут... |
| 09.02.2010, 12:42 | Dux | ну значит парси не через Yahoo API :) |
| 09.02.2010, 12:43 | imgreen | так он и не через API отдает только 1000
или есть какой-то способ получить больше? |
| 09.02.2010, 14:20 | Nosfer | Трабла в том что через АПИ много вкусных ключей.
Не через апи так:
_http://search.yahoo.com/search?p=1+linkdomain:google.com+-site:google.com&fr2=sb-top&fr=yfp-t-832&sao=1
_http://search.yahoo.com/search?p=2+linkdomain:google.com+-site:google.com&fr2=sb-top&fr=yfp-t-832&sao=1 |
| 09.02.2010, 15:38 | imgreen | Трабла в том что через АПИ много вкусных ключей.
Не через апи так:
_http://search.yahoo.com/search?p=1+linkdomain:google.com+-site:google.com&fr2=sb-top&fr=yfp-t-832&sao=1
_http://search.yahoo.com/search?p=2+linkdomain:google.com+-site:google.com&fr2=sb-top&fr=yfp-t-832&sao=1
1000 линков и есть |
| 09.02.2010, 16:38 | Ka82 | 1000 линков и есть
да, 1000 в одном запросе, 1000 в другом, но результаты немного разные, в итоге больше 1000 результатов |
| 09.02.2010, 16:42 | Dadee | жжоте бля
ТС кури мануал. там всё написано. выпаршивается скока есть.
у тебя на аватаре лицо умное умное, а читать не умеешь. :)) |
| 09.02.2010, 17:34 | Hector | дайте ссылку на этот апи и мануал плиз |
| 09.02.2010, 17:46 | Hector | тут сказано лимит вообще 100
http://developer.yahoo.com/search/siteexplorer/V1/inlinkData.html |
| 09.02.2010, 19:01 | Dadee | [del] |
| 09.02.2010, 20:47 | Nosfer | start integer: default 1 The starting result position to return (1-based). The finishing position (start + results - 1) cannot exceed 1000. |
| 09.02.2010, 22:45 | imgreen | del |
| 09.02.2010, 22:47 | roots | Это (http://developer.yahoo.com/search/boss/) раньше решало проблему ограничения. Сейчас не знаю, если честно, может что и поменялось. |
| 09.02.2010, 23:24 | Hector | [del]
del
черти ) |
| 10.02.2010, 20:45 | Nosfer | Это (http://developer.yahoo.com/search/boss/) раньше решало проблему ограничения. Сейчас не знаю, если честно, может что и поменялось.
На BOSS тоже стоит ограничение в 1000 результов, хоть это и не прописано в документации явно. Укажи хоть 20000, он покажет начиная с 950.
Если есть желающие убедиться и кому лень регать ключ могу скинуть в личку свой.
Из ключей, доступный при работе с ним есть:
entire_site
omit_inlinks
start
count
format
callback
sites
Думаю, набрав список страниц домена и отпарсив беки по точному урлу с ключем entire_site=0 можно собрасить список из более чем 1000 урлов для опр. домена, но решениче кривоватое и больше ничего в голову не лезет. |
| 10.02.2010, 20:50 | imgreen | На BOSS тоже стоит ограничение в 1000 результов, хоть это и не прописано в документации явно. Укажи хоть 20000, он покажет начиная с 950.
Если есть желающие убедиться и кому лень регать ключ могу скинуть в личку свой.
Из ключей, доступный при работе с ним есть:
entire_site
omit_inlinks
start
count
format
callback
sites
Думаю, набрав список страниц домена и отпарсив беки по точному урлу с ключем entire_site=0 можно собрасить список из более чем 1000 урлов для опр. домена, но решениче кривоватое и больше ничего в голову не лезет.
подтверждаю, через BOSS тоже максимум 1000 отдает |
Работает на vBulletin® версия 3.8.6. Copyright ©2000-2011, Jelsoft Enterprises Ltd. Перевод: zCarot
|
