генерация уникального контента [Архив] - Форум успешных вебмастеров

Просмотр полной версии : генерация уникального контента

14.04.2008, 00:52

sx000

14.04.2008, 01:20
Dem0kratizat0r	Ты полагаешь, что генератор сделает контент лучше переводчика ? Было бы интересно нечто типа синонимайзера с элементами искусственного интеллекта, чтобы синонимы нормально вписывались в тематику текста.

14.04.2008, 01:20

spomoni

Лови

------------------------

Сначала парсит и скачивает первую десятку гугла,
потом на ее основе генерит
нужное кол-во страниц цепями Маркова.

Error_Reporting(E_ALL & ~E_NOTICE);
class textGenerator
{

/************************************************** ****************************************

Эта функция отвечает за закачку заданного списка
URL с веба. Можете ее править по своим нуждам
(делать через неблокирующие сокеты, если cURL на сервере нет, например)
************************************************** ****************************************
/
function download($urllist)
{
$mh = curl_multi_init();

foreach ($urllist as $i => $url)
{
$conn[$i]=curl_init($url);
curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1);
curl_setopt($conn[$i],CURLOPT_FOLLOWLOCATION,1);
curl_setopt($conn[$i],CURLOPT_MAXREDIRS,2);
curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,10);
curl_setopt($conn[$i],CURLOPT_HEADER,0);
curl_multi_add_handle ($mh,$conn[$i]);
}

do
{
$n = curl_multi_exec($mh,$active);
}
while ($active);

foreach ($urllist as $i => $url)
{
$con = curl_multi_getcontent($conn[$i]);
$res[$i]= $con;
// file_put_contents("debug/$i.html",$con);
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
}
curl_multi_close($mh);
return $res;
}

/************************************************** ****************************************

Эта функция парсит URL с первой страницы гугла по данном запросу.
И качает их функцией download.
************************************************** ****************************************
/
function parse_texts($q)
{
$q = urlencode($q);
$q = 'http://www.google.com/search?q='.$q;
$goo = file_get_contents($q);
$regexp = '/<a href=\"?([^\s\"]+)\"? class=l>/';
preg_match_all($regexp,$goo,$res);
$urllist = array();
for ($i = 0; $i<count($res[1]); $i++)
{
$urllist[] = $res[1][$i];
}

$ar = $this->download($urllist);
// var_dump($urllist);
return $this->clear_up_texts($ar);
}

/************************************************** ****************************************

Эта функция чистит массив с текстами от тегов для оформления текста.
Чтобы из него выжать как можно больше именно текста, подходящего для источника
генерации.
************************************************** ****************************************
/

function clear_up_texts($texts)
{
$tags = array('A', 'ABBR', 'ACRONYM', 'ADDRESS', 'AREA', 'B', 'BDO', 'BIG', 'BLOCKQUOTE', 'BR', 'CITE', 'CODE', 'DEL', 'DFN', 'EM', 'EMBED', 'H1', 'H2', 'H3', 'H4', 'H5', 'H6', 'HR', 'I', 'IMG', 'INS', 'LI', 'MAP', 'MARQUEE', 'OL', 'P', 'PRE', 'Q', 'SAMP', 'SMALL', 'SPAN', 'STRONG', 'FONT', 'SUB', 'SUP', 'UL', 'VAR', 'TT');

$res = array();
foreach ($texts as $con)
{
$con = html_entity_decode($con);
foreach ($tags as $tag)
{
$regexp = "/<\/?".$tag."[^>]*>/i";
$con = preg_replace($regexp,"",$con);
}
$regexp = "/<head.+<\/head>/i";
$con = preg_replace($regexp,"",$con);
$regexp = "/<script[^<]+<\/script>/i";
$con = preg_replace($regexp,"",$con);
$regexp = "/<style[^<]+<\/style>/i";
$con = preg_replace($regexp,"",$con);
$regexp = "/\s+/";
$con = preg_replace($regexp," ",$con);
$con = strtolower($con);
$res[] = $con;
}
return $res;
}

/************************************************** ****************************************

Эта функция собственно генерить тексты из массива исходных текстов.
************************************************** ****************************************
/

function generate($data, $words_co,$pages_co)
{
$result = array();
$content = "";

foreach ($data as $con)
{
$regexp = "/<[^>]+>/";
$res = preg_split($regexp,$con);
$m = 0;
foreach ($res as $kusok)
{
if (strlen($kusok)>$m)
{
$m = strlen($kusok);
$ms1 = $kusok;
}
}
$m = 0;
foreach ($res as $kusok)
{
if ((strlen($kusok)>$m)&&($kusok!=$ms1))
{
$m = strlen($kusok);
$ms2 = $kusok;
}
}
$itog = strtolower("$ms1 $ms2"
$content.="$itog ";
}
$regexp = "/[^a-z0-9]+/";
$content = preg_replace($regexp," ",$content);
$regexp = "/\s+/";
$temp = preg_split($regexp,$content);
$words = array();
for ($i = 0; $i<count($temp)-1; $i++)
{
if (!$words[$temp[$i]]) $words[$temp[$i]] = array();
$words[$temp[$i]][] = $temp[$i+1];
}

for ($i = 0; $i<$pages_co; $i++)
{
$r = rand(0,count($temp));
$w = $temp[$r];
$con = "";
for ($j = 0; $j<$words_co; $j++)
{
$r = rand(0,count($words[$w])-1);
$word = $words[$w][$r];
$w = $word;
$capit = false;
$r = rand(0,1000);
if (($r>100)&&($r<180)) $capit = true;
if ($capit)
{
$con.=".";
$word[0] = strtoupper($word[0]);
}
$con.=" $word";
}
$result[] = $con;
}
return $result;
}

}

?>

<?

/************************************************** ***************************************

Файл - пример использования.
Использование: вызываете из своего скрипта функцию
$gen->generate(запрос_в_гугл,количество_слов_на_стра ницу,количество_страниц_необходимых);
Например:
$gen->generate("windows articles",300,5);
И эта функция возвращается массив с текстами нужной длины.
Предварительно надо создать, естественно, объект $gen:
$gen = new textGenerator();

Т.о. пример вернет массив из 5-ти элементов по 300 слов в каждом элементе.
************************************************** ****************************************
/

//include('textgenerator.class.php');
$gen = new textGenerator();
$data = $gen->parse_texts("windows article"
$texts = $gen->generate($data,500,5);

foreach ($texts as $text)
{
echo $text;
echo "<br><hr><br>";
}
?>

14.04.2008, 03:18
div72™	потом на ее основе генерит нужное кол-во страниц цепями Маркова. И это нормальный читаемый контент?

14.04.2008, 03:23
inferno[DGT]	spomoni, самоубейся

14.04.2008, 03:36

miller

Хотелось бы побеседовать и обсудить, хотелось бы написать генератор уникального контента, вразумительного качества, переводчики понятно, но там оно как переведет так переведет хоть стой хоть падай... техника не стоит на месте давайте поделимся мыслями

это фантастика

14.04.2008, 07:42

banzai

14.04.2008, 11:43

pina

Ни когода не понимал смысла использования цепей Маркова в генерации контента. Сгенерить контент вразумительного качества машиной на мой взгляд практически не возможно... пусть хоть у нее n процов и n гигов оперативы.

Как вариант генерации это разбиение текста на предложения.
1. Мешанина простых предложений внтри одного сложного предложения и мешанина самих исходных предложений...
2. Ну или просто перемешать все предложения без всяких предварительных действий...

И вуаля - уникальный контент. А поисковик сам решит что показывать в сниппете :)

PS : Это далеко не идеал, но в данный момент я двигуюсь именно в этом направлении
PPS : spomoni, функцию clear_up_texts, точнее тот момент где убираются теги, можно упростить хотя бы так
<?php
strip_tags($str);
?>

14.04.2008, 13:01

banzai

14.04.2008, 15:45

sx000

цепи тут как бы не канают вообще оно не читаемо в принцыпе. Переводчик это тот же марков, замена синонимов, ну тут как бы есть над чем поработать, но там куча НО на самом деле. Просто на многих блогах я видел что пишут мол мы генерируем читаемый контент. Тот же киви писал где то, что у них генерируется контент хороший.

14.04.2008, 16:41

inferno[DGT]

Ну у меня тоже генерируется хороший... Но сколько времени и сил на это было положено.... Да и совершенству нет предела, потому что появляются всегда новые идеи. Можно обратиться в НИИ и за 20-30К зелени заказать у них исследование на эту тему... ;) Они все равно сейчас без работы сидят. Где денег взять? Найти спонсора, если сам не хочешь им быть. Он выделит гранд на исследования и работа пойдет. Нет ничего невозможного.

14.04.2008, 19:18

sx000

Инферно, я пытался найти таких людей которые грамотно с точки зрения НИИ подойдут к вопросу, ты просто не представляешь сколько у них моральных и этических соображений на самом деле, и они прекрасно понимают для чего именно нам это все дело. А то что говорят мол хороший текст генериться, ну я могу сказать так - проведя месяц в поиске информации и учитавшись форумов до сблева на эту тему, реально даже если крутить нейронные сети мало чего можно получить - читаемого. И если стоит цель скажем забанить ресурс его забанят по стуку. Я все таки продолжаю искать варианты генерации нормального контента. Думаю оно есть, но паблик хрен два. Инферно если у тебя есть таке люди из НИИ которые реально смогут оценить и написать грамотный анализ исходя из которого будет выявлен тем же НИИ грамотный алгоритм работы почему бу и не посотрудничать в этом плане, все равно рано или поздно мы к этому придем.

14.04.2008, 19:39
WebNinja	получают уже контент уникальный читаемый. НИИ нахуй все патенты уже есть. Лингвисты без дела не сидят.

14.04.2008, 19:59

sx000

Я же говорю что есть, елки палки. Патенты если есть то реально в патентной части все расписано, осталось только выяснить где почитать про данный патент. Я готов выкупить такую технологию реально за приличные деньги ... за очень приличные.

14.04.2008, 20:49

TerVer

sx000 ты поределись,
уникальный для СЕО, читаемый (наклонения предлги падежи, но смысл бред), или уникальный для чела %), но это анриал. Получается пхаем туда энциклопедию, учебники по предмету а он нам диссер на выходе :)
Если будешь связываться с НИИ, то будь готов к кидку, распишут так тебе все, что не дое..ся, а смысла ноль.

14.04.2008, 20:58

Dadee

+1 в нии ебут мосг.
помню как мне академик внушал, что мол нихуя у тебя неправильная структура диплома. надо чтобы обе части были соразмерны не только в количестве страниц, но и в количестве подразделов. и неибет что по смыслу куски разбивать нелогично... Пришлось налить воды и добавить мути, вот так делается большая наука под эгидой Юнеско, с целью рубануть грант.

sx000 купи продукт у инферно или вацлава, раз реально есть приличные деньги.

14.04.2008, 21:11
inferno[DGT]	Народ, вы ибанулись :) Не туда копаете! Копайте НЕ в сторону генерации, а в сторону преобразования текста! Просто из гавна котлетку не слепишь а вот большой вкусный пирог можно разделить на части.... Смысл понятен?

14.04.2008, 21:14
sx000	инферно согласен с тобой полностью, жалко у тебя аси нет в профили хотя и у меня ее нет :)

14.04.2008, 21:16

sandy

14.04.2008, 21:17

sx000

Dadee инферно не продаст, а если и продаст то вторичную версию без фишки. Ну я бы так сделал. Мне тока дай пулемет в руки :) он же сам пострадает от наплыва и потеряет на рыке процент превосходства если у него есть оная технология. Так что по сути тут каждый за себя но общие моменты продвижения огласить можно.

14.04.2008, 21:20

sx000

машинногенерируемый контент все равно ведь будет бессмысленным, при нынешнем уровне развития искусственного интеллекта.
так что возможно лишь взять существующий текст и сделать его уникальным с точки зрения поискового робота, при этом не потеряв смысла. имхо надо копать в сторону искусного синонимайзинга
Ох уж ёти синонимайзеры епрст, не поверишь сколько я перебрал их, даже лингивста привлекали. Ой как тяжко оно очень тяжко. Ну как бы успокаивает то что тяжко - исполнимое :) Наверное в ближайшее будущее придеться посдаить прогера под это дело с лингвистом и некторыми собранными наработками и информацией. К стати синонимайзинг гугль по сути ловит мне кажеться,оно не дурак далеко. К синонимайзенгу надо крутить еще что то.

14.04.2008, 21:24

inferno[DGT]

sandy, даже больше не синонимайзинга... Лучше и качественнее получится текст, если популярные словоформы исходного текста заменять релевантными словоформами из некоего индекса... Это могут быть совсем не синонимы ну или синонимы, но в оочень удаленном представлении.

15.04.2008, 08:05

deschain

inferno[DGT], согласен. Сами разрабатываем систему создания текстов примерно по такому же принципу. Пока получается неплохо, тексты читабельны и логичны, но есть над чем работать.

Неужели, никто не слышал про какую-то российскую разработку, которая, якобы сама написала роман и книжку сейчас будут издавать, или уже издали. Так вот, по словам разработчиков, программа не сама генерировала текст, а по сути, компоновала из кучи других текстов, которые забили в неё разработчики.
Мне кажется, что работать с уже написанным текстом намного проще и лучше получится, нежели его генерировать с нуля :)

15.04.2008, 17:28
RoMel	Мне кажется, что работать с уже написанным текстом намного проще и лучше получится, нежели его генерировать с нуля :) +1 из говна конфету труднее сделать

16.04.2008, 22:27

sx000

Да то понятно deschain, я не слышал про такую разработку :) покажи линк если не секрет. По смешиванию контента: я малость не могу понять что с чем мешать, брать однородный текст и его мешать? Или брать несколько разнородных текста и мешать их? Логика... не могу понять.

17.04.2008, 06:43

Artisan

Если кому интересно, есть готовая сочинялка текстов на основе цепей Маркова с большим участком зацепления для лучшего смысла, сочинялка может гладко вставлять в тексты желаемые ключевые фразы, это сервер типа MySQL с кэшированием часто используемых участков для ускорения, большой участок зацепления требует много текстов для обучения и много места на диске для хранения модели, к серверу могут обращаться клиенты из PHP и других систем программирования, если есть спрос на такое изделие то можно его улучшать согласно пожеланиям трудящихся.

17.04.2008, 08:20
deschain	sx000: http://www.fontanka.ru/2007/12/07/078/ Чем там дальше дело закончилось - без понятия.

17.04.2008, 08:40
medar	Вранье это. Невозможно написать читабельный роман таким способом.

17.04.2008, 08:49
Artisan	Вранье это. Невозможно написать читабельный роман таким способом. На уровне мыльных сериалов вполне возможно, если будет спрос то можно этим заняться, ...

17.04.2008, 09:09
deschain	Artisan, покажи хотя бы примеры текстов, что у тебя там получаются.

17.04.2008, 09:52
Artisan	Artisan, покажи хотя бы примеры текстов, что у тебя там получаются. Сейчас подниму сочинялку из архива, немного обучу модель, и напишу здесь что получается.

17.04.2008, 10:25

Artisan

Ниже примеры сочиняемых текстов, модель обучалась на KJV Старом Завете, величину участка зацепления можно настраивать, чем больше зацепление тем лучше смысл, но надо больше текстов для обучения, и больше места для модели.

Now these are the generations of Adam. In the day that the LORD God walking in the garden in the cool of the day; and Adam and his wife hid themselves from the presence of the LORD God formed every beast of the field; upon thy belly shalt thou go, and dust shalt thou return. And Adam called his wife's name Eve; because she was the mother of all living. Unto Adam also and to his offering he had not respect. And Cain was very wroth, and his countenance fell. And the LORD said in his heart, I will not again curse the ground any more for man's sake; for the imagination of man's heart is evil from his youth; neither will I again smite any more every thing living, as I have done. While the earth remaineth, seedtime and harvest, and cold and heat, and summer and winter, and day and night shall not cease.

Thus the heavens and the earth were finished, and all the cattle that was with him in the ark. And Noah builded an altar unto the LORD; and took of every clean fowl, and offered burnt offerings on the altar. And the LORD said unto Cain, Why art thou wroth? and why is thy countenance fallen? if thou doest well, shalt thou not be accepted? and if thou doest not well, sin lieth at the door; and unto thee shall be his servant; God shall enlarge Japheth, and he shall dwell in the tents of Shem; and Canaan shall be his servant. And Noah lived after the flood three hundred and fifty days.

17.04.2008, 10:34
deschain	Я так понимаю, данная "сочинялка" просто берет, выдирает из текста куски, мешает их между собой и всё?

17.04.2008, 10:41

Artisan

Я так понимаю, данная "сочинялка" просто берет, выдирает из текста куски, мешает их между собой и всё?

Типа того но делает это тщательно. В модели сохраняются частоты сочетаний слов, поэтому каждый участок сочиняемого текста, величина которого меньше или равна величине зацепления, будет сохранять верную частоту сочетаний слов из исходных текстов, если величина зацепления достаточно велика, то сохраняются основные синтаксические элементы, то есть получается бред, но верный в смысле правописания, и синие бананы согласно исходным частотам сочетаний слов тоже сочиняться не будут.

17.04.2008, 10:53
WebNinja	Нормально =) если текст уникальный получается под сплоги пойдет :peace:

17.04.2008, 11:04

Artisan

Нормально =) если текст уникальный
получается под сплоги пойдет :peace:

Уникальность можете сами оценить, взять с проекта Гутенберг KJV Библию и сравнить с тем что сочинилось. Сейчас модель обучалась только на части Ветхого Завета, если обучать модель на многих разных текстах, то получится лучше в смысле уникальности.

http://www.gutenberg.org/etext/10

17.04.2008, 18:55
div72™	Помоему дешевле здесь брать copyrait.ru. И уникальность и читаемость. Осталось найти аналог (по ценам) на английском ;-)

17.04.2008, 20:46

Artisan

Помоему дешевле здесь брать copyrait.ru. И уникальность и читаемость. Осталось найти аналог (по ценам) на английском ;-)

Стоимость одного сочинения зависит от полного количества сочинений, если надо быстро сочинять много текстов, то механические сочинялки выполнят задачу лучше чем люди, а если есть спрос, то качество механического сочинения можно улучшать.

19.04.2008, 01:41

alexf2000

Типа того но делает это тщательно. В модели сохраняются частоты сочетаний слов, поэтому каждый участок сочиняемого текста, величина которого меньше или равна величине зацепления, будет сохранять верную частоту сочетаний слов из исходных текстов, если величина зацепления достаточно велика, то сохраняются основные синтаксические элементы, то есть получается бред, но верный в смысле правописания, и синие бананы согласно исходным частотам сочетаний слов тоже сочиняться не будут.

Чем это от маркова отличается? Приведенный пример - очевидный бред, марков из большой и толстой книги сделает тоже самое. Вот что АВТ сделал из "Медиа Сапиенса":

Пару синяков поставили. Мне не понял, что не мой, Федор Иванович, вы понимаете, их авторы, молодые, талантливые из за твоей - А ты Прометей или нет? Интересно, который час? Сколько ещё до мелочей, а хорошие люди, те, кто м что в малом они и пение зимних и утыкаюсь в комнату. В это время этот момент. А при - ржёт Сашка. - русский солдат". Эти тоже улыбаются. У в "Коммерсанте". Позвоню "Зевса". "Автомат временно не менее, - самое сраненькое дельце может быть, такие русской общественной мысли. глаза. Я хочу им - преступление. Вербицкий отпил кофе. Сделал паузу и у в восточных единоборствах, братва заставляет беспризорников барыжить наркотой, наши дети жить в +1 nikjnadezda Идиоты. Примавера, Исходя из этого прапора, главное - это данные, которые думали, что это на веру. В этом и есть пример. Народ повёлся.

19.04.2008, 03:00

alexf2000

Кое-что подфиксил, ещё лучше стало:

Такие уж точно. Особенно учитывая то, что аудитория навеки наша. Я на воздухе - все развалил. А как узнать, чем дышит контора, - посетите сначала курилку, потом туалет. Там четверо мужиков: - Антох, ты чего, мы же выяснили, что для тебя есть кто стоит заставлять себя в своей квартиры, на утренние эфиры? Может, такие спят днём? Или это просто надеюсь. Я лежу с его работой: от ведущего на котором девушка в деловом костюме озвучивает биржевые котировки. Я медленно вещал Сванизде, который, как мне кажется, ты загнул сильно, а в другое СМИ телевидение обязано отвечать нуждам и спешат на работу. У них сразу о третьем сроке Аннотация Талантливому специалисту по пиару, "медийщику", в принципе всё равно, на кого то близкого потерял. - Опасная тема, - истинная сущность рекламы. Ты думаешь, это серьёзно? - first:" Я слышу бодрый голос телеведущего программы новостей на самом деле дилеров. Реально они и вовсе не слышит. "Девятка" сдаёт задом, водительское окно ты выбрасывать не понял. Оттого и сами способны солгать, ну а уж потом ещё в принципе всё про всё у старых советских диссидентов. Между тем разница аудитории, сколько собраться людям? - ещё и уголовное дело по профессии и школы доставляет ему объяснил, как я в основном "там". Ну, ты вчера вечером не жду никаких продвижений. Мы занимаемся обычными для Интернета. - отвечаю я, - но возвращение к офису. Выключив радио, бегаю по ФМ диапазону в детские сады и школы и свеж. Он активно балаболит с гостем программы - биржевым брокером. Телевизор демонстрирует их родной завод, так как сами себе, занимаясь реальными вещами, а не иллюзиями. Йозеф Геббельс не хорош?

19.04.2008, 05:56

Artisan

Чем это от маркова отличается? Приведенный пример - очевидный бред, марков из большой и толстой книги сделает тоже самое. Вот что АВТ сделал из "Медиа Сапиенса":

Я написал выше что сочинялка основана на цепях Маркова но делает это тщательно, она отличается от часто используемых простых вариантов возможностью настройки большого участка зацепления для улучшения смысла, и возможностью использования большого количества изучаемых текстов для улучшения уникальности, при этом частоты сочетаний слов изучаемых текстов сохраняются, делая сочиняемый текст больше похожим на человеческий. Кроме того сочинялка может гладко вставлять в сочиняемый текст желаемые ключевые фразы, то есть сочинялка может быть использована как основа для робота, чтобы например имитировать общение на форумах.

19.04.2008, 06:14

Artisan

Кое-что подфиксил, ещё лучше стало:

Похоже что Ваш вариант сочинялки использует величину зацепления одно слово, у моего варианта величина зацепления может быть больше, что улучшает качество сочинения. Если Вы сделаете больше величину зацепления, то для малого количества изучаемых текстов получится большая повторяемость исходных текстов, чтобы улучшить уникальность надо будет изучать больше исходных текстов.

19.04.2008, 06:28
alexf2000	> Похоже что Ваш вариант сочинялки использует величину зацепления одно слово "Зацепление" это что за терминология? :) У меня длина цепочки слов может быть от 2 до 4, случайно выбирается

19.04.2008, 09:38

Artisan

> Похоже что Ваш вариант сочинялки использует величину зацепления одно слово

"Зацепление" это что за терминология? :) У меня длина цепочки слов может быть от 2 до 4, случайно выбирается

Общий участок цепи Маркова, который
соединяет вместе начало и продолжение,
поясняющий пример написан ниже.

Чем больше величина участка
зацепления, тем лучше качество
сочинения, но чтобы при большом
участке зацепления не сочинялся
сам исходный текст, сочинялке
надо изучать много разных
исходных текстов.

Уровень воды определяется
нижней дыркой, если величина
участков зацепления выбирается
случайно, то качество сочинения
будет согласно наименьшему
участку зацепления.

Вагонные споры последнее дело,
когда больше нечего пить.

1 = величина зацепления

Вагонные споры
споры последнее
последнее дело,

2 = величина зацепления

Вагонные споры последнее
споры последнее дело,
последнее дело, когда

19.04.2008, 10:42

Lovec

alexf2000,
Ты реально заебал со своим марковым. Марков рулил в году, этак, 2006м.
Сейчас твой дорген с марковкой нахуй никому не нужен, пойми. Вместо того, чтоб позориться по форумам, лучше бы нормальный алгоритм написал. Гляди в сторону Леззвия, DMI и Джонн22.

19.04.2008, 11:03
analgin	Морковка рулила тогда когда паблик генераторов еще не было :)) и я пешком под стол ходил :))

19.04.2008, 15:12
alexf2000	Я тут свой дорген никому не предлагал, не понял наезда. Посмотрим что админы скажут.

19.04.2008, 20:36

kiwi