Главная > BlogBot > Презентация нового BlogBot 2.0

Презентация нового BlogBot 2.0

Новый BlogBot! Еще больше возможностей.

Новый BlogBot! Еще больше возможностей.

Рады сообщить, что мы выпустили новую версию BlogBot 2.0. Вторая версия бота существенно отличается от первой, прежде всего процессом сбора контента и его дальнейшим постингом. Если раньше можно было создать или добавить блог, добавить категории, создать для блога расписание и он начинал наполняться контентом, то в новой версии контент и блоги стали раздельными частями системы.

Теперь конетнт можно собирать без установки блога. Это удобно тем, что в последствие контент можно публиковать на любой заданный блог либо делать файл экспорта с или без отложенной публикацией, либо делать импорт в RSS, либо совершать любые другие операции над ним.

Версия 2.0 стала сложнее, но при этом функциональней, появилось много дополнительных возможностей. Но процесс получения готового сателлита практически не изменился. Алгоритм такой:

  1. Создаем категорию контента
  2. В расписании создаем задание на парсинг выдачи или RSS для получения контента
  3. Публикуем контент на блог:
    1. Либо создаем в расписании новое задание на постинг контента на заданный блог, который расположен на том же хостинге, что и BlogBot,
    2. Либо публикуем контент через файл экспорта на блог, расположенный на другом хостинге,
    3. Либо импортируем контент через RSS на другие движки, которые также могут находиться на разных хостингах.

Теперь стоит остановиться более подробно на внесенных нами нововведениях и изменениях.

Раздел «Блоги»

Раздел

Изменения в разделе «Блоги»

В раздел «Блоги» мы добавили тематику блогов, теперь можно сортировать блоги по тематике, функцию уже давно просили реализовать, что мы и сделали. Так же сюда же просили добавить ссылку на сам блог, так как по URL блога легче ориентироваться в своих сайтах, что мы и сделали. И последняя новинка данного раздела – автоматическое обновление параметров сайта.

Раздел «Категории и ключевые слова → Добавить категорию»

Добавление категории теперь тоже много чем отличается. В первую очередь мы внесли некоторые новые возможности: теперь можно указать слова, которые обязательно должны быть в заголовке статьи. Эти обязательные слова пропускаются через стемминг, поэтому можно вводить слова в произвольной форме, а не во всех. Также были добавлены поля для ввода минус слов и тегов, которыми должны маркироваться статьи из данной категории. Теги также как и обязательные слова пропускаются через стемминг, и если тег будет найден в контенте статьи, то он будет проставлен автоматически. Также как и у блогов, у категорий появился фильтр по тематике. Данный фильтр поможет быстро найти интересующую вас категорию контента.

Нововведения при добавлении категорий

Нововведения при добавлении категорий

Еще раз хочу обратить внимание на то, что теперь можно создавать категории и наполнять их контентом без добавления самого блога.

Раздел «Расписание»

Нововведения в расписании

Нововведения в расписании

В расписании также много чего поменялось. Главная новинка – типы заданий, которые можно повесить на расписание: парсинг выдачи, парсинг RSS и публикация постов.

Парсинг выдачи

Так как блоги и контент теперь разделены между собой, то и сбор контента (парсинг выдачи) теперь стоит особняком. Контет будет собираться и оседать в разделе «Контент»

Парсинг выдачи

Парсинг выдачи

Если вы хотите получать свежий контент на свои сателлиты, то вам обязательно нужно будет создавать подобные задания.

Обратите внимание на то, что интервал запуска паука уменьшился с 1 часа до 5 минут. Интервал уменьшили за счет того, что паук теперь за один запуск задания будет обрабатывать не более 3 ссылок, поэтому в лучшем случае паук будет выдавать 3 статьи за 5 минут или 36 в час. Но, это не значит, что нужно создавать 100 заданий и всем ставить интервал 5 минут, кроме большой очереди и нагрузки вы ничего не добьетесь. Чем больше заданий вы делаете, тем больше нужно увеличивать интервал между парсингом. Какой интервал выбирать зависит от хостинга и поисковых запросов, так что прежде, чем выставить оптимальный период, его придется вычислить «научным методом».

Здесь же появилось поле «Не брать контент с сайтов». Если при анализе поисковой выдачи вы видите, что в выдаче очень много мусора с одного и того же сайта, этот сайт можно исключить из выдачи, указав домен данного сайта. Кроме домена можно сделать так, чтобы отсеивались и все сабдомены, указав точку перед доменом, например: .blogspot.com.

После создания задания и его выполнения, можно отследить эффективность источников контента. Под формой редактирования задания вы увидите ссылки на выдачу Google и их эффективность: кол-во обращений к этим источникам и кол-во полученных с них статей. Таким образом, вы всегда сможете определить, какие источники лучше или хуже подходят под ваши поисковые запросы.

Парсинг RSS

В новом BlogBot 2.0 появилась возможность парсить ленты RSS. Парсинг происходит следующим образом: паук просматривает ленту и выбирает из нее все ссылки на статьи. Если указано, что паук может брать статью из ленты, если есть ее полный вариант в самой ленте, то он берет статью из ленты, иначе паук лезет на сайт и берет статью со страницы.

Парсинг RSS

Парсинг RSS

Публикация постов

Создать задание на публикацию постов также просто, как и в предыдущих версиях, только теперь достаточно указать категорию-источник контента, период и блог, куда публиковать.

Обращаю ваше внимание на то, что это задание подходит только для тех блогов, которые расположены на том же хостинге, что и BlogBot. Почему обращаю внимание именно на этот факт, потому что в BlogBot 2.0 появилась возможность публиковать контент на блогах, которые созданы на разных движках и расположены на других хостингах. Но об этом ниже.

Публикация постов

Публикация постов

На что здесь еще стоит обратить внимание? На то, что, если вы постите статьи в «реальном времени», то есть, задание на парсинг выдачи собирает статьи, а данное задание сразу публикует, то интервал между запусками последнего задания должен быть больше, чем интервал парсинга. А также если вы используете минимальные интервалы, то кол-во статей также не должно превышать 3 штук, потому как паук за один запуск обрабатывает 3 ссылки.

Так как контент отделен от блогов, то одну и туже статью можно теперь публиковать на разных блогах. Сделать это можно, отметив галочкой, соответствующий чекбокс.

Сюда же добавили возможность залинковать слова на другие сайты. Данную возможность давно уже просили на нашем форуме и ICQ.

Раздел «Тематика»

Это новый раздел, где вы можете указать тематики блогов или категорий, чтобы можно было позже сортировать блоги и контент по тематикам для быстрого поиска нужной информации.

Раздел «Создание сателлита на продажу»

В данном разделе можно подготовить файл экспорта для импорта контента в другой WP-блог. Этот блог может быть расположен на любом другом хостинге и быть любой сборки. Файл экспорта поддерживает отложенную публикацию, поэтому, если указать дату последней статьи в будущем или такой интервал между записями, при котором дата последней статьи будет в будущем, то при импорте файла, некоторые статьи будет публиковать сам блог, когда будет подходить их время. То есть блог будет самостоятельно обновляться и пинговать ПС о наличии нового контента.

Готовить такие файлы можно, предварительно насобирав для него контент, то есть необходимо сперва создать несколько заданий на парсинг выдачи или RSS.

В итоге вы получите архив с файлом экспорта и картинками, которые найдет паук. Файл экспорта импортируется в блог через админ панель блога, а картинки заливаются через FTP.

Раздел «Контент»

Вот наконец-то и добрались до самого интересного раздела. В данном разделе можно посмотреть, что за контент собирает паук, сколько раз и где он был опубликован, отсюда можно удалить мусорный контент или добавить либо удалить несколько статей вручную, перенести в другую категорию, а также здесь же можно опубликовать выбранные статьи на любом заданном блоге.

Новый раздел «Контент»

Новый раздел «Контент»

Теперь поговорим о том, как создавать сателлиты на разных хостингах.

Мы не стали заморачиваться с поддержкой xmlrpc, а сделали простое решение – это RSS полных статей. Практически любой движок в настоящее время поддерживает RSS, поэтому нет ничего проще импортировать контент в них как раз через RSS.

Структура ссылки на RSS ленту имеет вид:

http://bb.ru/rss.php?key=<key>{&category=<cat_id>}{&subcat=<subcat_id>}{&limit=<limit>}{&synonymize{&dict[]=<dict1>&dict[]=<dict2>...&dict[]=<dictN>}}{&rewrite}

Здесь параметры:

  • сategory – ID категории, если выбрать фильтр, то ссылка ID подставится автоматически, взаимоисключает тематику.
  • subcat – ID тематики, если выбрать фильтр, то ссылка ID подставится автоматически, взаимоисключает категорию.
  • limit – кол-во статей, которые выбираются за одно обращение,
  • key – ключик безопасности, чтобы кроме вас никто не смог воспользоваться RSS, формируется автоматически,
  • synonymize – синонимизировать или нет контент,
  • dicts – перечень словарей,
  • rewrite – пропускать или нет через рерайтер.

Фигурные скобочки означают, что параметр необязательный и его можно опустить.

Внимание! Данный функционал доступен только в Ultimate версии BlogBot 2.0.

Если же вы фанат движка WordPress, то BlogBot 2.0 умеет делать файлы экспорта. Я уже писал об этом выше. Таким образом, насобирав контент, вы можете моментально через файл экспорта опубликовать его на другом блоге.

Заключение

Вот собственно и все. В следующем посте расскажу как можно будет обновиться до версии 2.0. Так как чейджесов очень много, то обновление будет происходить не так гладко как раньше. Помимо того, что надо будет закачать и обновить все файлы нужно будет еще запустить специальный скриптик, который обновит структуру базы данных.

Popularity: 11%


ДЕВЧОНКИ ЭТО ЛЮБЯТ

BlogBot ,

  1. 02 Окт 2009 из 13:47 | #1

    Круто)

  2. Roman
    02 Окт 2009 из 14:13 | #2

    То есть покупаем версию 1.3 и апдейтимся бесплатно до версии 2 ? или у второй будет своя цена ?

  3. 02 Окт 2009 из 14:30 | #3

    Вот это стоящее обновление :) Новые функции очень радуют :) Ждем-с нового следующего поста.

  4. 02 Окт 2009 из 14:57 | #4

    @Nokian
    Цена меняться не будет, апдейт бесплатный.

    Обновление станет доступным в следующий вторник.

  5. 03 Окт 2009 из 8:20 | #5

    Вот это уже серьезно. Раньше казалось слишком сложным занятием, теперь можно попробовать. Но, как всегда, а не будет ли новая версия глючить?
    И жаль, конечно, что базы данных нельзя парсить. Тогда это был бы «хит».
    Но и так очень неплохо.

  6. azat
    03 Окт 2009 из 8:39 | #6

    я чтот не пойму…у вас блоги сделанные blogbot живут нормально разве? мои например АГС-17 все под фильтр завел..

  7. 03 Окт 2009 из 11:49 | #7

    azat, тьфу-тьфу, живут и не плохо :) Кстати, вот такой вопрос\совет – при экспорте записей через RSS, а в дальнейшем при импорте вместе с записями не идут метки, а это не малое количество дополнительных страниц.

  8. 03 Окт 2009 из 12:06 | #8

    Я согласен, что в последнее время стало много вылетов, поэтому и была максимально быстро разработана новая версия BlogBot с множеством новых функций.

    Здесь http://askseo.ru/category/optimization/13219.html#comment11494, один человек хорошо отписался о причине массовых вылетов:

    Последние недели две наблюдаю на форумах (серча и сапы) живое обсуждение темы о «массовом вылете сателлитов из индекса». Грубо говоря, у народа паника и недоумение. У кого вылетели целые сетки ГС, у кого даже белые СДЛ. В целом же, вылеты у ГС-ников. Яша косит «без разбору». Обсуждают разные причины: движки, регистраторов, хостинг, дизайн, контент и т.д. Это, возможно, некоторых заставило призадуматься о покупке того или иного скрипта для парсинга и уникализации контента. И есть ли смысл вкладывать свои кровные с таким разворотом событий?

    Причина вылета проста — конвеерный шаблонный подход. Сайтостроители разленились и превратились в говностроителей. Особенно это касается новичков, для которых любой робот, в том числе и BlogBot — это всего лишь кнопка «бабло». Потом жалуются, что у них все летит. Не забываете, что есть еще кнопка «мозги» и рычаги «прямые руки». Два года назад конвеер еще работал. Сейчас уже практически нет.

    Создали сателлит роботом? ОК. Не запускайте его сразу.
    1. Поработайте над контентом.
    2. Исправьте ошибки грамматики.
    3. Сделайте нормальный дизайн, добавьте графики, разукрасьте текст цветом, шрифтом и выделением.
    4. И не лепите везде стандартные облако тэгов, архив, карту сайта и вывод всей постраничной навигации на главную.
    5. Пропишите в robots.txt запреты на индексацию ненужных поисковым роботам папок и файлов, типа «wp-admin.php, wp-includ» и т.д.
    6. Посмотрите на белые проекты и возьмите интересные идеи для своего сатела.

  9. 03 Окт 2009 из 12:12 | #9

    @Nokian
    Если нужны теги, то у BB 2.0 есть возможность делать файл экспорта для WP, там и тэги и категории идут отдельно. RSS – это универсальный «импортер» контента. Можно, например, поставить на разных хостингах 3 движка: WP, DLE и MaxSite, настроить импорт и смотреть, какой сателлит себя лучше показывает.
    Возможно в будущем будут разработаны файлы экспорта и для других движков.

  10. o_nix
    03 Окт 2009 из 15:04 | #10

    Очень напоминает федмастер …
    экспорт в RSS хотелось это точно … :)

    Но у меня вот какой вопрос можноли будет не обновить ББ а поставить на тотже хост в отдельную директорию версию 2.0 и пользоваться обоими одновременно ???
    это избавилобы от многих проблем…

  11. Di
    03 Окт 2009 из 17:47 | #11

    @seobucks
    а что толку смотреть на белые проекты в такой ситуации, они то же вылетают со страшным свистом :)

  12. 03 Окт 2009 из 17:58 | #12

    @o_nix
    Если ставить на тот же аккаунт хостинга, то такое возможно.

    @Di
    В такой ситуции нужно смотреть на все 360 градусов, так как алгоритм фильтра АГС-17 еще не разгадан.

  13. 03 Окт 2009 из 20:26 | #13

    Обновление супер, спасибо.
    Но Сатоводство подорвано новым фильтром, он все звереет и звереет, очень хотелось бы еще и версию для работы с партнерками, буржуйскими сплогами, в общем развивайтесь ;)

  14. 03 Окт 2009 из 20:42 | #14

    @Сатовед
    Вряд ли такое будет продолжатся вечно. Под фильтр попадают и белые сайты, а это не хорошо и сам Яндекс, наверное, это понимает :) . Если этот фильтр АГС-17 существует уже 3 года, но заметным стал с августа месяца, то скорее всего идет какая-то временная чистка.
    Насчет буржнета, уже работаем над этим.

  15. 05 Окт 2009 из 8:35 | #15

    Появился новый кеширующий плагин от Макса – http://maxsite.org/page/maxsite-cache
    Как считаете, стоит использовать на BB?
    И очень хотелось бы узнать показания по нагрузке на ЧПУ хостинга: увеличится ли она для новой версии и на сколько?

  16. denza
    05 Окт 2009 из 9:41 | #16

    @Сатовед, я тоже так подумал, но не кто не знает сколько ещё пострадает доменов и сколько всё это будет тянуться..
    p.s. у меня вылетело 80% сателлитов на ББ. Думаю забить на месяц, пока всё успокоиться
    P.p.s. а синомайзер у вас 3 из 5, ибо у меня глюки, Но на выходе выходит почти один копипаст..

  17. 05 Окт 2009 из 10:35 | #17

    @Search Bot
    Нагрузка на CPU не должна возрасти, наоборот местами уменьшится за счет разделения сбора контента от его публикации.

    Насчет данного кеша попробовать думаю стоит, но как вам уже отвечал разработчик одного из таких плагинов, что запись на жесткий на виртуалках как раз и напрягает CPU, поэтому особого смысла не вижу.

    К тому же в новой версии бота вы не будете так жестко привязаны к хостингу с BlogBot, как написано в посте, можно будет создавать файлы экспорта для переноса контента на другой хостинг.

  18. 05 Окт 2009 из 16:47 | #18

    думаю что понравится, жду с нетерпоением!

  19. Андрей
    06 Окт 2009 из 10:01 | #19

    Обновление будет во вторник, в смысле сегодня или через неделю?

  20. 06 Окт 2009 из 11:12 | #20

    Ура! Обновление уже доступно! Щас пробуем обновится!

  21. 06 Окт 2009 из 14:36 | #21

    упс, до обеда обновление было доступным, а сейчас нет.

  1. 17 Мар 2010 из 14:11 | #1