Система парсинга и мониторинга

eRepBox Server ver 2.7.3

eRepbox - уникальная система парсинга, мониторинга и публикации данных eRepublik. В прошлом году была начата реконструкция проекта - были внедрены эффективные методы и инструменты сбора данных. Напомним, что команда eRepbox - это сборщик железа, разработчик ПО, веб-дизайнер и прочее в одном лице. Медленно, но уверенно проект движется вперёд, достигая новых успехов и горизонтов.

Система состоит из нескольких модулей(под систем) :

  • Система отслеживания активности(СОА) - отслеживает онлайн игроков, производя парсинг с этой страницы раз в 15 минут. Приемуществом этой системы(да и всех остальных) является полное архивирование данных, т.е. можно посмотреть активность игрока за любой день и даже час.
  • Система парсинга профилей - на основе СОА создается список игроков, которых надо пропарсить. Однако парсинг профиля происходит не сразу - а через 6 часов(ближе к концу ереп дня это перестается действовать и парсятся все профили подряд). Это сделано для того, чтобы равномерно парсить игроков, которые постоянно сидят в игре, и игроков, которые заходят один раз. Так же есть принудительный режим парсинга, когда создается отдельный список игроков, который раз в 3-4 часа добавляется в общий список парсинга. Такой подход гарантирует 100% парсинг профиля за суток минимум один раз(может быть и несколько).
  • Система мониторинга ранга/силы/опыта/паков При парсинге профилей показатели ранга/силы/опыта заносятся в отдельный архив по дням, что позволяет отследить динамику показателей игрока. Главное приемущество - никаких накопительных данных, только архивные данные. Период архива не ограничивается одни месяцем. Так же в архиве хранятся данные по использованию паков, что по себе является уникальной статистикой.
  • Система таргетирования урона - уникальная система парсинга урона игроко из битв, и последующее хранение этих данных в архиве. Обращение к игровой статистике происходит раз в 15 минут. Можно в любой момент посмотреть, где, кто и сколько набил дамага. Однако стопроцентоной гарантии фиксирования абсолютно всего дамага нет. Есть некие ограничения на количество обращений к статистике битв, так же есть и игровые ограничения - если в игре дамаг не видно в статистике, система ео тоже не запишет. В обычных спокойных битвах в абсолютном большинстве случаев дамаг отслеживается корректно.
  • Весь объем данных хранится локально на сервере, и только часть публикуется на сайте. Поддержка публикации







Responsive

СЦУК v0

2009

Таблицы Excel

Think Creative

CЦУК ver 1.0

Август 2010

Программа парсинга на основе кода СЦ. Текстовая база данных.

Think Creative

CЦУК ver 2.5

Февраль 2014

Программа парсинга на основе собственного кода. Текстовая база данных. Публикация на сайте.

Think Creative

CЦУК ver 2.7

Июнь 2017

Запуск круглосуточного сервера с базой данных mySQL


Последние изменения

    ver 2.7.3

  • Запуск парсинга данных игроков: ранг,сила,опыт,авиаранг
  • ver 2.7.2

  • Запуск парсинга профилей организаций
  • Публикация статистики по активным игрокам на сайте
  • Запуск парсинга активных игроков,средней зарплаты и казны
  • ver 2.7.1

  • Запуск парсинга профилей игроков
  • Подключение сервера к базе данных на сайте
  • Запуск круглосуточного сервера сбора данных
  • ver 2.6

  • Фиксы из-за новводведений в игре
  • ver 2.5.5

  • Загрузка данных на сервер в формате JSON
  • Загрузка данных Salary на сервер
  • Загрузка данных Treasury на сервер
  • Загрузка данных Citizen на сервер
  • Загрузка данных Job на сервер
  • ver 2.5.4

  • Реализованна репликация данных мониторинга партий
  • ver 2.5.3

  • Добавлен модуль, исключающий одновременную работу нескольких экземпляров консоли в режиме монитора
  • Парсинг ID жителей и формирование Общей Базы профилей(Common Database of Profiles - CDP)
  • [alpha] Актуализация CDP по гражданству
  • [alpha] Актуализация CDP по статусу смерти(Dead)
  • ver 2.5.2

  • Загрузка общего списка счетов госорганизаций на сервер
  • [alpha] Загрузка статистики по Онлайн Индексу на сервер
  • Запущен мониторинг онлайн игроков
  • ver 2.5.1

  • Подключена аутентификация оператора в AutoSpamBot 1.1
  • Добавлена возможность работы с метафайлом и установки IE 9.0 в AutoSpamBot 1.1
  • Добавлен модуль установки Internet Explorer 9 для работы ASB 1.1
  • ver 2.5.0

  • Добавлен отдельный модуль - AutoSpamBot для автоматической рассылки сообщений
  • Подключена анти-каптча Antigate
  • ver 2.4.4

  • Загрузка файлов мониторинга govorgs на сервер
  • Запущен мониторинг государственных организаций
  • Добавлен парсинг профайла игрока
  • ver 2.4.3

  • Загрузка файлов мониторинга monetary на сервер
  • ver 2.4.2

  • Загрузка файлов мониторинга party на сервер
  • Исправленна коррекция логов мониторинга партий
  • ver 2.4.1

  • Исправлены ошибки мониторинга партий
  • Исправлены ошибки аунтификации и авторизации
  • Добавлен мониторинг используемой памяти
  • ver 2.4.0

  • Добавлен модуль обработки каптчи
  • ver 2.2.0

  • Переход от Дропбокса к FTP серверу
  • Временно отключен модуль репликации файлов, в связи с переходом на FTP сервер
  • Загрузка файлов мониторинга revenue на сервер
  • ver 2.1.0

  • Переработан графический интерфейс
  • Добавлен режим трея
  • Добавлена возможность программирования(выполнение листинга команд из файла)
  • Добавлен модуль репликации файлов на основе Dropbox для корректной работы множества пользователей.

ONLINE

Сервер собирает информацию круглосуточно.

Customization

Широкий диапозон данных доступен для парсинга, мониторинга и анализа.

Support

Для получения более подробных, старых и иных данных необходимо обратиться к администратору

  • Яндекс.Метрика