eRepBox - О проекте
Система парсинга и мониторинга

eRepBox Server ver 2.7.3

eRepbox - уникальная система парсинга, мониторинга и публикации данных eRepublik. История сбора статистики начинается в далеком 2010 году в эпоху V1. Летом 2017 года была начата реконструкция проекта - были внедрены эффективные методы и инструменты сбора данных. Напомним, что команда eRepbox - это сборщик железа, разработчик ПО, веб-дизайнер и прочее в одном лице. Медленно, но уверенно проект движется вперёд, достигая новых успехов и горизонтов.


Система состоит из нескольких систем(модулей):


  • Система отслеживания активности(СОА)

    Отслеживает онлайн игроков, производя парсинг с этой(линк) страницы раз в 15 минут. Приемуществом этой системы(да и всех остальных) является полное архивирование данных, т.е. можно посмотреть активность игрока за любой день и даже час.
  • Система парсинга профилей

    На основе СОА создается список игроков, которых надо пропарсить. Однако парсинг профиля происходит не сразу - а через 6 часов(ближе к концу ереп дня это правило перестает действовать и парсятся все профили подряд). Это сделано для того, чтобы равномерно парсить игроков, которые постоянно сидят в игре, и игроков, которые заходят один раз. Так же есть принудительный режим парсинга, когда создается отдельный список игроков, который раз в 3-4 часа добавляется в общий список парсинга. Такой подход гарантирует 100% парсинг профиля за сутки минимум один раз(может быть и несколько).

  • Система мониторинга ранга/силы/опыта/паков

    При парсинге профилей показатели ранга/силы/опыта заносятся в отдельный архив по дням, что позволяет отследить динамику показателей игрока(однако в архиве остается лишь последнее значение). Главное приемущество - никаких накопительных данных, только архивные данные. Период архива не ограничивается одним месяцем. Так же в архиве хранятся данные по использованию паков, что по себе является уникальной статистикой.
  • Система таргетирования урона

    Уникальная система парсинга урона игроков из битв, и последующее хранение этих данных в архиве. Обращение к игровой статистике происходит раз в 15 минут. Можно в любой момент посмотреть, где, кто и сколько набил дамага. Однако стопроцентной гарантии фиксирования всего дамага нет. Есть некие ограничения на количество обращений к статистике битв, так же есть и игровые ограничения - если в игре дамаг не видно в статистике, система его не сможет отследить. В обычных спокойных битвах в абсолютном большинстве случаев дамаг отслеживается корректно.
  • Проект Air Unit

    Система отслеживания активности пилотов и их поощрения. В основном дублирует другой проект - Russian Air Squad. Проекты Air Unit и Air Squad относятся к разным системам и полностью независимы. Исторически Air Unit появился раньше, но в связи с некотороми проблемами у разработчиков eRepbox, правительство России разработало другую систему, которая используется и по сей день. Оба проекта хоть и независимы, но основаны на единых принципах и формулах. Однако формулы для каждой страны могут подбираться индивидуально по договоренности с разработчиком.
  • Некоторые примечания(оговорки)

    * Весь объем данных хранится локально на сервере, и только часть публикуется на сайте. Система парсинга и сам сайт независимы. Учитывайте это, когда предлагаете мне новые идеи.
    * Данные с локального сервера отправляются на сайт каждые 3 часа.
    * Вы можете предлагать новые идеи, которые касаются лишь публикации данных на сайте. Система сбора данных может меняться только по усмотрению разработчика(меня). Рецепт прост - если собираемые данные не устраивают вас - есть альтернативные проекты.
    * Разработчик не гарантирует 100% точности данных, более того - такой цели даже нет. Моя цель - собрать как можно больше всеобъемлющих уникальных данных.
    * Разработчик не гарантирует бесперебойной работы системы, так как сама система собрана на старом hardware, использует самую обычную интернет-сеть и подключена к обычному источнику электричества. Всё это может иногда ломаться.
    * Локализация сайта будет проводиться в будущем. Любая помощь приветствуется.







СЦУК v0

2009

Таблицы Excel

CЦУК ver 1.0

Август 2010

Программа парсинга на основе кода СЦ. Текстовая база данных.

CЦУК ver 2.5

Февраль 2014

Программа парсинга на основе собственного кода. Текстовая база данных. Публикация на сайте.

CЦУК ver 2.7

Июнь 2017

Запуск круглосуточного сервера с базой данных mySQL


Последние изменения

    ver 2.7.3

  • Запуск парсинга данных игроков: ранг,сила,опыт,авиаранг
  • ver 2.7.2

  • Запуск парсинга профилей организаций
  • Публикация статистики по активным игрокам на сайте
  • Запуск парсинга активных игроков,средней зарплаты и казны
  • ver 2.7.1

  • Запуск парсинга профилей игроков
  • Подключение сервера к базе данных на сайте
  • Запуск круглосуточного сервера сбора данных
  • ver 2.6

  • Фиксы из-за новводведений в игре
  • ver 2.5.5

  • Загрузка данных на сервер в формате JSON
  • Загрузка данных Salary на сервер
  • Загрузка данных Treasury на сервер
  • Загрузка данных Citizen на сервер
  • Загрузка данных Job на сервер
  • ver 2.5.4

  • Реализованна репликация данных мониторинга партий
  • ver 2.5.3

  • Добавлен модуль, исключающий одновременную работу нескольких экземпляров консоли в режиме монитора
  • Парсинг ID жителей и формирование Общей Базы профилей(Common Database of Profiles - CDP)
  • [alpha] Актуализация CDP по гражданству
  • [alpha] Актуализация CDP по статусу смерти(Dead)
  • ver 2.5.2

  • Загрузка общего списка счетов госорганизаций на сервер
  • [alpha] Загрузка статистики по Онлайн Индексу на сервер
  • Запущен мониторинг онлайн игроков
  • ver 2.5.1

  • Подключена аутентификация оператора в AutoSpamBot 1.1
  • Добавлена возможность работы с метафайлом и установки IE 9.0 в AutoSpamBot 1.1
  • Добавлен модуль установки Internet Explorer 9 для работы ASB 1.1
  • ver 2.5.0

  • Добавлен отдельный модуль - AutoSpamBot для автоматической рассылки сообщений
  • Подключена анти-каптча Antigate
  • ver 2.4.4

  • Загрузка файлов мониторинга govorgs на сервер
  • Запущен мониторинг государственных организаций
  • Добавлен парсинг профайла игрока
  • ver 2.4.3

  • Загрузка файлов мониторинга monetary на сервер
  • ver 2.4.2

  • Загрузка файлов мониторинга party на сервер
  • Исправленна коррекция логов мониторинга партий
  • ver 2.4.1

  • Исправлены ошибки мониторинга партий
  • Исправлены ошибки аунтификации и авторизации
  • Добавлен мониторинг используемой памяти
  • ver 2.4.0

  • Добавлен модуль обработки каптчи
  • ver 2.2.0

  • Переход от Дропбокса к FTP серверу
  • Временно отключен модуль репликации файлов, в связи с переходом на FTP сервер
  • Загрузка файлов мониторинга revenue на сервер
  • ver 2.1.0

  • Переработан графический интерфейс
  • Добавлен режим трея
  • Добавлена возможность программирования(выполнение листинга команд из файла)
  • Добавлен модуль репликации файлов на основе Dropbox для корректной работы множества пользователей.

ONLINE

Сервер собирает информацию круглосуточно.

Customization

Широкий диапозон данных доступен для парсинга, мониторинга и анализа.

Support

Для получения более подробных, старых и иных данных необходимо обратиться к администратору