🚀 [Кэширование API golos] Запуск множества многопоточных живых скриптов на одной ноде - решение для масштабируемости ботов голоса

Автор: @vik

Суть решаемой проблемы:

Решение:

В конце поста будет приведен простой код для node.js который позволит оптимизировать работу множества скриптов на одной ноде.

В последнее время моими телеграм ботами для голосования пользуются все больше людей и естественно нагрузка возросла в 10-ки раз по сравнению даже с прошлым месяцем. Я поднял дополнительные ноды, распределил нагрузки, добавил мощности серверам, но узкое место оказалось в самой пропускной способности нод.

Обратите внимание на скрин, там изредка мелькают строки белого цвета. Это череда новых блоков. Желтые же строки - это обращение к ноде.

Сейчас на сервере работают примерно 10 ботов, в каждом примерно 20 пользователей, это 200 практически одновременных запросов каждые 3 секунды 24/7. Такую нагрузку нода очень часто не выдерживает и боты пропускают транзакции или становятся на вынужденную паузу, а пользователи сердятся на несовершенство скриптов :)

Так как каждый пользователь бота "опрашивает" новые блоки с интервалом в 3 секунды, то сделать работу комфортной можно либо устанавливая по ноде на каждых 20-30 человек, что экономически абсурдно, либо пересмотреть принципы работы с опрашиванием блоков.

Решение я выбрал такое:

Вместо сотен отдельных сессий пользователей работает только один ОТДЕЛЬНЫЙ скрипт, который опрашивает блоки. И сохраняет данные блока в базу данных Redis, все это происходит за доли миллисекунд, так как redis при правильной настройке не просто база, а мощный кэширующий инструмент.
Далее, каждый из пользователей бота обращается не к ноде, а уже к redis, чтобы получить данные блока с операциями блокчейна. Таким образом, нагрузка должна упасть в 10-ки, а то и больше раз.

Разработчикам и владельцам нод

Суть метода простая, на сервере работает javascript который с интервалом в 3 секунды обновляет в базе данных содержимое свежего блока на golos.io
Далее вместо того, чтобы подключаться всеми своими скриптами одновременно к одной ноде, вы берете данные о блоках из базы данных, а нода работает с минимальной нагрузкой, словно ее использует лишь один скрипт.

Вы можете использовать любую базу данных, как-то mongo, mysql, rethink и другие, для себя же я выбрал именно redis, для меня она проверенный инструмент, способный держать нагрузку во время кэширования большого объема данных.

Весь код для постоянного сохранения текущего блока в redis уместился в несколько десятков строк

require('events').EventEmitter.prototype._maxListeners = 100000
const Promise = require("bluebird")
const _ = require('lodash')
const golos = require("golos-js")
const redis = require("redis")
const client = redis.createClient()
golos.config.set('websocket','ws://localhost:9090')
let trig = {existBlock:true}
const dynamicSnap = new Promise((resolve, reject) =>
 {
    golos.api.getDynamicGlobalProperties((err, res) =>
 {
        if (err) {console.log(err)}
        else {
            resolve(res)
        }
    })
})
const FIRSTBLOCK = n =>
 n.head_block_number
const SENDBLOCK = currentblock =>
 {
    golos.api.getBlock(currentblock, (err, result) =>
 {
        if (err) {
            console.log(err) 
            }   else if (result === null){
                trig.existBlock = false
                }else {
        let JSONblock = JSON.stringify(result)
        client.hmset("GolosLastBlock", "data",JSONblock);
        console.log(JSONblock)
        trig.existBlock = true
            }
    })
}
const NEXTBLOCKS = firstblock =>
 {
    let currentblock = firstblock
    setInterval(() =>
 {
if(trig.existBlock){
currentblock++
}else{
console.warn(`Проблема блока ${currentblock}`)}
SENDBLOCK(currentblock)
}, 3000)
}
dynamicSnap
    .then(FIRSTBLOCK)
    .then(NEXTBLOCKS)
    .catch(e => console.log(e));

Далее вам достаточно брать данные блока из базы redis

client.hgetall("GolosLastBlock", function(err, LB) {
let LastBlockRedis = JSON.parse(LB.data)
            filterOperations(LastBlockRedis)
}

Где предполагается, что функция filterOperations обрабатывается вашим скриптом.

По материалам статьи.

Автор @vik