Видання про світову економіку, зібране з відкритих даних

Задача

Світову економіку українською майже не пишуть: більшість матеріалів — переклади, зроблені нашвидкуруч, із втраченим контекстом і без цифр. Потрібне було видання, яке спирається на первинні дані — ставки центробанків, курси, сировину — і встигає за темпом новин, не перетворюючись на конвеєр перекладів.

Рішення

Це наш власний продукт —видання, яке ми побудували від архітектури до редакційної політики. Показуємо його як приклад системи, у якій багато фонової роботи й жорсткі вимоги до якості того, що потрапляє назовні.

Як влаштований конвеєр

Кілька фонових процесів працюють за розкладом і не залежать один від одного:

• Збір. Новинні стрічки, макроекономічні ряди FRED, дані ЄЦБ і НБУ, ціни на сировину.
• Групування. Кожне повідомлення перетворюється на вектор, близькі за змістом збираються в одну подію — навіть якщо джерела формулюють її по-різному.
• Підготовка тексту. Матеріал пишеться заново з кількох джерел одразу, з опорою на цифри.
• Перевірка на дублі. Перед написанням система звіряє подію з усім, що вийшло за тиждень: збіг вище порогу — і матеріал не готується взагалі.
• Публікація. Готовий текст лягає в чергу на вичитку, і рішення ухвалює редактор.

Три рішення, які визначили якість

Не перекладати. Переклад чужої новини — це і чужий копірайт, і те, що пошукові системи називають масовим неоригінальним контентом. Факти копірайтом не захищені, тому матеріал пишеться з нуля за кількома джерелами, а формулювання свої.

Людина ухвалює рішення. Жоден матеріал не виходить автоматично. Це і запобіжник від помилки в цифрі, і те, що відрізняє видання від генератора тексту.

Пороги калібруються замірами, а не на око. Показовий випадок: одне джерело давало 1457 заголовків на тиждень без жодної фактури — 72% усієї бази — і тягнуло середню довжину опису вниз, через що фільтр якості відсікав майже все підряд. Джерело прибрали, поріг перерахували на живих даних. Тепер кожна нова стрічка спершу проходить замір, і лише потім потрапляє в роботу.

Технічний бік

• Next.js і TypeScript для сайту, PostgreSQL з pgvector для пошуку за змістом
• Черга завдань у самій базі — без окремого брокера, менше рухомих частин
• Дванадцять фонових процесів: збір стрічок, цін, рядів даних, векторизація, групування, написання, розсилка, службові перевірки
• Діагностика через службовий ендпоінт: видно проходження воронки й якість кожного джерела
• Розмітка новин, окрема карта сайту для новинного індексу, сторінки авторів

Собівартість підготовки одного матеріалу — близько п'яти центів. Видання виходить у ритмі 15–19 матеріалів на добу.