Разбираем гигабайтные архивы 12 сервисов прямо в браузере на DuckDB-Wasm — без JSON.parse и бэкенда
Всё началось с простого желания сделать себе нормальный «Spotify Wrapped», только для старых переписок из Telegram (result.json), диалогов ChatGPT и истории браузера. Очень быстро идея упёрлась в два принципиальных ограничения, которые я решил не нарушать ни при каких обстоятельствах.
Первое ограничение — абсолютный ноль бэкенда. Идея загружать гигабайты своих личных переписок, поисковых запросов, промптов и закладок на чужой сервер ради красивых графиков выглядит сомнительно, даже если повесить баннер с клятвенным «мы ничего не храним». Второе ограничение — отказ от наивного await file.text() с последующим JSON.parse(). Реальный экспорт всего аккаунта Telegram, архив Google Takeout или папка с сессиями кодирующих ИИ-агентов легко весят 300–700+ МБ и тащат внутри себя сотни тысяч объектов. Попытка материализовать такой JSON одной строкой в куче V8 предсказуемо взрывает потребление памяти и роняет вкладку браузера с Out-Of-Memory.
В результате получился Takeout X-Ray (живое демо со встроенными синтетическими датасетами, исходники на GitHub) — статическое веб-приложение на базе DuckDB-Wasm, выделенного Web Worker и потоковых парсеров. То, что начиналось как разбор трёх форматов, в версии v2.0 выросло в универсальный локальный комбайн для 12 сервисов и 13 форматов выгрузки: от Telegram, WhatsApp, Discord и X (Twitter) до Spotify, YouTube, TikTok, Chrome, ChatGPT, Claude.ai и локальных логов ИИ-агентов (Claude Code CLI и Antigravity). В этой статье хочу рассказать не инструкцию «куда нажать», а именно инженерную кухню: как прожевать гигабайтные .zip и JSON-архивы в браузере без OOM, какие сюрпризы скрыты в реальных экспортах и как не показывать пользователю статистику переписок при анализе его истории YouTube.
Потоковая распаковка .zip без выделения гигабайтов под медиа
В жизни почти никто не загружает чистый одиночный JSON. Обычно из настроек аккаунта скачивается массивный .zip-архив Google Takeout, Discord Data Package или X/Twitter Archive, где рядом с 30 МБ полезного текста спокойно лежат несколько гигабайт видеокружочков, картинок, стикеров и рекламных метаданных. Распаковывать такой архив целиком в оперативную память браузера бессмысленно.
Чтобы обойти это, при выборе .zip-файла сначала запускается инспектор оглавления (src/utils/zipExtractor.ts) на базе @zip.js/zip.js. Важная деталь конфигурации — явное отключение собственных веб-воркеров библиотеки через configure({ useWebWorkers: false }). Без этого флага @zip.js пытается динамически подгрузить вспомогательные скрипты воркеров, что может нарушить строгую политику нулевой сетевой активности после старта страницы и усложнить работу в изоляции COOP/COEP.
За считаные миллисекунды ридер считывает только central directory в конце .zip-блоба — медиафайлы при этом даже не читаются с диска. Пути найденных JSON, JS, JSONL и TXT-записей классифицируются по известным сигнатурам архивов. Если внутри одного файла Google Takeout обнаруживается сразу несколько сервисов (например, и история Chrome, и просмотры YouTube), UI не пытается молча слить их в одну кашу, а сразу предлагает пользователю выбрать нужный срез. Дальше выбранная запись отдаётся в парсер потоково через TransformStream без буферизации распакованного файла в куче: ReadableStream выдаёт нативные 64-килобайтные чанки байтов прямиком в анализатор.
Как прожевать 500 МБ JSON/JSONL в браузере и не уронить вкладку
Весь разбор данных и работа с SQL-движком полностью изолированы в отдельном Web Worker (src/worker/xray.worker.ts), поэтому интерфейс остаётся на 60 FPS даже на тяжёлых архивах.
Прежде чем запускать конкретный парсер, нужно определить тип выгрузки по её первым байтам. С помощью file.slice(0, end).arrayBuffer() и обёртки detectAndWrapStream (которая кэширует прочитанный префикс из потока и затем без потерь воспроизводит его с нулевого байта) работает скользящее окно проверки 64 КБ → 512 КБ → 4 МБ. Зачем такой запас до 4 МБ? На реальных архивах выяснилось, что у некоторых пользователей первые килобайты файла полностью заняты списком контактов (в полном экспорте аккаунта Telegram до ключа chats.list бывает больше 80 КБ метаданных) либо гигантским заголовком первого длинного треда в ChatGPT. Маленькое окно 16 КБ на таких файлах ошибочно признавало экспорт нераспознанным, а расширение до 4 МБ сняло проблему без заметной задержки.
После определения формата байты идут через потоковый TextDecoder(‘utf-8’, { fatal: false }) в SAX-парсер @streamparser/json с флагом keepStack: false. Такой режим подписывается только на нужные пути внутри JSON-дерева вроде $.chats.list.*.messages.* или $.Browser History.*. Как только отдельный объект сообщения, твита или прослушивания дочитан до закрывающей скобки, он сразу превращается в плоскую нормализованную структуру для DuckDB, а исходный JSON-узел мгновенно уходит в сборщик мусора.
Записывать события по одной строке в DuckDB через одиночные INSERT слишком медленно из-за накладных расходов на пересечение границы JavaScript ↔ WebAssembly. А собирать один массив на полмиллиона строк снова ударит по ОЗУ. Оптимальной точкой оказалось накопление батчей по 5 000 строк (src/worker/engine.ts). Пачка превращается в компактный NDJSON, регистрируется во временной виртуальной файловой системе DuckDB вызовом db.registerFileText(batchName, ndjson) и заглатывается нативным парсером C++ внутри Wasm с жёсткой типизацией колонок:
await this.backend.registerFileText(batchName, ndjson); try { await this.backend.query(` INSERT INTO events SELECT * FROM read_json(‘${batchName}’, format = ‘newline_delimited’, columns = { event_id: ‘VARCHAR’, thread_id: ‘VARCHAR’, source_type: ‘VARCHAR’, event_kind: ‘VARCHAR’, ts_ms: ‘BIGINT’, sender_id: ‘VARCHAR’, sender_name: ‘VARCHAR’, text_content: ‘VARCHAR’, char_count: ‘INTEGER’, word_count: ‘INTEGER’, question_count: ‘INTEGER’, has_code: ‘BOOLEAN’, has_media: ‘BOOLEAN’, emojis: ‘VARCHAR[]’, domain: ‘VARCHAR’, meta_subtype: ‘VARCHAR’ } ); `); } finally { await this.backend.dropFile(batchName); }
Ключевая строчка здесь — гарантированный dropFile в блоке finally. Если забыть удалять временные NDJSON-пачки из VFS, память внутри Wasm-модуля растёт линейно от размера входного файла, даже если сами таблицы DuckDB сжаты колоночным хранением.
Война с особенностями 12 реальных выгрузок
Единая схема таблиц в DuckDB (threads, events, antigravity_steps, media_events и stopwords) выглядит стройной только на диаграмме. На практике каждый второй сервис придумывает свой способ хранения данных, на котором ломаются наивные парсеры.
Взять OpenAI ChatGPT (src/worker/adapters/chatgpt.ts). В conversations.json сообщения хранятся вовсе не плоским массивом, а направленным ациклическим графом (DAG) внутри словаря mapping. Когда вы нажимаете «Regenerate response» или редактируете старый промпт, ветки не удаляются, а продолжают висеть в mapping боковыми отростками. Наивный Object.values(mapping) засоряет статистику отброшенными черновиками и ломает хронологию. Поэтому парсер берёт указатель финального узла current_node (с фоллбэком на сообщение с максимальным create_time, если указатель потерялся), идёт вверх по ссылкам parent с проверкой на циклы и разворачивает путь — получая ровно активную ветку диалога. Разница Object.keys(mapping).length — visited.size даёт точную метрику того, сколько раз вы перегенерировали ответы ИИ.
Ещё интереснее устроен официальный архив X / Twitter (src/worker/adapters/twitter.ts). Во-первых, его файлы data/tweets.js и data/like.js — это вообще не JSON, а JavaScript-файлы с префиксом window.YTD.tweets.part0 = […] и необязательной точкой с запятой в конце. Чтобы сохранить постоянное потребление памяти на больших архивах и не вырезать префикс через string.slice(), я написал потоковый побайтный фильтр stripYtdWrapperStream. Он пропускает обёртку до первой скобки массива и отслеживает баланс [ и ] вне экранированных строковых литералов Uint8Array (в UTF-8 многобайтовые символы всегда имеют старший бит >= 0x80, поэтому искать ASCII-кавычки 0x22, бэкслэш 0x5C и скобки побайтово полностью безопасно даже при разрыве чанков посередине эмодзи).
Здесь же вылез неочевидный баг потоков Web Streams при связке с @zip.js: стоило моему фильтру вызвать reader.cancel() сразу после закрытия корневой ], как withZipEntryStream на закрытии соседней .zip-записи падал с TypeError: Invalid state: WritableStream is closed. Лечится это переводом фильтра в режим «дренажа» (DRAIN), который молча дочитывает оставшиеся 1–2 хвостовых байта (;n) до естественного done: true со стороны источника, не обрывая писателя .zip. А вторая фишка Twitter — в файле like.js вообще нет дат лайкнутых твитов, есть только строковый tweetId. Зато каждый идентификатор X — это Twitter Snowflake, где старшие биты кодируют точное UTC-время создания вплоть до миллисекунды: (BigInt(tweetId) >> 22n) + 1288834974657n. Одно побитовое смещение возвращает полную временную шкалу даже для архивных лайков без поля даты.
Свои сюрпризы принесли и другие выгрузки. В Telegram поле text часто является полиморфным массивом из строк и объектов форматирования вроде pre, code и text_link, а для WhatsApp в текстовых _chat.txt пришлось совмещать распознавание квадратных скобок iOS и тире Android, вычищать невидимые bidi-маркеры и прогонять эвристику resolveDateOrder по всему чату, чтобы отличить европейский формат DD/MM/YYYY от американского MM/DD/YY. При разборе локальных папок ИИ-агентов (Claude Code CLI и Antigravity) наивный проход без дедупликации многократно завышал расход токенов: во-первых, в одной сессии Antigravity рядом лежат подробный transcript_full.jsonl и сжатый transcript.jsonl, а во-вторых, Claude Code пишет в JSONL несколько потоковых фрагментов одного ответа с одинаковым message.id — оба кейса пришлось аккуратно схлопнуть по директориям и идентификаторам сообщений.
Грабли «кто первый написал за 6 часов» на истории YouTube и SQL-аналитика
После загрузки события оказываются в DuckDB-Wasm, где поверх них отрабатывает аналитика (src/worker/queries.sql.ts). Все временные срезы учитывают локальную IANA-зону браузера с переходами летнего и зимнего времени (src/worker/localTime.ts): движок строит сегменты смещений через Intl.DateTimeFormat и компилирует макрос local_ts(ts_ms), чтобы циркадная матрица 24 × 7 и «индекс совы» (00:00–05:00) честно отражали ваше реальное время у экрана даже на многолетних архивах.
Длинные серии подряд — например, монологи в мессенджере, когда один человек отправляет десять сообщений без ответа — решаются на чистом SQL без циклов в JS как классическая задача Gaps & Islands:
WITH ordered AS ( SELECT thread_id, sender_id, sender_name, CASE WHEN LAG(sender_id) OVER (PARTITION BY thread_id ORDER BY ts_ms, event_id) = sender_id THEN 0 ELSE 1 END AS is_new_turn FROM events WHERE event_kind = ‘message’ ), turns AS ( SELECT thread_id, sender_name, SUM(is_new_turn) OVER (PARTITION BY thread_id ORDER BY ts_ms, event_id ROWS UNBOUNDED PRECEDING) AS turn_id FROM ordered ) SELECT sender_name, MAX(streak_len) AS maxStreak, COUNT(*) FILTER (WHERE streak_len >= 5) AS monologues5Plus FROM (SELECT thread_id, turn_id, sender_name, COUNT(*) AS streak_len FROM turns GROUP BY 1, 2, 3) GROUP BY sender_name ORDER BY maxStreak DESC LIMIT 12;
Для расчёта медианной скорости ответа берутся только переходы между разными участниками с паузой от 1 секунды до 6 часов (21 600 000 мс), чтобы ночной сон не превращал утренний ответ в восьмичасовое игнорирование. А в лексиконе через UNNEST(regexp_extract_all(…)) и LEFT JOIN stopwords строятся топы слов по годам сразу на русском и английском языках в одном запросе.
Но самую важную продуктовую проблему вскрыло живое тестирование. Изначально все вкладки и графики были одинаковыми для любого сервиса. Стоило загрузить историю YouTube, как дашборд серьёзным тоном сообщал пользователю «индекс инициатора диалога после 6 часов тишины», «медианную скорость ответа» и «индекс любознательности (вопросов на 100 сообщений)». Читать такое на логах просмотров роликов или треков Spotify было откровенно странно.
Поэтому пришлось ввести профилирование сервисных архетипов (src/utils/formatProfile.ts), разбив 12 платформ на семь логических семейств: мессенджеры, ИИ-чаты, coding-агенты, видеоленты (YouTube/TikTok), аудиостримы (Spotify), браузер (Chrome) и соцсети (X/Twitter). Те же самые оконные SQL-запросы Gaps & Islands, которые в Telegram считают монологи, в YouTube превратились в «марафоны просмотров одного канала подряд», в Chrome — в самые глубокие «кроличьи норы» внутри одного домена, в Spotify — в долю skip/shuffle и любимых артистов, а в ИИ-агентах — в эффективность попадания в KV-кэш и карту вызванных тулзов. Даже пресеты в интерактивной SQL-консоли пересортировываются и подставляются в редактор автоматически под текущий формат. Сама консоль защищена не только на уровне DuckDB (отключены autoinstall_known_extensions и autoload_known_extensions), но и однопроходным лексером buildSqlValidationSkeleton: он вырезает комментарии, заменяет строковые литералы на заглушки и по чистому скелету блокирует мутирующие команды, PRAGMA/SET, внешние функции (read_csv, read_json, read_parquet) и любые URL-схемы (https://, s3://), пропуская при этом безопасный поиск вроде ILIKE ‘%update%’.
Self-hosted WebAssembly, строгий CSP и Wrapped PNG
Говорить «приватный фронтенд» легко, а доказать это пользователю сложнее. В версии v2.0 проект полностью отказался даже от загрузки .wasm-файлов с внешнего CDN: все бинарники и воркеры @duckdb/duckdb-wasm бандлятся локально в сборку через Vite, не требуют заголовков COOP/COEP и закрываются жёстким Content-Security-Policy в index.html с connect-src ‘self’ data: blob:. В результате даже при первом холодном открытии вкладки браузер не делает ни одного запроса к сторонним доменам.
Дополнительно сразу после инициализации вызывается networkGuard.markInitialized() (src/utils/networkGuard.ts), а сам Web Worker отдельно оборачивает fetch и XHR внутри рабочего потока и отправляет телеметрию в UI. Вместе с PerformanceObserver({ type: ‘resource’ }) и перехватом sendBeacon в основном потоке это держит живой счётчик 0 B SENT AFTER LOAD в шапке сайта. Если на него нажать, открывается инспектируемый журнал сетевых событий — а при желании после открытия страницы можно вообще отключить интернет перед выбором архива.
Финальную инфографику формата 1080×1350 (X-Ray Wrapped) браузер рендерит локально на клиенте через html-to-image (pixelRatio: 2), а кнопка Анонимизировать данные детерминированно маскирует перед сохранением PNG не только имена и названия чатов (Subject_01, Thread_REDACTED), но и топ-слова (word_01) вместе с посещёнными доменами (domain_01.redacted).
Если не хочется сразу выгружать свои гигабайты из Google Takeout или Telegram Desktop, прямо на стартовом экране лежат 12 встроенных демо-генераторов — по одному клику создаётся синтетическая история для каждого из поддерживаемых сервисов, а рядом есть пошаговые гайды о том, где именно в настройках каждой платформы включается нужный JSON-экспорт (и как не скачать случайно HTML вместо JSON в Telegram или YouTube).
Попробовать приложение вживую можно на wioledead.github.io/takeout-xray, а весь исходный код под лицензией MIT (включая потоковые адаптеры и 35 юнит- и DuckDB-Wasm интеграционных тестов в Vitest) открыт в репозитории на GitHub. Буду рад идеям в комментариях, каких ещё «сложных» и нестандартных форматов персональных выгрузок вам не хватает для локального разбора.
Теги:
- duckdb
- duckdb-wasm
- web-worker
- json
- react
- sql
- streaming
- zip
- typescript
- local-first
Хабы:
- JavaScript
- Веб-разработка
- Базы данных
- Open source