Cognitive File System: новый подход к хранению данных для AI

Cognitive File System: что будет, если файловая система начнет понимать данные

На Future Memory and Storage 2026 я наткнулся на довольно необычную идею Вячеслава Дубейко: Cognitive File System. На первый взгляд название звучит как очередная попытка прикрутить AI к СХД. Но когда я начал разбираться глубже и поднял более ранние работы автора по data-centric и когнитивным вычислениям, оказалось, что идея значительно радикальнее.

Речь фактически идет о попытке пересмотреть саму роль файловой системы.

Сегодня файловая система отвечает примерно на вопрос: «Где находятся нужные мне байты?» Cognitive File System в перспективе должна уметь отвечать еще и на вопросы: «Что это за данные? Какие структуры в них повторяются? Как они связаны с другими данными? И какое новое представление этих данных можно построить?»

И вот здесь становится действительно интересно.

Почему традиционная файловая система не справляется с требованиями AI-инфраструктуры

Дубейко выделяет сразу несколько проблем современного файлового стека: иерархическую модель представления данных, высокую стоимость метаданных, узкое место на метаданных при нагрузках AI/ML, переключения контекста при вводе-выводе, memory wall, накладные расходы на когерентность кэшей в многосокетных системах и, что особенно важно сегодня, плохое использование параллельных путей между СХД и GPU.

Последний пункт мне особенно близок. Мы уже фактически признали, что классический путь «СХД → память CPU → CPU → память GPU» становится все менее приемлемым.

Отсюда появился GPUDirect Storage. NVIDIA позволяет организовать DMA-путь непосредственно между СХД и памятью GPU, исключая промежуточный буфер в памяти CPU. Это снижает задержку, освобождает CPU и позволяет лучше использовать доступную пропускную способность PCIe [1].

Но GPUDirect Storage решает проблему перемещения данных. Cognitive File System задает следующий вопрос: а обязательно ли вообще перемещать все данные к вычислителю, чтобы понять, какие именно данные нам нужны?

И это уже переход от обычного хранения к data-centric computing.

Data-centric computing и Computational Storage: вычисления ближе к данным

Эта идея у Дубейко появилась ранее. Еще в работе File System in Data-Centric Computing 2019 года он предлагал изменить привычную модель. Вместо постоянного копирования содержимого файлов из постоянного хранилища в DRAM нужно переносить часть обработки непосредственно туда, где физически находятся данные [2].

Причем там была предложена вполне конкретная модель API. Кроме обычных READ и WRITE появляются операции вроде GET, SET и EXECUTE. GET должен искать элементы данных непосредственно на стороне хранилища, SET менять подходящие элементы там же, а EXECUTE запускать операцию над одним или несколькими файлами без необходимости сначала вытаскивать содержимое на хост.

Предлагались даже различные модели выполнения: синхронная, асинхронная, отложенная и по триггеру [3].

По сути, это близко к сегодняшней идее computational storage. И это уже не чисто академическое направление. SNIA стандартизирует Computational Storage Architecture and Programming Model и соответствующий API: индустрия вполне серьезно рассматривает архитектуры, в которых вычислительные ресурсы находятся внутри или непосредственно рядом с устройствами хранения [4].

Но Cognitive File System делает еще один шаг. Недостаточно просто перенести выполнение функции поближе к SSD. Нужно сделать так, чтобы хранилище могло само обнаруживать структуру данных.

От файлов к паттернам: как Cognitive File System анализирует данные 

Это центральная идея всей концепции. В обычной файловой системе смысл данным придает человек или приложение. Мы создаем /datasets/images/cats/001.jpg или customer_12345_transactions.parquet. Файловая система ничего не знает ни о коте на фотографии, ни о клиенте, ни о транзакциях. Для нее это просто последовательность байтов плюс метаданные.

В Cognitive File System исходная точка другая. Можно сохранить сырой поток данных, а когнитивная подсистема начинает искать внутри него повторяющиеся последовательности, паттерны.

На схеме концепции в презентации показана цепочка: сырой поток данных → повторяющиеся паттерны → словарь → связи → знания.

Именно здесь идея перестает быть обычной файловой системой. Повторяющийся паттерн заносится в своеобразный словарь. После этого система начинает искать связи между паттернами. Из связей постепенно появляется представление знаний.

На FMS 2026 Дубейко формулировал это так: данные по-прежнему могут храниться как потоки или файлы, но им потенциально даже не обязательно заранее давать имена. Когнитивная подсистема обнаруживает повторяющиеся паттерны, помещает их в словарь, а эти паттерны затем работают как ключевые слова, связывающие разные потоки данных примерно так, как отношения связывают данные в реляционной базе [5].

Это уже почти инверсия привычной файловой модели. Мы больше не говорим системе: «Вот объект, вот его имя, вот его тип». Мы даем ей поток данных и говорим: «Попробуй сама выяснить, какие сущности и связи здесь существуют».

Как Cognitive File System распознает паттерны и формирует знания

Чтобы понять этот кусок, я посмотрел более раннюю работу Дубейко Cognitive Computing in Data-centric Paradigm. Там предлагается довольно последовательная модель.

Сначала система ищет в сыром двоичном потоке повторяющиеся паттерны. Затем анализирует, какие паттерны встречаются совместно и какие структуры они образуют. После этого сравнивает похожие структуры и пытается их обобщать [6].

Например, условно система много раз видит A-B-C, A-D-C и A-E-C. Она может обнаружить, что B, D и E занимают одинаковое положение внутри похожих структур. Следующий шаг: сформировать более абстрактное представление A-[X]-C, где X является некоторым обобщенным понятием.

Именно этот механизм обобщения автор рассматривает как переход от простого распознавания паттернов к формированию абстрактных понятий. Далее из них можно строить иерархии понятий и более сложное представление знаний [6].

Самое необычное начинается после этого. Система должна уметь не только распознавать уже встречавшиеся структуры, но и синтезировать гипотезы: предполагать, какая структура может появиться дальше, а затем проверять гипотезу на поступающих данных.

То есть конвейер становится таким: данные → паттерны → связи → абстракции → гипотеза → проверка → знания.

Именно поэтому термин cognitive здесь используется не просто как маркетинговая приставка к AI.

Как Cognitive File System встраивает анализ и знания в файловую систему

В презентации Cognitive File System есть еще одна важная схема. В центре располагается логика файловой системы. Справа от нее анализ и сырые данные. Снизу словарь, связи и схема знаний. Слева синтез. Сверху AI.

Для меня эта картинка лучше всего объясняет идею. Файловая система становится не только слоем хранения. Она превращается одновременно в слой хранения, слой анализа данных и слой знаний.

Записываемый поток данных анализируется. Из него извлекаются паттерны. Между ними обнаруживаются отношения. Отношения формируют схему знаний. А компонент синтеза может создавать новые абстракции или гипотезы.

При этом привычное хранение сырых данных никуда не исчезает. Это важно: Cognitive File System не обязательно должна уничтожить понятие файла или сделать хранилище исключительно AI-native. Скорее, над физически сохраненными данными появляется еще один уровень представления.

И вот этот уровень может оказаться намного интереснее для систем AI, чем пространство имен POSIX.

Как AI-агенты меняют требования к файловым системам и СХД 

Нам кажется, это одна из самых сильных частей всей концепции. Мы исторически проектировали файловые системы для людей и программ. Человек любит: имя → каталог → файл. Приложение любит: open() → read() → write() → close(). Но AI-агенту это совершенно не обязательно.

Ему нужен контекст. Ему важнее знать, что некоторый кусок информации относится к серверу X, эксперименту Y, пользователю Z или определенной последовательности событий, чем знать, лежит ли соответствующий файл в /data/logs/2026/09/11/.

На последней архитектурной схеме презентации постоянное хранилище включает три уровня представления: неструктурированные сырые данные → знания → абстрактные представления. AI получает доступ ко всем этим уровням, а внешние агенты могут продолжать добавлять новые данные.

По сути, хранилище начинает предоставлять семантический интерфейс, ориентированный на машину. И это неожиданно хорошо ложится на эпоху агентного AI.

Сегодня AI-агент обычно вынужден идти через огромный программный стек: файловая система → индексатор → парсер → база метаданных → векторная БД → модель эмбеддингов → слой поиска → агент.

Cognitive File System задает довольно провокационный вопрос: какую часть этого стека можно перенести непосредственно в слой данных?

Трехуровневая архитектура Cognitive File System: данные, связи и знания 

Особенно любопытна схема data-centric computing на седьмой странице презентации.

Над потоком данных располагается когнитивный слой, где изображены NPU. Выше слой связей с ML-ядрами. Еще выше слой синтеза с AI-ядрами, а над ними уже находится конечный пользователь.

Я бы интерпретировал эту архитектуру следующим образом. Самые дешевые и массово параллельные операции выполняются максимально близко к данным: там осуществляется обнаружение паттернов. Следующий уровень строит отношения между обнаруженными структурами. Самый дорогой интеллектуальный уровень занимается абстракциями и синтезом.

Это довольно принципиальный момент. Сегодня мы часто пытаемся решить любую задачу AI большим GPU. Но нет никакой фундаментальной причины гонять терабайты сырых данных через дорогой GPU только для того, чтобы большая часть этих данных затем была отброшена.

Гораздо логичнее выполнять дешевую фильтрацию и извлечение признаков там, где данные физически находятся, а вверх передавать все более концентрированное представление информации.

В каком-то смысле это иерархия хранения наоборот: не горячие, теплые и холодные данные по скорости доступа, а сырые данные → паттерн → связь → знание по степени семантической концентрации.

Чем это отличается от Computational Storage и GPUDirect Storage

На мой взгляд, здесь очень важно не смешивать три разные вещи.

GPUDirect Storage оптимизирует перемещение данных: данные быстрее доходят от СХД до GPU, не проходя через промежуточный буфер CPU [1].

Computational Storage переносит вычисления ближе к данным и уже имеет формализованное направление стандартизации [4].

Cognitive File System пытается перенести ближе к данным еще и понимание структуры данных.

Именно третий уровень делает концепцию необычной. Хранилище уже не просто выполняет compress(), encrypt(), filter() или search(). Оно потенциально начинает строить собственную модель того, что хранится внутри него.

Где Cognitive File System может применяться на практике

Представим хранилище, в которое круглосуточно поступают телеметрия, логи, фотографии, документы, данные с датчиков и результаты работы AI-агентов.

В классической архитектуре сначала нужно определить схемы, форматы, пространства имен, построить ETL, индексы, эмбеддинги и базы данных.

В Cognitive File System можно представить другой подход. Сырая информация просто поступает в хранилище. Когнитивный слой замечает повторяющиеся структуры. Слой связей обнаруживает отношения. Постепенно строится представление знаний.

AI-агент после этого спрашивает уже не «открой мне 30 миллионов файлов и найди среди них похожие». Он получает абстрактное представление: например, «все данные, связанные с этим типом отказа оборудования».

И вот здесь потенциальная экономия ввода-вывода становится колоссальной. Мы перестаем передавать вычислителю все, что может оказаться полезным, и начинаем передавать только то, что хранилище уже определило как семантически релевантное.

Cognitive File System: проблемы и ограничения технологии

На текущем этапе Cognitive File System корректнее воспринимать как исследовательскую концепцию на ранней стадии, а не как готовую файловую систему или завершенный продукт.

На мой взгляд, перед подобной архитектурой стоит огромное количество фундаментальных вопросов. Как ограничить взрывной рост количества паттернов? Как отличить статистическое совпадение от действительно значимой связи? Каким образом сохранять и версионировать схему знаний? Как гарантировать согласованность между сырыми данными и выведенными знаниями? Как разделять знания разных арендаторов? Что происходит при удалении исходных данных? Как реализовать права доступа для выведенных системой отношений? Как объяснять происхождение абстрактного понятия? Какая часть когнитивной обработки действительно должна находиться внутри СХД, а какая на DPU, NPU или GPU?

И главный инженерный вопрос: не окажется ли стоимость когнитивной обработки выше стоимости той передачи данных, которую мы пытаемся устранить? Без измерений ответа пока нет.

Cognitive File System: каким может стать хранение данных для AI

Пожалуй, самое интересное здесь даже не конкретная реализация Cognitive File System. Для меня гораздо важнее направление мысли.

Мы очень долго относились к СХД как к нижнему слою инфраструктуры: положить байты → сохранить → вернуть байты. Но AI постепенно меняет требования к инфраструктуре данных.

GPUDirect Storage уже заставил СХД разговаривать непосредственно с GPU. Computational Storage начинает переносить вычисления к данным. CXL размывает привычную границу между памятью и хранилищем. DPU забирают на себя все больше инфраструктурной обработки.

Следующий логичный вопрос: почему слой хранения вообще должен оставаться семантически слепым?

Именно поэтому Cognitive File System мне кажется интересной концепцией. Она предлагает смотреть на файловую систему не как на дерево каталогов с метаданными, а как на механизм, который постепенно превращает сырые данные в структурированную информацию, структурированную информацию в связи, а связи в знания.

Сегодня это пока исследовательская идея. Но если AI-агенты действительно становятся одним из основных потребителей корпоративных данных, то через несколько лет вполне может оказаться, что интерфейс open/read/write/close это просто слишком низкий уровень абстракции для нового класса клиентов.

И тогда СХД будущего будет конкурировать уже не только количеством IOPS, гигабайтами в секунду и задержкой. Возможно, одним из ее параметров станет способность отвечать на гораздо более интересный вопрос: «Что я знаю о данных, которые храню?»

Источники и материалы для дальнейшего чтения

1)      NVIDIA, GPUDirect Storage Overview Guide: https://docs.nvidia.com/gpudirect-storage/overview-guide/

2)      Viacheslav Dubeyko, File System in Data-Centric Computing (arXiv:1901.01340): https://arxiv.org/abs/1901.01340

3)      File System in Data-Centric Computing, публикация и обсуждение: https://www.researchgate.net/publication/330212304_File_System_in_Data-Centric_Computing

4)      [SNIA, Computational Storage Technical Work Group: https://www.snia.org/computationaltwg

5)      Future Memory and Storage, Viacheslav Dubeyko: https://www.terrapinn.com/conference/future-memory-storage/speaker-viacheslav-DUBEYKO.stm

6)      Viacheslav Dubeyko, Cognitive Computing in Data-centric Paradigm (arXiv:2012.11334): https://arxiv.org/abs/2012.11334