AI tools analysis and review. Kharchenko M.

Цей аналіз в основному зосереджений на потребах звичайних користувачів, студентів та науковців.

[!NOTE]
Під потребами "​звичайного користувача" маються на увазі повсякденні задачі та максимально просте використання ШІ, що може бути актуальним для студентів та науковців також.

Цільові моделі користувачів (цільова аудиторія)

"​Звичайний користувач"

• повсякденні задачі
• невисокий поріг входу
• просте керування ШІ
• зрозумілий інтерфейс

​Студент ​(загальний випадок, абстрагуючись від спеціальності)

• пояснення складних термінів, тем простою доступною мовою, від загального до конкретного
• проведення мультипредметних паралелей
• зручні інструменти для запам'ятовування, повторення матеріалу (типу тестів, флеш-карток, тощо)

​Науковець ​(загальний випадок, абстрагуючись від домену досліджень)

• пошук наукових джерел
• контекстний пошук у джерелах
• агрегація джерел
• швидка підготовка літ. огляду
• сканування свого тексту на предмет орфографічних, пунктуаційних, стилістичних помилок
• пошук логічних суперечностей у своєму тексті, щось на кшталт критичного погляду на текст з точки зору ШІ.

[!IMPORTANT]
Дуже рідко, оскільки це грубий метод, де ШІ може скаржитись на будь-що, натомість має певний позитивний ефект.

• пошук мультипредметних зв'язків та їх узагальнення.
• переформулювання, переклад окремих частин тексту.

ШІ інструменти орієнтовані на вищеописані моделі користувачів можна поділити за призначенням на :

• генеративні

  • текст
  • зображення
  • відео
  • аудіо
  • презентації
  • код

• пошукові

  • веб пошук
  • семантичний пошук
  • мультимодальний пошук(різні формати джерел)

За рівнем автономії:

асистент → агент → автономна система,

асистент – відповідає на конкретні запити (промпти), не виконує дій поза межами діалогу,

агент – виконує складнішу задачу, самостійно розбиваючи її на підзадачі, визначаючи їх пріоритети та алгоритм виконання, використовуючи при цьому зовнішні інструменти (інтернет, код, файлова система, API),

автономна система — переслідує довгострокову мету з мінімальною участю людини в циклі прийняття рішень, самостійно ініціюючи дії на основі поточного стану середовища.

Також в окрему групу можна виділити оркестратори, що виконують координаційну (керують виконавчими моделями-експертами) роль, а не виконавчу.

Для загального розуміння різниці між різними АІ інструментами обов'язово, принаймні на базовому рівні, розуміти декілька концепцій. Насамперед, навчена ШІ модель, формально, містить всі "знання" сама в собі(у вигляді набору конкретних ваг).

Тоді у випадку коли модель не знає нічого про те що ми запитуємо, загалом є 2 реальні способи отримати результат замість галюцинації або вигадки, а саме донавчання та розширення ​контексту моделі.

​Донавчання моделі​, передбачає підбір додаткових наборів навчальних даних (датасет) та проведення додаткових ітерацій навчання на їх основі. Тобто при навчанні ми модифікуємо існуючу модель, записуючи у неї скориговані ваги. В цьому випадку модель все ще містить всі "знання" в своєму наборі ваг.

Розширення контексту моделі, передбачає дещо інший підхід, де ми не модифікуємо ваги існуючої моделі, натомість надаємо їй доступ до додаткових даних. (TTA / Inference-time augmentation)

Для цього часто використовують ​RAG​(Retrieval-Augmented Generation) і/або ​MCP(Model Context Protocol)

Варто зауважити що це механізми з різних архітектурних рівнів.

RAG є архітектурним паттерном. Його треба розуміти як спосіб пошуку релевантних фрагментів у базі додаткових джерел (зазвичай векторна база) і вставки у контекст ШІ моделі.

MCP дозволяє як розширювати контекст моделі, так і інтегруватись з іншими інструментами, які вміються працювати через MCP. Тобто сам MCP це протокол прикладного рівня, такий собі місток між ШІ та додатковими інструментами та джерелами. Таким чином, протокол є формальною домовленістю між розробниками ШІ та розробниками ПЗ, в якому форматі мають передаватись дані та інструкції між ШІ та ПЗ.

[!NOTE]
MCP з'явився наприкінці 2024, а RAG в 2020. Тож зазвичай RAG використовують без MCP, але через додавання різних інтеграцій у ШІ спостерігається позитивна динаміка інтеграції RAG через MCP. Адже MCP в цьому випадку виступає таким собі стандартизованим оркестратором джерел та інструментів.

graph LR %% Визначення вузлів AI[AI Model] --> MCP1[MCP] AI --> MCP2[MCP] AI --> MCP3[MCP] MCP1 --> RAG[RAG] MCP2 --> API[API] MCP3 --> ETC[etc.] %% Визначення стилів (Classes) classDef aiStyle fill:#f9f,stroke:#333,stroke-width:2px; classDef mcpStyle fill:#bbf,stroke:#333,stroke-width:1px; classDef resourceStyle fill:#fff,stroke:#333,stroke-dasharray: 5 5; %% Призначення класів вузлам class AI aiStyle; class MCP1,MCP2,MCP3 mcpStyle; class RAG,API,ETC resourceStyle;

Різниця між донавчанням, RAG та LLM для нас важлива оскільки визначає рівень роботи з даними

Якщо модель взагалі не містить потрібних нам "знань", то донавчання потребує великої підготовки та обчислювальних ресурсів, що можливо для ​маленьких спеціалізованих моделей, але пересічному споживачу, цей метод не підійде, адже вимагає специфічних знань.

LLM зазвичай містять потрібні нам відомості, але вони схильні сильно узагальнювати та галюцинувати. Донавчання для великих мовних моделей потенційно надскладне/неможливе для пересічного споживача, оскільки вимагає дуже велику обчислювальну потужність та людський ресурс для підготовки датасетів.

RAG + MCP(опціонально) для описаних вище цілей, на мою думку, найкращий спосіб розширити можливості моделі. Не вимагає стільки ресурсів як донавчання. Крім того, ми можемо комбінувати LLM з RAG контекстом і отримувати точні дані з джерел які ми підібрали для RAG при цьому генерується текст через LLM.