🤖Запусти cвой ИИ Телеграм Бот: ChatGPT, Claude 3.5, Локальные Нейросети🚀

#139  пятница, 29 ноября 2024 г.  среда, 11 декабря 2024 г.  17 минут(ы)  1561 слово

В видео показано, как установить и запустить этот ИИ Телеграм Бот на Windows 10, а также продемонстрирована работа этого бота с использованием локальных нейронных сетей.

Пример работы этого ИИ Телеграм Бота - ChatGPT_d00m4ace_bot

ИИ Телеграм Бот использует gpt-4o/gpt-4o-mini, для изображений dall-e-3 и flux-1.1-pro/flux-schnell.

ИИ Телеграм Бот поддерживает различные команды для работы с текстом и изображениями. Основные команды включают: помощь (/help), очистку истории (/clear), работу с последними загруженными файлами (/lastimg, /lasttxt), анализ изображений (/scan, /scantxt, /scanmd), обработку текста (/text) и генерацию изображений (/image). Доступны три модели для генерации изображений: dall_e_3, flux_schnell (самая быстрая и экономичная) и flux_1_1_pro, переключаемые соответствующими командами. Бот может работать с загруженными текстовыми файлами и изображениями, сохраняет историю последних 10 сообщений для контекста, которую можно очистить командой /clear. При генерации изображений по умолчанию включена помощь AI для улучшения промптов (можно отключить через /toggle_ai_prompt). Также доступна опция использования mini_llm для снижения расходов (/toggle_mini_llm). Для команд анализа изображений и текста можно добавлять дополнительные уточняющие запросы.

Команды администратора для управления ботом включают: установку пароля (/admin set password), создание ключа регистрации (/admin new_reg), управление доступом новых пользователей (/admin set new_users), настройку требования пароля (/admin set use_password), установку разрешенных языков (/admin set langs), ограничение максимального числа пользователей (/admin set max_users), просмотр статистики бота (/admin stats), управление списком пользователей (/admin users) с возможностью их бана/разбана (/admin user_ban), установку/снятие режима паузы бота (/admin pause) и вызов справки по командам (/admin help).

Создание нового Telegram бота

1. Перейдите в Telegram @BotFather
2. Отправьте команду /newbot боту @BotFather
3. Выберите имя для вашего бота (может быть любым). Например: MY AI BOT
4. Придумайте username для бота, который должен заканчиваться на "bot". Например: my_ai_l4m94d_bot
5. После создания бота вы получите:
   • Ссылку на вашего бота (t.me/имя_вашего_бота)
   • Возможность добавить описание и фото профиля
   • Список доступных команд через /help
   • HTTP API токен для управления ботом. Например: 7580822112:AAHljenfoBbJgngjmoAf1nbI1_XplI3rSgg

⚠️ Важно: Храните токен в безопасном месте! Он дает полный доступ к управлению ботом.

Задайте список команд через BotFather

1. Отправьте следующую команду @BotFather: /setcommands.
2. Выберите вашего бота из списка.
3. Введите команды в формате:

команда1 - описание первой команды
команда2 - описание второй команды

Пример набора команд для данного ИИ Телеграм Бота:

help - Показать доступные команды
balance - Проверить текущий баланс
clear - Очистить историю диалога
lastimg - Показать последнее загруженное изображение
lasttxt - Показать последний загруженный текстовый файл
scan - [запрос] Описать содержимое последнего загруженного изображения
scantxt - [запрос] Распознать текст на последнем загруженном изображении
scanmd - [запрос] Преобразовать последнее загруженное изображение в markdown
text - [запрос] Обработать последний загруженный текстовый файл с дополнительным запросом
image - [описание] Сгенерировать изображение по описанию
toggle_ai_prompt - Включить/выключить помощь AI для промптов при генерации изображений
toggle_mini_llm - Включить/выключить использование всегда mini_llm (значительно снижает расходы)
use_img_dall_e_3 - Переключиться на модель dall_e_3 генерации изображений
use_img_flux_schnell - Переключиться на модель flux_schnell генерации изображений
use_img_flux_1_1_pro - Переключиться на модель flux_1_1_pro генерации изображений
limits - Показать лимиты на текущий день

Установка и запуск Telegram-бота

1. Загрузить собственный Telegram-бот как архив telegram_ai_bot.zip
2. Распакуйте содержимое архива в корень диска C: (или в другое место, но не слишком глубоко и без пробелов).
3. Откройте файл config\_tgbot_ai_config.json в удобном для вас текстовом редакторе (например Notepad или Notepad++).
4. Найдите поле "token" и замените его значение на ваш Telegram HTTP API токен полученый ранее в @BotFather
5. Сохраните изменения в файле config\_tgbot_ai_config.json
6. Откройте командную строку (cmd.exe).
7. Перейдите в каталог C:\telegram_ai_bot: cd C:\telegram_ai_bot
8. Запустите файл запуска Telegram-бота _tgbot.bat: _tgbot.bat

Установка и запуск локального сервера с ИИ-ботом

Важно: Перед запуском локального сервера с ИИ-ботом вам нужно установить инструментарий d00m4ace AI toolchain, если вы решили использовать локальные нейросети. Вся установка выполняется автоматически в один клик (точнее, запуск одного файла setup.bat сделает все автоматически).

Установка и запуск d00m4ace AI toolchain на Windows 10

Если вы предпочитаете использовать только API-ключи от OpenAI, Anthropic или Google, то Вы можете не устанавливать и не запускать d00m4ace AI toolchain.

Теперь вам нужно запустить локальный сервер с ИИ-ботом, к которому будет обращаться ваш Telegram-бот.

Конфигурация нейросетей и API ключей

Откройте файл конфигурации ИИ-бота config\_bot_ai_config.json в удобном для вас текстовом редакторе (например Notepad или Notepad++).

Основные модели LLM (Large Language Models):

1. OpenAI

   • GPT-4o
   • Требует: OPENAI_API_KEY

   "chat_llm": { "url":"openai", "model":"gpt-4o" },

   "mini_llm": { "url":"openai", "model":"gpt-4o-mini" },

   "vision_llm": { "url":"openai", "model":"gpt-4o" },

2. Claude (Anthropic)

   • Claude 3.5 Sonnet/Haiku
   • Требует: ANTHROPIC_API_KEY

   "chat_llm": { "url":"claude", "model":"claude-3-5-sonnet-20241022" },

   "mini_llm": { "url":"claude", "model":"claude-3-5-haiku-20241022" },

   "vision_llm": { "url":"claude", "model":"claude-3-5-sonnet-20241022" },

3. Google Gemini

   • Gemini 1.5 Pro/Flash
   • Требует: GEMINI_API_KEY

   "chat_llm": { "url":"genai", "model":"gemini-1.5-pro" },

   "mini_llm": { "url":"genai", "model":"gemini-1.5-flash-8b" },

   "vision_llm": { "url":"genai", "model":"gemini-1.5-flash" },

4. Локальные модели

   Вместе с инструментарием d00m4ace AI toolchain вы можете установить Ollama для локального запуска других моделей нейронных сетей.

   Полные инструкции по установке Ollama в Windows 10

   • Llama 3.2, Qwen 2.5, DeepSeek Coder и другие локальные модели доступные в Ollama
   • Поиск локальных моделей для установки: https://ollama.com/search

   "chat_llm": { "url":"http://localhost:9117", "model":"llama3.2-vision:11b-instruct-q8_0" },

   "mini_llm": { "url":"http://localhost:9117", "model":"llama3.2-vision:11b-instruct-q8_0" },

   "vision_llm": { "url":"http://localhost:9117", "model":"llama3.2-vision:11b-instruct-q8_0" },

   "chat_llm": { "url":"http://localhost:9117", "model":"llama3.1:8b" },

   "mini_llm": { "url":"http://localhost:9117", "model":"llama3.1:8b" },

   "chat_llm": { "url":"http://localhost:9117", "model":"qwen2.5-coder:14b-instruct-q8_0" },

   "mini_llm": { "url":"http://localhost:9117", "model":"qwen2.5-coder:14b-instruct-q8_0" },

   "chat_llm": { "url":"http://localhost:9117", "model":"qwen2.5-coder:32b" },

   "mini_llm": { "url":"http://localhost:9117", "model":"qwen2.5-coder:32b" },

   "chat_llm": { "url":"http://localhost:9117", "model":"llama3.2-vision:11b-instruct-fp16" },

   "mini_llm": { "url":"http://localhost:9117", "model":"llama3.2-vision:11b-instruct-fp16" },

   "chat_llm": { "url":"http://localhost:9117", "model":"deepseek-coder-v2:16b" },

   "mini_llm": { "url":"http://localhost:9117", "model":"deepseek-coder-v2:16b" },

   "chat_llm": { "url":"http://localhost:9117", "model":"deepseek-coder-v2:16b-lite-instruct-q8_0" },

   "mini_llm": { "url":"http://localhost:9117", "model":"deepseek-coder-v2:16b-lite-instruct-q8_0" },

   "chat_llm": { "url":"http://localhost:9117", "model":"mistral-small:22b" },

   "mini_llm": { "url":"http://localhost:9117", "model":"mistral-small:22b" },

Установка num_ctx для локальных моделей Ollama:

Параметр num_ctx в контексте моделей машинного обучения, таких как те, которые используются в библиотеке Ollama, обычно относится к количеству токенов контекста, которые модель может обрабатывать одновременно. Установка num_ctx определяет, сколько предыдущих токенов (слов или символов) модель может учитывать при генерации следующего токена или ответе. Это важно для поддержания согласованности и связности в более длинных текстах.

Контекстные токены — это те части входного текста, которые модель рассматривает, чтобы предсказать или объяснить следующий токен. Увеличение значения num_ctx позволяет модели видеть больше предыдущего текста, что может улучшить качество ее предсказаний в задачах, где контекст имеет значение. Однако это также может увеличить использование памяти и времени обработки.

При настройке num_ctx вам нужно найти баланс между качеством результатов и производительностью модели. Зачастую, если ваш текст большой и требует понимания глобальных связей, может потребоваться большее значение num_ctx, а если текст короткий или контекст менее важен, меньшего значения может быть вполне достаточно.

Значение по умолчанию: По умолчанию num_ctx в библиотеке Ollama установлено на 2048 токенов, что может быть достаточно для коротких взаимодействий, но может ограничить производительность в более сложных сценариях. Однако в нашей конфигурации есть опция «по умолчанию» (см. "default"), которая имеет другое значение, а именно 8192, что вполне достаточно для большего количества вариантов работы, а также учитывает рост контекстного окна в более новых моделях.

Пользователи могут установить num_ctx на более высокие значения, такие как 8192 или даже 16384, в зависимости от возможностей модели и доступного оборудования.

Компромисс: Однако установка большего num_ctx может привести к увеличению времени отклика, поскольку обрабатывается больше данных. Поэтому необходимо балансировать между размером контекста и производительностью в зависимости от конкретных случаев использования

Примеры моделей и их значений num_ctx в файле конфигурации ИИ-бота:

    "ollama_num_ctx": {
        "llama3.2-vision":16384,
        "llama3.2":16384,
        "llama3.1":16384,
        "qwen2.5-coder":16384,
        "deepseek-coder-v2":16384,
        "mistral-small":131072,
        "phi3:mini":4096,
        "phi3:medium":4096,
        "phi3":8192,
        "default":8192
    },  

Если вы хотите изменить значение num_ctx для какой-либо модели, просто замените соответствующее значение. Например, если вы хотите уменьшить num_ctx для модели llama3.2, вы можете изменить его следующим образом:

    "ollama_num_ctx": {
        ...
        "llama3.2": 65536
        ...
    },

Модели генерации изображений:

1. Локальная модель

   • Модель из d00m4ace AI toolchain

   "local_model": { "url":"http://localhost:8066", "model":"", "prompt_ai":"Write a prompt in English for generating AI images based on user input:\n" },

2. DALL-E 3

   • Требует OpenAI API

   "dall_e_3": { "url":"openai", "model":"dall-e-3", "prompt_ai":"Write a prompt in English for generating AI images based on user input:\n" },

3. Replicate модели

   • Требует: REPLICATE_API_TOKEN
   • Включает: Flux, SDXL, Ghibli стили

   "flux_schnell": { "url":"replicate", "model":"black-forest-labs/flux-schnell", "prompt_ai":"Write a prompt in English for generating AI images based on user input:\n" },

   "flux_1_1_pro": { "url":"replicate", "model":"black-forest-labs/flux-1.1-pro", "prompt_ai":"Write a prompt in English for generating AI images based on user input:\n" },

   "sdxl": { "url":"replicate", "model":"stability-ai/sdxl", "prompt_ai":"Write a prompt in English for generating Stable Diffusion XL images based on user input:\n" },

   "sdxl_lightning_4step": { "url":"replicate", "model":"bytedance/sdxl-lightning-4step", "prompt_ai":"Write a prompt in English for generating Stable Diffusion XL images based on user input:\n" },

   "flux_ghibli": { "url":"replicate", "model":"aleksa-codes/flux-ghibsky-illustration", "prompt_ai":"Write a prompt in English for generating Stable Diffusion XL images based on user input:\n" },

Важные параметры:

- `MAX_FILE_SIZE`: Максимальный размер файла для загрузки в бот
- `MAX_FILE_CONTENT_LENGTH`: Максимальный размер файла для команды /text
- `daily_limit_*`: Ограничения на запросы
- `cmd_wait_time`: Время ожидания между командами

Настройка API ключей:

Все API ключи должны быть получены на соответствующих платформах и добавлены в конфигурационный файл.

OPENAI_API_KEY: https://platform.openai.com/settings/organization/api-keys

ANTHROPIC_API_KEY: https://console.anthropic.com/settings/keys

GEMINI_API_KEY: https://aistudio.google.com/apikey

REPLICATE_API_TOKEN: https://replicate.com/account/api-tokens

    "OPENAI_API_KEY": "sk-ваш-ключ",    
    "ANTHROPIC_API_KEY": "sk-ant-ваш-ключ",
    "GEMINI_API_KEY": "ваш-ключ",
    "REPLICATE_API_TOKEN": "ваш-токен",

Запуск локального сервера с ИИ-ботом

1. Сохраните изменения в файле config\_bot_ai_config.json
2. Откройте командную строку (cmd.exe).
3. Перейдите в каталог C:\telegram_ai_bot: cd C:\telegram_ai_bot
4. Запустите файл запуска Telegram-бота _bot_ai.bat: _bot_ai.bat

Позже будут и другие ИИ Телеграм Боты. Следите за обновлением!