Михаил, в рекомендациях ютуба нашел ваше это видео. Начал смотреть, почти сразу понял что это что-то действительно полезное, а не очередной пересказ и общий обзор. Браво! Вы производите впечатление человека который действительно разбирается в вопросе. Так держать! Сразу на ваш канал подписался, и в Ютубе и в Телеге. Теперь замечание практического характера: с помощью ваших же ИИ ассистентов прорабатывайте и сценарий и текст ваших роликов, чтобы повысить доходчивость материала, вся мощь ИИ в ваших руках. Успехов!
@MrDewiar4 ай бұрын
Благодарен за дельный совет. Буду стараться улучшать качество донесения информации. Будем развиваться
@astrofinans4 ай бұрын
Прекрасный канал. Абсолютно индивидуальный. Я подписан на сотни каналов ИИ, которые пересказывают одно и тоже, но ваш выделяется особо, чисто авторский эксклюзив.
@MrDewiar4 ай бұрын
Как приятно услышать такое мнение.. Буду стараться улучшать качество материала, очень такие, как Ваш комментарии помогают в этом
@Rizz_The_One3 ай бұрын
поддерживаю
@MrDewiar3 ай бұрын
Благодарю 🤝
@smileizerАй бұрын
Максимальная благодарность автору, от Сибирских бояр).. низкий поклон до Земли за качественный контент..
@АндрейПушкарь-о9ъ4 ай бұрын
Спонсор покоза - формат Маркдаун! А если серьезно, спасибо огромное за идею и программу! Я ,например, когда пользовался промтированием я даже и не думал как нейронка видит текст и если это позволит ему действительно лучше работать то это прекрасно! Идея потрясающая, выражаю благодарность)
@MrDewiar4 ай бұрын
Хорошее начало, улыбнуло! Спасибо за комментарий
@pawepolyakov34513 ай бұрын
Очень интересно для меня - интересуюсь темой ИИ сотрудников и помощников, но я ещё в самом начале пути. Благодарю за создание ролика и программы, считаю, что это приносит реальную пользу тем, кто уже использует нейросети ежедневно.
@MrDewiar3 ай бұрын
Благодарю!
@yabaolu5674 ай бұрын
Приветствую.Благодарю за безвозмездный труд и просвещение подписчиков и не только.
@MrDewiar4 ай бұрын
Спасибо Вам!
@MyKashiwa2 ай бұрын
Случайно наткнулся на Ваше видео. Вы ответили на многие мои вопросы! СПАСИБО! Я репетитор японского языка, делаю себе помощника ИИ. Вы очень помогли продвинуть мою работу.
@stas23cm2 ай бұрын
он адский хацкер) у самурая нету цели....
@MrDewiarАй бұрын
Здравствуйте, сделал новые возможности, теперь, Вы можете напрямую загрузить книги по Японскому в базу данных ИИ kzbin.info/www/bejne/gJbUcpend6aSj9Esi=Ryplgqlhfv_dp7-K
@MrDewiarАй бұрын
Это точно)
@msistem20254 ай бұрын
Спасибо Михаил. Только не бросайте записывать свои замечательные видео. Все очень круто залетает и контент очень ценный. Буду тестировать и наверняка использовать. Успехов вам!
@MrDewiar4 ай бұрын
Спасибо Вам большое. Буду продолжать начатое.. готовлю новые материалы
@domovoii4 ай бұрын
Я в своей локальной сети установил базовую нейронку и дообучил её своей нужной информацией, про свою жизнь, семью, семейные традиции, семейные рецепты, природную медицину без химии, про настоящую историю, про плоскую землю...Очистил её от псведоученых теорий, которыми забивают голову со школы. Получилась шикарная модель. Теперь мои дети и родные получают достоверную информацию
@irvicon4 ай бұрын
Сократ говорил: "Чем больше я знаю, тем больше я понимаю, что ничего не знаю"... а вы говорите - получилась шикарная модель 🤔
@ewgeniyk48944 ай бұрын
Напиши мне у меня такая же модель, только есть нюанс ты ее запромтил - я а хочу подключить векторную базу, но пока не могу найти решения - цель выводить диалоговое окно для всех людей - по ссылки
@ivanshipilov42654 ай бұрын
Ты забыл в неё забить что земля была создана за 7 дней 😉. И что люди воюют чтобы их не стало слишком много. Потому что, когда их на одной стороне диска скапливается больше чем надо, диск земли может соскользнуть со спины слона и упасть за горизонт. 🤣🤣🤣
@DeadRabbitCanDance4 ай бұрын
Техножрецы одобряют ваш поступок!
@alhimik284 ай бұрын
Земля плоская???😂😂😂😂😂😂😂Нейросеть услышала это и отключилась навсегда 😂😂😂😂😂😂
@vladimirsikora4 ай бұрын
Благодарю, Михаил! Классыный инструмент! Только что использовал его для Gemini и сработало отлично! Удачи тебе в делах твоих!
@MrDewiar4 ай бұрын
Очень рад, что Вам пригодилось!
@atanov.aleksey23 күн бұрын
Офигенное видео! Не понимаю почему мне раньше Ваш канал не попадался. Подписался на телеграмм, очень полезная для меня информация, на самом деле
@MrDewiar22 күн бұрын
Алексей, отлично! Буду рад, если смогу принести пользу
@ДзенПробудист2 ай бұрын
Благодарю за видео, Михаил! Я хоть только начинаю потихоньку осваивать GPT , но понимаю что программа отличная, и ты всё очень понятно объяснил. Однозначно лайк и подписка!!! Удачи! Благодарю за труд!
@MrDewiar2 ай бұрын
Спасибо, и самого доброго Вам в ответ желаю
@2742-z5x4 ай бұрын
Михаил, ну что вы творите?))) Каждый ваш ролик это просто супер-мега- шикардос!))) Ну вы даете! Какие же вы молодцы! Успехов вам и дальнейшего развития!❤
@MrDewiar4 ай бұрын
=) крутой комментарий! Спасибо!!!
@AlexiusPE4 ай бұрын
Спасибо! Очень интересная информация даже для рядового пользователя чата ЖПТ😊
@MrDewiar4 ай бұрын
Спасибо за хороший комментарий!
@ТретийАккаунт-ъ5ь2 ай бұрын
Нужно нейросетью распознавать и ввести функцию - удалять из топового места под видео всё это ваше благодарственное и комплиментарное в самый низ - или даже совсем не загружать это по умолчанию для всех желающих... Буквально, делить на две три части ленту коментов, с отдельным там местом для вас - ваших этих благодарностей и комплиментов, которому собственно предназначена функция - лайкать видео и поставить лайк - всем тем кто вас опередил и всё уже сказал тут - десятки тут уже раз до вас уже все это сказавшие, - это чтоб не терять время на чтение этих десятков бесполезных ваших спасибо благодарю, привет как дела, всего доброго, удачи, подписался, рекомендовал вас порекомендовать
@MrDewiar2 ай бұрын
@@ТретийАккаунт-ъ5ь этим Ютуб должен заниматься, сам я нейронку сюда не прикручу, нет такого API у сервиса
@ТретийАккаунт-ъ5ь2 ай бұрын
@@MrDewiar Та-это всё по приколу у меня такое пишется - везде и повсюду под настроение всякое разное - порой портянка в пять тысяч символов... Чтоб все про это читали и на будущее меньше засоряли пространство под видео - и больше лайкали друг друга... . Ну невозможно как тяжело - когда программой слушаешь по пятьсот коментов и половина это благожелательный контент. и всё это озвучивается, и что-то по десять раз монотонное повторяется одинаковое - прерываясь как на рекламные вставки... Приходится заморачиваться перед прослушиванием и в ручную выгребать это в редакторе по ключевым словам в их таких текстах!..
@LobanovIgorАй бұрын
Случайно наткнулся на ваше видео.Это то что нужно! Спасибо за такую ценную и полезную информацию. .
@MrDewiarАй бұрын
Благодарю Вас за положительный отзыв
@paveldukov3 ай бұрын
Михаил, огромное спасибо за вашу работу! Данное ПО, пока лучшее☝️, что удалось найти в сети по части промптинга.
@MrDewiar2 ай бұрын
Павел, благодарю. На лнях сделаю большое обновление, будет много полезного и очень ценного, поделюсь новыми гранями в промптинге
@oliverhann4 ай бұрын
Спасибо! Михаил, так приятно и познавательно смотреть Ваши видео. Я экспериментировал много с форматами для AI и самый лучший результат у меня, если речь иде о объемных документах, показывают векторные базы данных. я документы закидываю в pinecone и векторизую. Тогда AI показывает глубокое понимание текста и ищет "смысл", причем очень быстро и даже если запрос сформулирован коряво. обязательно потестирую предложенный Вами вариант.
@MrDewiar4 ай бұрын
Это отличное решение. Я просто хотел сделать то, что можно, на стороне пользователя. А сейчас я занимаюсь запуском своей собственной векторной базы.. как раз работаю с этим
@Aion8884 ай бұрын
Автору респект! Шикарный материал! 👏 Лайк и подписка однозначно
@MrDewiar4 ай бұрын
Огромное спасибо! По этой теме будет еще более полезный материал, сейчас прорабатываю технологию.
@SV-13Ай бұрын
Ух ты ж, какая круть! Придётся пересмотреть ещё раз, и не один!..
@MrDewiarАй бұрын
Благодарю за положительный комментарий. Надеюсь, это принесет Вам пользу!
@ВитаморЕфремов8 күн бұрын
САМОЕ ГЛАВНОЕ, чтобы использовать искусственный интеллект себе во благо, необходимо прежде всего обладать собственным человеческим интеллектом. Если дуб, как дерево, ИИ не поможет 😊
@MrDewiar3 күн бұрын
Абсолютно согласен с Вами. Сила в комбинаторном интеллекте, где естественный усиляется искусственным)
@Ермак-с7ю2 күн бұрын
Спасибо, Михаил! Очень полезная штука!
@rightmelancholy11702 ай бұрын
Хорошая подача и мысли. Сам работаю нон-стоп с нейросетками, гружу документы и прогаю, но если текст нормально разбит по главам и по пункатам, то он будет адекватно считан и без такого перевода. Будто особого смысла использовать этот конвертер в платной версии нет, даже если его воспринимать как некий канвас, потому что в итоге все равно текст по частям редактируешь, так как так быстрее, чем заново грузить весь промпт
@rightmelancholy11702 ай бұрын
Работа вообще хорошая, дизайн класс, но выигрыш неочевидный, если это является каким-то платным решением. Как фича сойдет
@MrDewiarАй бұрын
Здравствуйте. Посмотрим, это все делается по вдохновению, я сам не знаю, во что выльется проект. Просто стараюсь развивать, потому что не могу этого не делать.
@v_veber4 ай бұрын
Очень интересно. Спасибо за контент. Как раз был в поиске подобной хмл системы. Руками не очень нравится а суть часто теряют без хмл гпт. Успехов вам 🎉❤
@MrDewiar4 ай бұрын
Благодарю, рад, что Вам может пригодиться!
@alivent8073 ай бұрын
не шарю в ИИ, но даже я увидел, что тулза очень полезная. Блин, осталось освоить нейронки, чтобы ее применить. Автор красавчик!
@MrDewiar3 ай бұрын
Спасибо Вам. Будет время, сделаю обучающий курс с нуля, чтобы было просто погрузиться.
@valeryvvs9091Ай бұрын
Благодарю, действительно очень полезная вещь, буду пробовать, заинтриговали) лайк, подписка
@MrDewiarАй бұрын
Валерий, спасибо. Надеюсь, ожидания оправдались
@ЕленаАнатольевна-м9в3 ай бұрын
Ютуб выдал ваше видео в качестве рекомендации. Очень полезное видео. Комментарий для продвижения канала. Пусть хорошие люди смотрят больше хороших видео.
@MrDewiar3 ай бұрын
Спасибо Вам большое за помощь!
@cvby55ujuytfhu55ijgy2 ай бұрын
Идеально структурированая и важная инвормация. Спасибо вам. Подписался!
@MrDewiar2 ай бұрын
Это только фрагмент, готовлю новую важную информацию, уже покажу в ближайшее время. Добавим к промптам векторные встраивания, технология RAG
@vasilipopov43134 ай бұрын
Спасибо, что делитесь несомненной пользой, подписка и лайк!
@MrDewiar4 ай бұрын
Василий, спасибо Вам
@МихаилБелый-р9б4 ай бұрын
Михаил спасибо, как всегда полезно и спасибо за программу
@MrDewiar4 ай бұрын
Спасибо Вам за высокую оценку!
@АлександрВячеславович-ы2уАй бұрын
структурированая и важная инвормация. Спасибо вам. Подписался!
@MrDewiarАй бұрын
Вблагодарю Вас
@metacaty4 ай бұрын
Спасибо за работу. Респект👍🤝🎉
@MrDewiar4 ай бұрын
Вам спасибо за комментарий 👍
@tik92234 ай бұрын
Огромное спасибо, Михаил за видео. Очень полезная разработка.
@MrDewiar4 ай бұрын
Спасибо, будут улучшения уже в ближайшее время. Постараюсь добавить массовую загрузку файлов разных форматов. Это могло бы упростить работу с большим количеством разнородных файлов.
@dolotube4 ай бұрын
Привет. Идея для продолжения - подключить ИИ для замены оформляемого на подробный пересказ основных тезисов, которые ИИ смог бы использовать по назначению. Чтобы текст еще сильнее ужался, избавившись от лишнего, предназначенного для человеческого восприятия: иллюстрации, ирония, реклама, cta и т.д. Основная сложность - ужимать нужно последовательно каждую фразу, каждый абзац или каждый параграф, чтобы балансировать между скоростью работы и потерями смысла. Ну и заголовки для ИИ нужны совсем другие, следует ему самому предложить создать иную структуру. И для этого нужен не тривиальный промпт пересказа. P.S. И это не "подготовка идеального промпта", всё же. Промпт - ты такой-то, сделай то-то. Здесь же набор фактов - Вася считает так, в пирамиде на стене написано так, свет преломляется так.
@MrDewiar4 ай бұрын
Это хорошая идея. Предложить ИИ самому проработать результат ужав его, не потеряв при этом все важное, смыслы.. убрав всю воду, без которой можно обойтись.. - я себе добавил это в задачи. Очень хорошая мысль.
@drumcord3 ай бұрын
@@MrDewiarА как же язык эзопа, отсылки к культурным и историческим событиям? Нейронки с этим часто лажают. Я бы не стал надеяться на них, при необходимости анализировать тексты для себя. Особенно живую человеческую речь, а не технологические отчёты. Там где всё по правилам, без иронии и отклонения от изложения. Без отсылок и аллегорий, там нейронка справится возможно. Если человек получает чуток свободы в написании текста, вего мысли могут быть восприняты неверно, и вся логическая цепь "нейро-конспекта" посыпется. Если ужимать как вы хотите, и не сверять потом вручную ) Эдак много можно нагенерить
@Chloe_37133 ай бұрын
А нейронки могут в принципе обучиться распознавать эзопов язык, аллегории, метафоры с многоуровневыми смыслами? Например, декодировать Библию с её несколькими уровнями аллегорического прочтения?..
@MrDewiar3 ай бұрын
@@Chloe_3713 да, могут, и даже хорошо справляются
@drumcord3 ай бұрын
@@Chloe_3713 Библия, это одна из таких книг, как предсказания Нострадамуса, написанных специально так, чтобы можно было переворачивать и толковать как выгодно. Она то может выявить шифр, а может найти двойной смысл там - где его нет. Ведь люди тоже этого не лишены. Некоторые в тестовых печатях принтера находят послания с планеты "Нибиру" В итоге нейронка может выдавать все толкования которые она увидела в тексте, с каких сторон она его рассмотрела, и как понимала. А выбирать нужно будет человеку - читая уже не основной текст - а десятки нейро-рецензий на него, с мнениями псевдо-толкователей. Других реализаций я ещё не видел, и эта самая логичная по сути. Иначе есть риск утраты смыслов и контекстов, или хуже - подмена и неверная интерпритация. Комедия "Марс атакует": "Мы пришли с миром"
@МарияКравцова-б1п2 ай бұрын
Невероятно круто! Спасибо большое!
@MrDewiarАй бұрын
Мария, здравствуйте. Я многое улучшил на днях. Надеюсь, Ваш опыта работы с промптами станет более удобным. Вот здесь новые подходы и методы: kzbin.info/www/bejne/gJbUcpend6aSj9Esi=Ryplgqlhfv_dp7-K
@snitkovski3 ай бұрын
Михаил, обратите внимание на инструмент Obsidian - он тоже позволяет конвертировать что угодно в Markdown, кроме того имеет возможность расширения при помощи Плагинов Например, вы можете скопировать ссылку на статью в браузере в буфер обмена и одной кнопкой Obsidian "затащит" её в себя с автосохрахением в Markdown (и многое другое)
@MrDewiar3 ай бұрын
Да, это один из вариантов. А еще появились нейросети, которые более тонко переводят html в markdown, буду тестировать новые способы. А в этом продукте сейчас думаю сделать возможность подсчета итоговых токенов, чтобы избежать превышения контекстного окна выбранной модели ИИ. Также, может быть добавлю сюда чат, сразу тестировать как будет отвечать ассистент с учетом сделанных правок.
@oleksiysolowayko2 ай бұрын
@@MrDewiar Обязательно, Tiktoken (libs for python, C# etc..) - the best
@jollyroger30754 ай бұрын
Спасибо, автору здоровья и успехов!!!
@MrDewiar4 ай бұрын
Взаимно, самого доброго Вам
@IlliaShkurenko4 ай бұрын
Отличный контент. Хотелось бы увидеть про разные способы улучшить качество RAG
@MrDewiar4 ай бұрын
Благодарю за интерес. По RAG будет отдельное техническое решение и отдельное видео. Тружусь над этим
@cliphab4 ай бұрын
Отлично, спасибо за ценный материал! Я думала, что уже почти все знаю про обучение моделей)
@MrDewiar4 ай бұрын
Самое интересное впереди! Сейчас тестирую абсолютно новый подход, Вы будете удивлены
@elenalevasheva38304 ай бұрын
Спасибо За выпуск . Очень интересно и полезно.
@MrDewiar4 ай бұрын
Вам спасибо!
@broavell56124 ай бұрын
Мишенька у меня предложение отснимите полноценный урок обучающий по вашей программе. Уже имеющиеся возможности очень впечатляют. Но разрозненность видео на ютюб 😢 не даёт компактно делиться ссылкой с друзьями и не создаёт общей картинки для пользователей. А я очень хочу всем всем всем рассказывать о вас и делиться своим восторгом от вашей программы!
@MrDewiar4 ай бұрын
Такие хорошие слова. Очень приятно читать такое. Я пока еще многое меняю в программе, она может измениться в ближайшем времени. Прямо сейчас добавляю несколько новых функций. Так пока никак не могу сосредоточиться на обучении, хочется побольше сделать в виде кода.
@AlbinaZakirova794 ай бұрын
Это очень круто, спасибо большое! Тысячу лайков , если бы можно было поставить , поставила бы. Для такой полезной инфы не жалко)
@MrDewiar4 ай бұрын
Большущее спасибо! Самое интересное еще будет впереди.. есть еще одно очень сильное решение для увеличения эффективности работы с ИИ.. скоро покажу
@ruslanvist99584 ай бұрын
Контент просто находка! Спасибо автору канала за огромный труд и интересные решения! Сайт приятно удивил. Кто делал дизайн? Какую CMS используете?
@MrDewiar4 ай бұрын
Здравствуйте. Никаких CMS не использую, весь код написан вручную своими руками. Очень неожиданных положительный отзыв, я далеко не дизайнер, приятно, что дизайн Вам показался хорошим
@janir22132 ай бұрын
@@MrDewiar Дизайн сайта захватывает. Очень даже трендовый - и про ИИ, и выглядит соответственно.
@MrDewiar2 ай бұрын
@@janir2213 благодарю!
@vadim.insite4 ай бұрын
Благодарю за видео и ваш труд. Это полезно. Как раз создаю ии ассистента где это очень пригодится.
@MrDewiar4 ай бұрын
Спасибо за Ваш комментарий. Желаю успешного применения!
@andreimiasnikov67143 ай бұрын
посмотрел видео и понял что вообще ничего не знал. лайк и подписка однозначно. у таких как ты нужно учиться.
@MrDewiar3 ай бұрын
Андрей, спасибо. Готовлю новый материал, значительно более мощный. Будем переходить от маркдаун разметке к векторным базам данных, которые позволят сделать промпты очень маленькими и дешевыми.. скоро покажу
@andreimiasnikov67143 ай бұрын
@@MrDewiar отлично. ждём
@Widely763 ай бұрын
Благодарю вас. Это видео было очень полезным.
@MrDewiar2 ай бұрын
Спасибо Вам. Я так поздно ответил, потому что все это время развивал это, готовлю новое решение, значительно более эффективное и полезное. Скоро покажу
@Slava-kn3jf2hy7g2 ай бұрын
Благодарю Вас за классное видео пояснение !
@MrDewiar2 ай бұрын
Спасибо Вам за положительный комментарий!
@nadezhda8150Ай бұрын
Михаил, спасибо за видео. Хочу применить на практике, но почему-то ссылка под описанием на инструмент markdown не открывается. Пробовала в 4-ех браузерах. Или 504, или пустая страница.
@MrDewiarАй бұрын
Надежда, были атаки на сайт. Не работал какое-то время
@717Fang2 ай бұрын
Да website у вас классно сделан . Подобного раньше не видел.
@MrDewiar2 ай бұрын
Неожиданно.. спасибо, но я думаю, что сильно есть над чем в нем поработать.. 🤝
@717Fang2 ай бұрын
@@MrDewiar Классно смотрится на экране Ipad 🙂
@Y._11-2517 күн бұрын
Обьяснить в какую ячейку что относится элементарно. А какие токены? Все прнкрасно работвет
@SplashT4 ай бұрын
спасибо! комментария в поддержку канала. лайк и подписка
@MrDewiar4 ай бұрын
Спасибо за комментарий!
@olgakremko37552 ай бұрын
Подскажите, пожалуйста, как загрузить в GPT книги, презентации. Требования к экзаменам.
@MrDewiarАй бұрын
Здравствуйте. Все это время работал как раз над этим, вот kzbin.info/www/bejne/gJbUcpend6aSj9Esi=Ryplgqlhfv_dp7-K
@nadezhda8150Ай бұрын
Спасибо! Ссылка открылась.
@MrDewiarАй бұрын
Отлично
@СпециальныйагентСтивенс-ФБР3 ай бұрын
То есть я так понимаю что если например пере конвертировать csv в формат markdown и передать через LM Studio какой ни будь LLM, то LLM корректно прочитает полученную информацию?
@MrDewiar3 ай бұрын
Оно корректно прочитает и в html, и обычным текстом. Формат markdown помогает LLM не запутаться с блоками информации, если их много. И кстати, формат csv можно не конвертировать, это хороший формат, он отлично понимается ИИ
@СпециальныйагентСтивенс-ФБР3 ай бұрын
@@MrDewiar Пробовал я и meta-llama 3.1-8b и qwen2.5-14b загружать csv в 60 строк и 5 столбцов... поспрашивал по таблице и ни разу даже близко верного ответа не было.
@MrDewiar3 ай бұрын
@@СпециальныйагентСтивенс-ФБР Интересно даже посмотреть, может сама структура csv ломанная? Очень странно. А может быть просто модельки очень маленькие, и они просто путаются.
@СпециальныйагентСтивенс-ФБР3 ай бұрын
@@MrDewiar С csv всё в порядке, Llama на 4.57, а qwen на 8.37 гига. Да я тоже самое и в pdf пробовал... короче я был в шоке от такого ими анализа))))))))
@СпециальныйагентСтивенс-ФБР3 ай бұрын
@@MrDewiar По этому я нашёл Ваш ролик, понять что за проблема может быть, почему так ужасно он читает csv, просто я сделал вывод что на чтение таблиц эти модели просто не заточены что ли)))
@РоманКудрявский4 ай бұрын
В Вашем подходе есть один большой недостаток: Размер окна запроса. Копайте в сторону RAG. При правильной настройке и парсинге - очень хорошие результаты. Таблицы лучше всего использовать не markdaun а csv. Парсить в векторные БД нужно не просто на блоки с определенным количеством символов, а вначале разбить на логические элементы, затем добавить дополнительные теги которые содержат информацию для связывания. Например имя файла, имя главы, № абзаца. Таблицы заносят как отдельные документы.
@MrDewiar4 ай бұрын
Очень ценный комментарий. Уже вкопался, и уже делаю решение! Вы очень умный человек..
@MrDewiar4 ай бұрын
Интересен момент с разбивкой на логические элементы. Зачем они нужны, если вектор хорошо работает и с простыми чанками. Может быть у Вас будет ссылка на материал или личный опыт?
@РоманКудрявский4 ай бұрын
@@MrDewiar Личный опыт. Поиск в RAG, в классическом виде работает следующим образом: по поисковому запросу выдается N ближайших соседей по векторным представлениям. Они выдаются в виде документов. Потом, уже в зависимости от вашего кода, но скорее всего вы на первоначальном этапе не будете заморачиваться с отбором результатов поиска, эти поисковые ответы передаются в запрос к нейросети как факты. Так вот, при обычном подходе, у Вас может одно предложение/абзац/глава оказаться в разных чанках. Это приведет: 1. К передачи лишней информации в запрос, если например в чанке хранится последнее слово другого фрагмента текста, но которое попадет в выборку. А текущий фрагмент совсем о другом. 2. Обратный эффект, когда не хватило последнего слова для попадания фрагмента текста в поисковую выдачу, хотя реально он (фрагмент) содержит ценную информацию по запросу. Я очень долго боролся с качеством выдачи и единственный способ который нашел - это именно логическое разбиение на фрагменты. Да, пусть они будут намного меньше стандартного размера, но они более информативны и дают лучший результат в конечном итоге.
@РоманКудрявский4 ай бұрын
@@MrDewiar Ум - хорошо. Но главное опыт и знания. Как и для нейросети.
@MrDewiar4 ай бұрын
@@РоманКудрявский Очень своевременно. Огромная Вам благодарность за информацию. Вы очень помогли!
@ROMI_BYАй бұрын
Здравствуйте. Иногда чат бот отдает таблицу в формате маркдаун, можно ли через ваш сервис сделать из нее корректную таблицу хтмл или гугл?
@MrDewiarАй бұрын
Здравствуйте. Возможно это ошибка моего скрипта. Плохо отрабатывает преобразование маркдаун в html на выходе. Буду смотреть этот момент.
@ROMI_BYАй бұрын
@@MrDewiar Извиняюсь, не до конца понятно спросил. Мне чат бот в ТГ отдает таблицу в формате маркдаун, я бы хотел через ваш сервис сделать ее в обычном виде - хтмл или csv . Возиожно ?
@youtubsvetlzhirova3 ай бұрын
Так красиво говорите о бесплатном, НО ни единого разу не сказали, что только 14 дней, а далее включаются тарифы.
@MrDewiar3 ай бұрын
Тарифы не относятся к ИИ. Они ничего не ограничивают, они относятся к QR-кодам.
@INSIDEMOVE-lp8ulАй бұрын
Вам наверное повезло и вы не натыкались на сервиз клон ( в урезанном виде) который не то что 2 недели не дает , а даже потом не дает возможность работать по подписке , а сразу просят миллионы
@Le_Rappel_des_oiseaux2 ай бұрын
А где можно базу по ии почитать? Допустим имеем эникейщика - где ему выжимку по данной теме взять? Чем короче - тем лучше.
@MrDewiar2 ай бұрын
Это я уже почти сделал, в ближайшем видео покажу, завершаю работу
@daewooenertec63894 ай бұрын
Отличное решение. Надо будет протестить
@MrDewiar4 ай бұрын
Будут замечания или предложения - пишите, будем улучшать
@soundlab4831Ай бұрын
Привет, есть ли смыл преобразовывать текст в markdown перед векторизацией данных для локального чат бота?
@soundlab4831Ай бұрын
Вопрос отпал, посмотрел в другом Вашем ролике, где было сказано, что Markdown добавит "шум" в векторное представление.
@MrDewiarАй бұрын
Спасибо за вдумчивость и способность самостоятельно разобраться в вопросе!
@yurabass4 ай бұрын
Большущее спасибо.
@MrDewiar4 ай бұрын
Спасибо Вам за положительный комментарий!
@janir22132 ай бұрын
Михаил, Вы упомянули, что программу можно скачать .... но что то не нахожу ссылку для этого... Попробовать ссылка есть, попробовал - пронрамма стоящая.
@MrDewiarАй бұрын
Здравствуйте. Нет, это онлайн решение, я неудачно выразился, видимо. Эту программу я очень сильно расширил, вот новая версия: kzbin.info/www/bejne/gJbUcpend6aSj9Esi=Ryplgqlhfv_dp7-K
@my-rules4 ай бұрын
Как я рад знать что на одной волне. Спасибо
@MrDewiar4 ай бұрын
=) это радует! Благодарю!
@2742-z5x4 ай бұрын
Михаил, я так и не понял... Если я с гпт общаюсь, то мне нужно туда вставить вот этот промт скопированный с правой стороны который в вашей программе? Допустим книгу я так там обработаю. И потом просто продолжать общаться дальше уже можно будет по тексту этой книги с гпт?
@MrDewiar4 ай бұрын
Да, Вы можете так сделать. Это будет работать!
@2742-z5x4 ай бұрын
@@MrDewiar спасибо!
@justajazz4 ай бұрын
если в промпте использовать markdown, нужно ли отдельно указывать этот момент, или любая ИИ сходу определяет этот формат? в принципе, как вариант, можно юзать Obsidian, там всё через markdown.
@justajazz4 ай бұрын
кстати, формат markdown может отличаться в разных приложениях, как мне кажется. может ли это быть проблемой?
@MrDewiar4 ай бұрын
Хорошие вопросы. Да, даже у маркдаун есть как разные версии, так и разный стиль оформления, например, разделительная линия может обозначаться тремя звездочками, тремя дефисами, или тремя знаками подчеркивания... и каждый из этих подходов считается верным. Я смотрелэто. ИИ одинаково хорошо справляется со всем этим, он по документу видит что применяется, и понимает значение этого. Можно не беспокоиться, работает довольно хорошо. Маркдаун почти родной формат для ИИ, все языковые LLM его знаю очень хорошо.
@alexaxo6 күн бұрын
А не важно какая версия Markdown используется? Например обычно я вижу, что Заголовки пишутся так: # h1 ## h2 ### h3 ... А у вас иначе? Другая версия? Это имеет значение?
@MrDewiar3 күн бұрын
Хороший вопрос. LLM модели знают о версиях, и довольно хорошо работают с любой.. там версии не слишком сильно между собой отличаются.. я заметил, что для ИИ это не принципиально
@neurofuture25 күн бұрын
Здравствуйте! Спасибо за вашу работу, она очень полезна и помогает избежать необходимости структурирования данных через SQL. У меня возникли некоторые проблемы при работе с программой: я не могу загрузить некоторые файлы Word. Не могли бы вы уточнить детали процесса загрузки файлов? Заранее спасибо!
@MrDewiar25 күн бұрын
Здравствуйте. Ответил в другом Вашем комментарии
@smolalit71584 ай бұрын
Очень не хватает применения ИИ для инженерных расчетов с возможностью указать в источниках знаний ГОСТы, учебники и прочую стандартизированную литературу.
@MrDewiar4 ай бұрын
Понимаю. Работаю над альтернативным решением, оно позволит загружать данные до нескольких терабайт.
@СиджэйАИ2 ай бұрын
нет слов. Михаил, ты мегамозг
@MrDewiar2 ай бұрын
Благодарю
@Yaros75Ай бұрын
Прикольный велосипед изобрели. Обсидианом пользоваться не пробовали? Копировал гугл таблицу копипастнул в Обсидиан, и будет тебе счастье. Ещё классная штука это языки диаграмм mermaid например - вставил в обсидиан текст и получил визуалку диаграммы. GPT очень хорошо их пишет если знать что просить.
@MrDewiarАй бұрын
Да, я использую mermaid в одном из своих решений dewiar.com/mindmap-ai/
@БиткоинОбзор3 ай бұрын
Привет бро, расскажи какую лучше нейронку юзать для создания превью-обложок на видео Ютуб канала ?
@MrDewiar3 ай бұрын
Привет, специально для Вас сделал вот это решение kzbin.info/www/bejne/hoXdeaqQa9Sihtk
@БиткоинОбзор3 ай бұрын
@@MrDewiar Спасмбо Большое
@MrDewiar3 ай бұрын
@@БиткоинОбзор надеюсь, будет приносить пользу
@russellbro54444 ай бұрын
HTML не открывает, пишет что не включено разрешение javascript, хотя оно включено, пробовал в нескольких браузерах. И из видео я так и не понял можно ли преобразовывать PDF файлы в Маркдаун?
@MrDewiar4 ай бұрын
Быстрее всего это не html, а js. Если не удается загрузить из файла, Вы можете открыть его в браузере, выделить нужное, скопировать. Затем вставить в редактор из оперативной памяти сочетанием клавиш Ctrl+V. По поводу PDF он добавляется, но добавляется однородным текстом. Т.е. после добавления нужно в графическом редакторе слева самостоятельно разделить текст, сделать нужные выделения, отступы и т.д.
@YakovenkoPsy4 ай бұрын
Спасибо очень интересно, только думал о таком.
@MrDewiar4 ай бұрын
Мыслим синхронно
@Volen-DuhАй бұрын
А можно простыми словами сказать, для чего это нужно? Промты для чего именно таким образом создаются?
@MrDewiarАй бұрын
Это как бы инструкции для ии. Задача хорошего промпта-инструкции - обратить внимание большой языковой модели в нужную область его пространства знаний. Если удается, получаем качественные ответы. Если мимо - будем видеть "воду" и общие рассуждения.
@DroidGame20234 ай бұрын
можно же чат попросить создать промт в формате Markdown по идее он должен справиться.
@MrDewiar4 ай бұрын
Да, он создает отлично. Но уже с таблицами если просить, то уже путается.. лучше делать вот так, и уже ему показывать промпты в маркдауне
@prof.gstudents9607Ай бұрын
Great content! Thank you!
@MrDewiarАй бұрын
=)
@igormalinovskii59614 ай бұрын
Не хватает ккнопки "Коммерческое Использование". А так - отличная работа!!
@MrDewiar4 ай бұрын
Спасибо за отзыв, Игорю. Я пока стараюсь делать это как можно доступнее. Про коммерческий подход пока еще не думаю
@ЕвгенийЧебодаев-ю8м2 ай бұрын
Документы бумажные надо делать такого размера что бы больше людей могли прочитать нужные им документы. Что бы старые люди с плохим зрением могли сами читать и понимать текст документа.
@MrDewiarАй бұрын
Спасибо, Евгений, за отзыв. Да, есть такое
@SM35fx4 ай бұрын
Очень полезно
@MrDewiar4 ай бұрын
Благодарю
@Сергей-р1ю1ь4 ай бұрын
Полезно как всегда!!!!!да кстати доки мало кто может жрать номально
@MrDewiar4 ай бұрын
Спасибо, буду рад, если принесет Вам пользу
@shurumburum699310 күн бұрын
Хмм... А при векторизации, тоже самое, надо что подобное делать, перед ?
@MrDewiar3 күн бұрын
Добрый вечер. Для векторизации наоборот, нужно максимально очищать текст от любых данных, не несущих семантическую нагрузку.. из-за них может создаваться "цифровой шум", ухудшающий работу в векторе.
@АнтонМирный-с5х4 ай бұрын
обьясните для чего создавать промты своими словами
@MrDewiar4 ай бұрын
Вы можете делать это как раньше, заготовленными фразами и комбинациями фраз на английском языке. Но это уже прошлое, LLM достаточно развиты, чтобы понимать Вас без заклинаний в виде промптов)) Это то же самое, если бы вы сейчас написали этот комментарий не своими словами, а нашли подходящую комбинацию слов, в надежде на то, что они будут работать лучше
@ditrius110 күн бұрын
Простите, а вот мне нужно базу знаний по определенному онлайн-сервису загрузить в gpt. Ссылкой это сделать не получается. Посмотрев видео, появилось такое предположение. Я постранично скачиваю базу знаний в dv формат. И дальше загружаю все файлы к проекту и уже прошу его изучить данные и выдать мне решение. Я верно рассуждаю?:)
@MrDewiar3 күн бұрын
Если собранные данные будут хорошо структурированы, добавлены в четкий формат, это может работать.. Если данных слишком много, нужны уже другие решения - RAG базы + файн тюнинг. Это есть в других моих видео, но еще много нерешенных моментов в этом направлении
@АгронДепартьеАй бұрын
Т.е. Вы разбиваете текст только на заголовки разного уровня и текст - и это всё ?
@MrDewiarАй бұрын
Да, делаю в рамках элементов формата Маркдаун. Обычно, этого достаточно.
@natamax695 күн бұрын
Пробовала недавно из пдф календаря вывоза отходов(календарь 2025) сделать очередность для 6 квартир, -нихрена он не понял, перевёл всё в текстовый пдф, хотя сохранение лайот было указано...
@MrDewiar3 күн бұрын
Да, pdf формат плохо преобразуется в структурированные данные, в нем текст при извлечении похож на кашу, и нуждается в ручном форматировании. Придется приложить усилия, чтобы добиться приемлемых результатов
@annihilation96704 ай бұрын
На вашем сайте.Установить как приложение!Еще не работает эта функция?
@MrDewiar4 ай бұрын
Оно работает, я сделал по технологии PWA, там есть возможность.. но это не классическое приложение, а создается иконка на рабочем столе.. такая эмуляция по сути. Приложение было, но Гугл удалил без объяснения причин, также он удалил мой аккаунт разработчика в своей системе (а я его оплачивал, это стоило 120 у.е.)
@annihilation96704 ай бұрын
@@MrDewiar windows 7 .Хотел попробовать локально поставить модель.Ради интереса.Не ставиться.Иконка не появляется.
@MrDewiar4 ай бұрын
@@annihilation9670 Сама модель так не поставится. Там нужно разворачивать сервер, к сожалению. Я запускал модель через Ollama - ollama.com/
@WaldfalkeАй бұрын
Спасибо.
@MrDewiarАй бұрын
Спасибо Вам
@nik4526004 ай бұрын
если б в школе учителя были такие - я б туда ходил не только спать ...
@MrDewiar4 ай бұрын
Нужно пытаться менять образование.. его качество точно бы улучшилось. Хочется в этом направлении работать
@JaqUkto4 ай бұрын
А что, про Markdown Monster вы не слышали?
@MrDewiar4 ай бұрын
Так он платный.. моя версия бесплатна
@isp920744 ай бұрын
Полезный сервис
@MrDewiar4 ай бұрын
Спасибо за комментарий !
@astrofinans4 ай бұрын
Простой вопрос, но актуальный. Если пользоваться вашей бесплатной моделью, и загружать в нее свои материалы, как обеспечивается конфиденциальность данных? Утечка возможна, или гарантируется полная приватность?
@ajil27664 ай бұрын
все на локальный сереве некуда утечька не уходет🤦♂️
@astrofinans4 ай бұрын
@@ajil2766 локальный сервер у Михаила, значит с этой стороны утечка потенциально возможна. Я так и спросил, его модель на его сервере, которой мы пользуемся бесплатно - утечка там возможна?
@MrDewiar4 ай бұрын
Вот, как организовано. Сервер стоит у меня дома. Канал с ним зашифрован, данные идут в в него по защищенному протоколу. На сервере нет никаких хранений данных, даже память на видеокарте очищается при простое через 5 минут после последнего использования. На сервере ничего не храню. Если и можно перехватить данные, то только в момент их прихода или отправки с сервера. Но это супер сложно, супер дорого. Думаю, что этим не будет никто заниматься. И даже если данные и будут перехвачены и расшифрованы - они не содержат личных данных того, кто их прислал.. там еще идет однонаправленный хэш идентификатора пользователя. В общем задача будет очень сложной.
@marcusdarkhanov15573 ай бұрын
5:17 почему на ИИ модель плохо работают с загруженными данными - mark down!
@MrDewiar3 ай бұрын
Спасибо за комментарий!
@GennadyPuzyrov15 күн бұрын
так что с pdf?
@MrDewiar3 күн бұрын
Геннадий, до сих пор не сделал( Никак не доберусь до этого модуля
@MrEleman2 ай бұрын
Надеюсь нейронки разочьются и смогут считывать подсунутую информацию корректно без сторонних решений.
@MrDewiar2 ай бұрын
Сам надеюсь на это 🤝
@diversitynone4314 ай бұрын
Дело за малым - найти для идеального промпта идеальный ии
@MrDewiar4 ай бұрын
Здесь у каждого свои предпочтения))) Уже сейчас многие спорят кому что больше нравится, GPT-4, Gemini, Клод... и эти предпочтения будут меняться по мере развития этих LLM . Будем наблюдать)
@Михаил-о9ш4ш3 ай бұрын
В 90-х рассказывали тоже самое про ЭВМ. Сейчас похоже тоже хотят на этой муйне заработать!
@MrDewiar3 ай бұрын
Михаил, спасибо за комментарий. А на чем именно заработать, и кто именно хочет это сделать?
@svetlanadobrova8478Ай бұрын
Я, обычно, вместо запятых в csv использую точку с запятой.
@MrDewiarАй бұрын
Да, этот вариант вполне допустим
@syntheticsax2 ай бұрын
Молдец
@MrDewiar2 ай бұрын
Спасибо, буду стараться соответствовать🤝
@urmatallatra4 ай бұрын
📣📣📣📣📣📣👍👍👍👍👍👍👍👍👍👍
@MrDewiar4 ай бұрын
👍👍👍
@МалхазТетруашвили4 ай бұрын
Спасибо!
@MrDewiar4 ай бұрын
Вам спасибо!
@SegeyKravtsov4 ай бұрын
⛔ Could not find **Add a comment** button. Here is the entire summary: ```markdown 🎯 Key points for quick navigation: [00:05] 💬 Суть проблемы: при работе с ИИ для сложных задач требуется сужение сферы знаний нейросети. [02:00] 🔍 Проблема нейросетей: при обучении на огромных данных они впитывают и много недостоверной информации, что приводит к усреднённым знаниям. [03:04] 💡 Способ сужения знаний: использование системных промтов, чтобы ИИ сначала обрабатывал литературу, предоставленную ему пользователем, а затем другие знания. [03:59] 🚫 Проблема загрузки больших документов в сервисы с языковыми моделями: ИИ плохо запоминает середину текстов и не понимает акцентов (цитат, глав). [04:40] 🛠 Решение проблемы: использование формата markdown при загрузке документов, который позволяет расставлять акценты и передавать структуру текста. [05:51] 🤖 Объясните ИИ, как найти конкретную ячейку в таблице, используя простой язык. [06:06] 🛡 Использование немаркированного текста может быть неэффективным и потребовать больше токенов. [06:18] 📝 Markdown является предпочтительным форматом для конвертации данных в совместимые подсказки. [06:45] 💻 Существует программа, которая автоматизирует процесс конвертации в Markdown. [07:10] 👀 Markdown позволяет визуализировать структуру данных для удобства чтения и работы. [07:40] 🌐 Нейросети часто используют Markdown для своих ответов. [07:53] 📝 Разметка таблиц в Markdown позволяет ИИ легко ориентироваться в данных. [08:04] 📝 Конвертируйте презентации PDF в Markdown для лучшей обработки ИИ. [08:59] 📝 Выделяйте и разбивайте текст для ясного понимания структуры ИИ. [09:28] 📝 Конвертируйте веб-страницы в Markdown для эффективной работы с изображениями. [10:30] 💾 Программа сохраняет предыдущую работу для легкого продолжения. [10:58] 📱 Скачивайте сконвертированные данные в формате Markdown для использования в нейросетях. [11:27] 🤖 Возможность загрузки документа и дальнейшей работы с ним. [11:41] 🖼 Загрузка изображений по ссылке и отображение их в подсказке. [12:13] ⚡ Копирование и вставка текста с изображениями с любого сайта, что значительно упрощает создание подсказок. [12:27] 🔗 Преобразование скопированного контента в корректную подсказку со ссылками и изображениями. [12:53] 📝Поддержка таблиц, но лучше их использовать в ограниченном количестве. [13:07] 📊 Отдельный раздел только для таблиц, который позволяет преобразовывать их в формат Markdown и CSV. [13:36] 💾 Возможность скачивания таблиц и последующего редактирования их в Excel. [13:51] 📥 Загрузка готовой таблицы в нужном формате. [14:05] 🛠 Настройка ассистента с помощью шестеренки. [14:46] 🧐 Невозможность увидеть добавленный документ внутри ассистента при использовании других инструментов. [15:01] 🚨 Добавление кнопок для загрузки документа и таблиц непосредственно в решение. [15:29] 🎨 Возможность создания и редактирования собственных таблиц. [15:43] 👀 Просмотр таблицы глазами ИИ для проверки корректности. [15:56] 📝 Несколько таблиц могут быть добавлены одновременно. [16:12] ♻ Корректировка загруженных документов и таблиц в любое время. [16:25] ♾ Подсказка предоставляется ИИ как единый поток, независимо от количества загруженных документов и таблиц. [16:37] 🤖 МТИ каких-то ассистентов сейчас ассистенты у всех в будущем они будут вообще повсеместно И если мы не придумаем и не научимся работать с большими данными относительно большими опять же я ещё не сказал про ограничение [16:51] 🛡 контекстного окна Например почему для какой-то нейросети это может подойти а какой-то нейросети могут выдаваться ошибки только потому что контекстное окно меньшего размера чем тот объём документа который мы загрузили э опять [17:05] 💼 же почему хорошо в markdown потому что это достаточно экономный формат он меньше съедает токенов Значит мы можем использовать модели с меньшим контекстным окном Ну это специфика это всё уже в процессе пользования А я думаю [17:18] 🧙♂ в принципе на этом всё А пожелаю вам самого доброго я вижу что многие Кто смотрит мой канал с кем мы общаемся в Telegram группе которая у нас есть в Мы практически мыслим синхронно то есть вот [17:32] 👍 я разрабатывал эту программу этот подход в этот же самый момент я получил Одновременно несколько запросов от других пользователей системы с этой же самой задачей поэтому рад что это пригодится кому-то Если вы считаете что это может ещё кому-то быть интересным [17:45] 📢 пожалуйста Поделитесь этим видео нажмите лайк Оставьте комментарий потому что алгоритмы Ютюба так сделаны что я слышал что-то вроде такого утверждения что на каждый лайк где-то 10 просмотров можно получить в поиске Гугла не знаю Made with HARPA AI ```
@MrDewiar4 ай бұрын
Вы не могли бы описать как Вы это сделали? Я так понял, это расширение для браузера, в котором есть функция суммаризации видео с Ютуб?
@SegeyKravtsov4 ай бұрын
@@MrDewiar Да, есть расширение Harpa AI , дают 100 бесплатных саммари для видео
@MrDewiar4 ай бұрын
@@SegeyKravtsov Благодарю
@SlavaChernyshev3 ай бұрын
Вы знаете, что делает нейронка с промптом первым делом? Насколько я знаю, она убирает все знаки препинания, проводит токенизацию слов и тд. То есть ваш промпт превращается в такую изрядную кашу. А вы зачем-то выполнили обратную задачу, в которой особого смысла нет
@MrDewiar3 ай бұрын
Слава, Вы знаете, я не видел, чтобы знаки препинания убирались. Вы сами можете проверить это, отправив любой набор знаков, и проанализировав потраченные токены. В кодировщике-токенизаторе данные превращаются не в кашу, а переводятся в многомерные векторные представления... Я же здесь показываю, что таблица с разделителями видится ИИ как таблица, если бы разделители убирались в процессе токенизации, мы бы не получали правильных ответов в какой ячейке все находится... опять же, попробуйте теперь убрать разделители самостоятельно и посмотрите результат... уверяю Вас, он будет очень плохим!