6 ключевых методов предсказания временных рядов в одном коде: MA, LR, K

6 ключевых методов предсказания временных рядов в одном коде: MA, LR, K_near , ARIMA, Prophet, LSTM

Рет қаралды 9,126

Будет день и будет код. Python code.

Күн бұрын

Пікірлер

@Vik_lioness 8 ай бұрын

Подача может и не совсем обычная для многих комментаторов, но основная инфа для понимания чего-то есть. В русскоязычных ресурсах не так просто найти подобное и простое

@Pythoncode-daily 8 ай бұрын

Большое спасибо, Виктория! Если мне и хотелось внести какой-то вклад в информационное пространство , то скорее именно такой слабый, ограниченный и несовершенный. Чтобы каждый мог посмотреть и прикинуть - "Ну если у этого чела с его тараканами получается в этом разбираться, то я то уж сделаю это гораздо эффективнее, быстрее и лучше!"

@lammer_ok 9 ай бұрын

Интересное видео! Спасибо.

@ЕвгенийВасильев-к8с 6 ай бұрын

Линейная регрессия в принципе для такого не применима. Получившуюся линию никак нельзя будет использовать на практике. По факту, она показывает только тенденцию к развитию, если датасет в среднем растет, то будет прямая "вверх", если в среднем падает, то будет прямая "вниз", если датасет большой с длительным интервалом, то и прямая будет нейтральной, по которой сказать ничего нельзя.

@Pythoncode-daily 6 ай бұрын

Вы абсолютно правы. Она ( в некотором смысле) дает нам лишь представление о линии, которая делит примерно напополам наш датасет. Половина суммы отклонений от этой линии будет лежать выше, а половина ниже.

@tima_net3289 2 жыл бұрын

Для ARIMA нужно множество условий выполнения, потому и не раьотает, да и далеко не лучше LSTM, попробуйте еще xgboost

@Pythoncode-daily 2 жыл бұрын

Огромное спасибо! С удовольствием последую Вашему совету!

@dicloniusN35 Жыл бұрын

а не знаете почему sarimax орет что памяти не хватает если сезонность большая? 52+ сезонность сжирает 32 гига памяти постепенно и вылетает)) арима только на короткосрок работает именно из за своей сути + все в видео надо ж настраивать и из коробки не работает норм

@alexmotley4906 Ай бұрын

За первые полторы минут уже жирнющий лайк ахахаха

@Pythoncode-daily Ай бұрын

Большое спасибо! )

@konstantinphd2366 2 жыл бұрын

Спасибо! Интересно.

@alexnatalchenko4471 Жыл бұрын

СПАСИБО!

@aslgrlah Жыл бұрын

RMSE - чем меньше, тем лучше, да. Это корень из среднеквадратичной ошибки. "Фантастический" результат lstm связан с неправильной методикой предсказаний: если я правильно понял код, его автор разбивает датасет на окна в 40 свечей - и для каждой свечи предсказывает 1 следующее значение. Затем окно смещается на 1 свечу, и так далее. Такое решение встречается чаще всего, но для практических целей оно бесполезно - нейросеть просто предсказывает +- близкое значение относительно последней цены, не более( А при множественном выводе такой точности нет и близко.

@sergeyzinchenko9718 Жыл бұрын

привет.а как надо правильно подготавливать данные 'tensor' перед обучением. пришли гаиды или практику лучшуу. я щас етим занимаюсь

@andreiantipov6943 8 ай бұрын

@@sergeyzinchenko9718 Там в блоке предсказания нужно было предсказывать для первой 40-ки и для последующей 40-ки брать ранее предсказанное, а там берется известная цена valid. Как итог мухлежа - график чудесным образом рядом с реальной ценой

@RedPixel-j1e 4 ай бұрын

Тоже каждый раз удивляюсь с тысячей таких работ и хвалой, мол смотрите как я настроил сеть

@ВладимирО-с9с Жыл бұрын

Выложите пожалуйста ссылку на ноутбук с кодом.

@Pythoncode-daily Жыл бұрын

К сожалению, я писал этот код на нотбуке с которого утратил доступ к эккаунту. Могу только поделиться ссылкой на исходный код с которого я и писал свой. www.kaggle.com/code/paramarthasengupta/microsoft-stocks-price-prediction

@AlexeyLukyanchuk Жыл бұрын

2.5 часа это очень быстро! У меня бывало на одну статью по 4 часа уходило.

@dicloniusN35 Жыл бұрын

Все сразу настроить нормально и скрестить

@leowhynot 9 ай бұрын

Автор решил взяться за предсказание временных рядов, не утруждая себя пониманием сути алгоритмов. Судя по всему, для него MA, Prophet и LSTM - это всё равно что волшебные палочки, только махни - и готово предсказание. Что ж, амбиции похвальны

@Pythoncode-daily 9 ай бұрын

Здорово! Вы очень точно описали мое поверхностное понимание этих сущностей. Причем, как тогда, так и сейчас! ) Извиняет меня лишь то, что даже сильноумные мире сего типа Карпатного ( надеюсь я не исказил его фамилию) и многих других, тоже полагают, что машинное обучение все еще выдает кофейную гущу, на которой приходится гадать. А смена ингредиентов и их долей лишь меняет характер самой гущи. Неопределенность трансформируется, но не устраняется. С этим придется жить! )

@leowhynot 9 ай бұрын

@@Pythoncode-daily Чем больше понимания данных и алгоритмов - тем меньше неопределенности

@Pythoncode-daily 9 ай бұрын

Судя по мнениям многих крупнейших разработчиков на их страницах в Х в части машинного обучения такой прогресс не столь уж достижим! Люди, которые потратили на эту область знаний десятки лет жизни и достигли высочайшего уровня оплаты и общественного признания, частенько сокрушаются о том, что малейшие изменения в параметрах моделей часто приводят к колоссальным изменениям данных на выходе. Что не позволяет надеяться на достижение определенности и построение привычных для человеческого мозга причино-следственных связей. Похоже, что напрасно мы называем искусственным интеллектом комбинаторные игры на векторном пространстве.

@leowhynot 9 ай бұрын

@@Pythoncode-dailyразве успех алгоритмов(LLM например), успешно решающих задачи за пределами их первоначального назначения, не свидетельствует об их адаптивности и потенциале? И если модель способна проходить различные тесты, имитирующие человеческие реакции и поведение, не говорит ли это о ее способности к глубокому пониманию устройства нашего мира? Да, малейшие изменения в параметрах могут привести к значительным колебаниям в результатах, но это также подчеркивает сложность и тонкость настройки моделей, а не их ограниченность. В этих сложностях и кроется потенциал для дальнейших открытий и улучшений

@Pythoncode-daily 9 ай бұрын

Вы правы! Если бы в этом не было смысла, то на это не было потрачено теперь уже сотен миллиардов долларов. Но если Вы проводите миллиарды тренировок модели, то периодически на выходе Вы будете получать потрясающие результаты. Но будут ли они гарантировать, что применение модели будет столь же эффективным и в других экспериментах. Я не предполагал, что эти попытки нужно остановить ( тем более в них вложены такие огромные деньги, что никто на это никогда не решится).. Я лишь предостерегал от обольщения успехами, которые могут носить комбинаторную основу. Но это лишь субъективный взгляд на эти процессы, за который я не стану держаться. Что меня действительно смущает, это то, что если бы такие ресурсы, как тратятся на обучение только одной современной модели были потрачены на другие области человеческой жизнедеятельности, то их эффективность была бы в сотни раз выше. Они могли бы спасти или улучшить жизни. Но из них не получилось бы раздуть пузырь и загнать капитализацию NVDA на немыслимые высоты.

@timurotube 5 ай бұрын

Должен всех сильно расстроить😂. Математической модели предсказывать цены биржевых товаров нет. Ну просто нет и все. Цены в будущем зависят от событий в будущем. Не зависят от того что с ними было в прошлом. Никак. Поэтому хотел бы предостеречь пытливые умы от лудомании. Оно так не работает, друзья. Оно работает по другому.

@Pythoncode-daily 5 ай бұрын

Это совершенно справедливо, но это не означает, что в таких методах нет практической пользы. Если кто-то пытается трактовать рыночные процессы исходя исключительно из новостных потоков , то он столкнется с не меньшим разочарованием. По большому счету рынок - это сложная система и ни один метод эту сложную систему просчитать или понять не может. Использование математических методов может дать уточненное понимание вероятностного пространства и фазового состояния рынка. Ну скажем, если матрица переходов говорит Вам, что если рынок находится в падающем тренде, то вероятность того, что и завтра он останется в падающем тренде составляет 80%. А это означает, что пока рынок не выйдет из этого состояния, ломиться покупать на нем это заниматься долгосрочным вредительством для своего капитала. Многие полагали, что Газпром развернется со 130, а он сходил на 115. Так же многие полагали, что евро при ни каких обстоятельствах не сходит ниже 90, но оно туда ходило. Поэтому статические методы не стоит переоценивать, но их стоит встраивать в систему принятия решений при совершении операций на рынке. Для меня методы и прогнозы, основанные на методах машинного обучения - не панацея, а лишь еще одна мерка , которую можно снимать с рынка для того, чтобы улучшить процесс принятия решений. Это то, чем стоит обогатить свою интуицию для того, чтобы эффективнее выживать в рыночных условиях.

@timurotube 5 ай бұрын

@@Pythoncode-daily исключительно в образовательных целях, это интересный кейс. Но люди пытаются сделать себе кнопку Win

@Pythoncode-daily 5 ай бұрын

Такой кнопки нет. Но мы (люди) всегда с удовольствием беремся за неразрешимые задачи.

@timurotube 5 ай бұрын

@@Pythoncode-dailyвот в такой формулировке, всецело с вами согласен. Моё вам почтение👍 Просто, как только речь заходит про деньги, слушатели обычно теряют всякий разум и впадают одну или другую манию. По сути, ваши методы это расширение теханализа, который тоже вообще не панацея, а просто иллюстрация некоторых психологических особенностей людей инвесторов. Но так как ТА стал настолько общим местом, это стало ему вредит, ТК слишком много людей пытаются его тезисы использовать, что полностью их обесценивает. Возможно нейронные сигналы будут интереснее, просто из-за меньшей пока популярности

@azimknbv8342 2 ай бұрын

Вы слишком категоричны) Незнание - не означает отсутствие.

@legendarzayexe9404 8 ай бұрын

А где ссылка на статью, или блокнот colab?

@Pythoncode-daily 8 ай бұрын

Код брал по этой ссылке www.kaggle.com/code/paramarthasengupta/microsoft-stocks-price-prediction

@kelleronik Жыл бұрын

Сначала и не понял, это видео про политику или про программирование) С одной стороны спасибо, что затронули известные популярные подходы. С другой стороны - вот эти отхождения от темы кринжовенько выглядят.

@Pythoncode-daily Жыл бұрын

Согласен! Но не получается жить в обществе и быть свободным от общества. Мне не хотелось бы лукавить - у меня есть определенная точка зрения на ситуацию и скрывать ее было бы лукавством. Если в вопросе противостояния России и НАТО я на стороне России - то пусть те, кто смотрит мои видео знают об этом. Тем более, что другие видео, направленные на анализ интенсивности и эффективности СВО куда более политизированы.

@kelleronik Жыл бұрын

@@Pythoncode-daily гражданская позиция это хорошо, но ведь это видео о программировании, а не о разборе СВО 🤷

@Pythoncode-daily Жыл бұрын

Я и не спорю

@romancomit9210 2 ай бұрын

Нихрена стандартного на акциях не работает

@Pythoncode-daily 2 ай бұрын

Согласен! Нужно искать нестандартное.

@musicforyou1380 Жыл бұрын

у вас стырили деньги? о чем вы? конечно дизлайк за такую риторику....глупо и стыдно

@Pythoncode-daily Жыл бұрын

Я не был столь категоричен в своих оценках. Но Вы правы - на месте Фейсбук ( Меты) вкладывать деньги в продукт, который дает столь нелепые прогнозы как Prophet - это и глупо и стыдно! Ведь, под влиянием авторитета разработчика, люди могут использовать их для решения важных задач. А это чревато непредсказуемыми последствиями..

@vladoss3199 Ай бұрын

@@Pythoncode-dailyесли что prophet не используется для задач прогнозирования котировок рынка. У них на сайте это отлично описано, поэтому если вы используете пилу, чтобы забивать гвозди, то это ваша проблема)

@ЕвгенийШувалов-ь7т Жыл бұрын

Странный формат, комментирует чужой код без конкретики и объяснений. Как распаковка посылок с алика))) Тема интересная, но видео бестолковое.

@Pythoncode-daily Жыл бұрын

Спасибо за ответ! Вы правы , Евгений! Однако, хотим мы того или нет, но в 99.999999% случаев нам приходится пользоваться элементами кода, который уже давно был кем-то создан. Даже значительная часть бизнеса Майкрософт построенна на коде "притыренном" у разработчиков на GitHub. Для меня написание кода - это комбинаторная игра, в которой мы сочетаем различные известные элементы кода для того, чтобы в последствии получать нужный нам результат. В данном видео мне было важно понять стоит ли тратить время на то, чтобы использовать раскрученные методы предсказания временных рядов в той предметной области, которая меня интересовала. Полученный отрицательный ( по сути) результат тоже полезный результат. Он сэкономил мне огромное колличество времени.