Корреляционно-регрессионный анализ многомерных данных в Excel

Первичная обработка данных. Выявление выбросов. Описательная статистика.
Корреляционный анализ. Мультиколлинеарность.
Линейная регрессия.
Нелинейная регрессия.
Инструменты Excel для корреляционно-регрессионного анализа данных.

[@noizucht2746]

Господи, как же ты доходчиво объяснил, прям по-человечески, в универе так не преподают !

[@learningmeansdoing]

Благодарю за отзыв!

[@lydiamax3573]

Здравствуйте , как можно связаться с вами ? Мне нужно помощь а этот анализ на десиртации

[@learningmeansdoing]

@@lydiamax3573Здравствуйте, напишите на почту, указанную в описании канала.

[@lydiamax3573]

@@learningmeansdoing youtube.com/@learningmeansdoing Там так написано эта почта ? Можно пожалуйста писать ваша почта здесь ?

[@learningmeansdoing]

@@lydiamax3573 [e-mail]

[@kvazarx]

Вы один из лучших в инете объясняете такие вещи простым и доходчивым языком. С практическими примерами в экселе. Это очень важно, чтобы понимать сам механизм расчетов. А потом уже использовать специализированные пакеты в том же R или Python.

[@learningmeansdoing]

Благодарю! Полностью с вами согласен!

[@FrauLIV]

Большое человеческое спасибо!

[@user-eh6rq5zr2b]

Очень информативное видео ❤️❤️❤️ Спасибо 🙏🏻

[@viclukchik]

СПАСИБО ВАМ ОТ ВСЕЙ ДУШИ это именно то что нужно!! успехов вам, здоровья крепкого🙏

[@learningmeansdoing]

Рад помочь!

[@myoldgames9999]

Огромное спасибо за видео! Если бы наш преподаватель также хорошо объяснял и показывал, то эконометрика, наверное, стала бы одним из моих любимых предметов! ТОП!👍

[@learningmeansdoing]

Благодарю за хороший отзыв о моей работе!

[@myoldgames9999]

Сейчас вот сделал всё это самостоятельно и только одного не понял - как у Вас в самой последней таблице коэффициент при Y-пересечении равен 0, а все остальные ячейки данной строки получились #Н/Д ? Я правильно понимаю, что если P-значение для Y-пересечения больше 0,05 (в нашем случае, 0,6), то мы всё равно оставляем столбец Y для дальнейшего регрессионного анализа? Просто от X у которых P-значение было больше 0,05 мы избавлялись. А то я ради интереса пытался не выделять столбец Y в качестве входного интервала, чтобы у меня тоже получилось в конце как у Вас в последней таблице, но Эксель не позволял мне это сделать. Если можете, подскажите пожалуйста.

[@myoldgames9999]

если кому-то стало интересно, то я вроде нашёл ответ на вопрос. Y-столбец для регрессии конечно надо выбирать - без него excel откажется считать, но надо нажать на галочку напротив "константа-ноль" - тогда и получится как у автора

[@learningmeansdoing]

@@myoldgames9999 В анализе данных ставится галочка "Константа-ноль" и значение Y-пересечение не рассчитывается, соответственно для него нет никаких статистик.

[@learningmeansdoing]

@@myoldgames9999 Уже увидел, что вы сами нашли ответ на свой вопрос ))

[@user-ej5ng7sn3m]

Спасибо большое за простую терминологию. Очень приятно слушать и понимать!

[@learningmeansdoing]

Рад помочь!

[@user-ej5ng7sn3m]

А где ещё видео ? А еще вопрос, вы берете учеников ? . Я экономист ,нужны знания для составления прогнозов . Математику совсем забыла

[@learningmeansdoing]

Можете зайти в плейлисты на канале, там есть видео по разным направлениям. В том числе видео по анализу данных. Мои ученики - это мои студенты в вузе, других у меня нет. Ну и онлайн-аудитория конечно.

[@lerushka8]

Большое спасибо за подробное объяснение!💌

[@nina_chern]

Спасибо! Самое лучшее объяснение

[@sudipravo]

Лайк и мое почтение за столь доступное изложение материала

[@learningmeansdoing]

Благодарю за отзыв о моей работе !

[@alekotot9454]

Благодарю, всё понятно и находчиво

[@anarabis]

Спасибо большое, отличное видео!

[@user-nl2fs3rf8m]

Ура! Спасибо, разобрался. Здоровья Вам!

[@learningmeansdoing]

Рад помочь!

[@user-ni7wi9dc1v]

Спасибо вам) вполне доходчиво)

[@radmilabozieva2996]

Большое спасибо за простое понятное видео 🌹🔥🔥🔥

[@learningmeansdoing]

Рад помочь!

[@afaqquliyeva]

Большое большое спасибо, все доступным языком

[@learningmeansdoing]

Благодарю за отзыв. Рекомендую из этого плейлиста посмотреть и другие видео.

[@user-xs9ki4pv9k]

спасибо за видео

[@vitaliysamartsev914]

Очень крутой урок

[@alexandrsokolov6464]

Благодарю!

[@siguerhakim4723]

Отличная работа

[@learningmeansdoing]

Спасибо!

[@magicmaestro3109]

Супер!!!!

[@tuxedomooned]

Большое спасибо за подсказку как сделать нелинейную регрессию через линейную. Ничего адекватного и одновременно простого для ее подсчета нет в одном статпакете. А тут нате - все просто оказывается.

[@learningmeansdoing]

Рад помочь!

[@andreyg.8117]

Толково

[@user-oe4rv8nh8t]

Посмотрите пожалуйста в гистограммах распределений Х2 - в границах какая то ошибка.... А вообще очень интересное видео. Если бы еще файл прилагался с данными, чтобы повторить. Вообще было бы замечательно. Спасибо за объяснения

[@learningmeansdoing]

По поводу гистограммы для Х2. Да, действительно, там неверные ссылки на ячейки, из-за чего получились не те числа. Благодарю, что заметили! Если там сделать по-нормальному, то частоты будут 5,6,4,4,4. Вот ссылка на исходный файл, в котором можно потренироваться disk.yandex.ru/i/rPmG826WN3YKmg

[@user-oe4rv8nh8t]

Огромное спасибо за файл!!!!

[@DrobotAnton]

Здравствуйте. Есть ли способ проводить подобный анализ, когда вместо части переменных у нас не числовые значения, а текстовые? К примеру есть несколько тысяч записей о продажах, и кроме числовых значений, у нас есть столбцы с названиями районов города, где эти продажи были. Очевидно есть влияние района на объем продаж, но как его рассчитать?

[@learningmeansdoing]

Здравствуйте. Есть разные методы - описательная статистика, дисперсионный анализ, корреляции и регрессии. Есть разные методы работы с категориальными данными. В двух словах не опишешь.

[@alekseyd9635]

При построение нелинейной модели, как понять какие математические операции использовать(умножение, деление) если у меня 12 факторных переменных. В excel регрессионная модель не строится, если количество переменных больше 16. Может подскажите ПО в котором, я бы мог обработать все возможные комбинации для построения модели.

[@learningmeansdoing]

Можете освоить модуль python scipy. Там есть функция linregress. Не знаю точно, какие там ограничения по числу регрессоров, но явно больше 16.

[@arse1037]

А вот эта ошибка в процентах, можно ли ,например, если на отдельные расчитаные значения Y ошибка более 30%, отбраковать эти значения из массива? есть ли в математике и статистике какое то обоснование таким действиям или это исследователь как вы говорите решает?

[@learningmeansdoing]

Есть множество алгоритмов выявления выбросов. И да, они математически обоснованы. Это, пожалуй, тема для отдельного видео. В самом простом случае исследователь может принять решение забраковать единичные данные, которые отклоняются от общей регрессии более, чем на какую-то величину.

[@learningmeansdoing]

Может когда-то руки дойдут сделать видео о первичной обработке данных: обнаружение выбросов, замещение недостающих данных и прочие вопросы.

[@learningmeansdoing]

kzbin.info/www/bejne/j6DEdaacbs56gdU

[@sudipravo]

Пересматриваю еще раз и проецирую все что есть в видео на свою работу (я - оценщик, в основном оцениваю объекты коммерческой недвижимости). У меня возникает вопрос. Что будет, если по какому-либо объекту нет данных по одному или нескольким X, но при этом Y данного объекта известен? Можно ли принимать в расчеты такой объект? Если да, то как измениться модель? Чем заменить неизвестный X. Данный вопрос очень актуален в оценке недвижимости, когда, например, на рынке предлагается к продаже некий объект, сопоставимый в целом с оцениваемым, но в тексте предложения по продаже отсутствует, например: этаж расположения или наличие отдельного входа, состояние и качество отделки и т.д.

[@learningmeansdoing]

Этот вопрос в видео действительно не поднимается. Это, наверное, тема для отдельного видео. Но вообще есть способы импутации данных. В самых простых случаях можно заменить недостающие данные средними или медианными значениями по данному признаку среди всех объектов, либо самыми частыми значениями, либо использовать метод ближайшего соседа, то есть взять взвешенное значение признака с наиболее похожих объектов. Может когда-то сподоблюсь на создание такого контента.

[@sudipravo]

@@learningmeansdoing К сожалению в нашей предметной области заменить нельзя (федеральные стандарты оценочной деятельности не позволяют). Говоря о замене я имел ввиду именно учет неизвестности. Нет ли методик позволяющих просто учесть, что эти характеристики (Х) объекта неизвестны? В любом случае, если на эту тему будет видео, будет ОЧЕНЬ интересно

[@learningmeansdoing]

Не встречался с методиками, где можно было бы учесть, что какого-то значения просто нет в наличии. По сути вычислительный алгоритм должен взять какое-то значение в расчет. А вот если никакого значения нет, то алгоритм должен что-то с этим делать. В предыдущем сообщении я описал ряд вариантов, как алгоритм может это недостающее значение найти на основе значений других объектов.

[@learningmeansdoing]

Возможно, в вашей предметной области есть какая-то особая методика обращения с отсутствующими значениями. Методика, не противоречащая стандартам. Я в этой области не специалист.

[@sudipravo]

​@@learningmeansdoing назрел еще вопрос, как мне кажется не освещенный в видео. На этот раз про Y. Есть ли разница когда использовать весь Y, а когда его удельный показатель? Например, в оценке в качестве Y может быть цена объекта, а может быть цена за 1 кв.м. объекта. Что лучше использовать?

[@yevhentaranenko2372]

👍👍👍, А можна файл с видео скачать ?❤❤

[@khatuntsovmikhail6223]

То чувство когда шёл по улице и нашёл сотку? Лично я нашёл от 10 до 100 косраей вечно зеленых и мертвых амреканских президентов. Спасибо за отличный видос.

[@learningmeansdoing]

Спасибо за хороший отзыв! Можете посмотреть другие видео из этого плейлиста по анализу данных.

[@khatuntsovmikhail6223]

​@@learningmeansdoing если не сложно можите гте-то выложить ваши примеры? Яндекс диск или еще где-то? А отзыв не "хороший" он "обьективный" ;) . Просто когда сталкиваешься с проблемой и понимаешь, что знания это деньги которые я могу заработать - всё меняется. Когда то сидел за партой и скучал слушая всё это. Теперь сижу и учу - потому, что это мой хлеб. Еще раз спасибо!

[@user-vu7eu1ck7t]

Добрый день! А если весь массив мультикоррениарен, как построить регрессионную модель?

[@learningmeansdoing]

Здравствуйте. Если есть мультиколлинеарность, то нужно либо исключать некоторые переменные Х, которые сильно связаны с другими переменными, либо находить линейную комбинацию переменных методом главных компонент. В общем нужно снижать размерность признакового пространства.

[@kvazarx]

Автор, сделайте пжл ролик на метод главных компонент в Экселе.

[@learningmeansdoing]

В планах есть. Пока по срокам нет ясности.

[@user-qb8gi2cn8u]

Здравствуйте, при составлении уравнения регрессии в Excel выдаёт ошибку в столбце P-значении #ЧИСЛО! В столбце стандартная ошибка везде 0. Значимость F тоже 0. Раньше делал всё тоже самое используя такие же данные и ошибки не было. Помогите пожалуйста с решением данной проблемы.

[@learningmeansdoing]

Здравствуйте. Похоже где-то деление на ноль получилось. По описанию тяжело понять.

[@user-ep1vq7eg2g]

подскажите пожалуйста, почему у меня У расчет. становится равен У и не имеет ошибок

[@learningmeansdoing]

Так получится, если вам удалось подобрать модель, которая в точности проходит через все точки. То есть погрешность такой модели равна нулю а коэффициент R2=1

[@Just_dont_Shoot]

у меня не определилась значимость F, а также P-значение

[@learningmeansdoing]

Возможно, у вас Y связан c X линейной зависимостью или есть линейная зависимость между переменными Х

[@AdvancedStudio]

А как сделать так, чтобы при регрессии y тоже отображался?

[@learningmeansdoing]

Не совсем понял вопроса. При получении регрессии отображаются коэффициенты уравнения, по которым соответственно можно составить зависимость Y от всех Х

[@user-ir8md1tv9t]

А может быть 5 факторных переменных и 2 результативных?

[@learningmeansdoing]

Может. Только для каждой результативной переменной придется делать свою модель.

[@globalworldmigrant]

Надо было оставить файл на таблицу

[@nina_chern]

правда, хотелось бы еще как построить кривую по полученной формуле

[@learningmeansdoing]

Это одна из проблем многофакторной регрессии. Можно построить только семейство кривых, зафиксировав какие-либо факторные переменные. Ну это если очень надо визуализировать результат.

[@ibm.kostya]

Что за стрджс?

[@learningmeansdoing]

Стерджесс, фамилия такая