Хахаха. Сейчас я вам расскажу, что такое рефлексивный machine learning.
Я в этой соцсети уже больше 10 лет. И в течение всего этого времени я переписывался с разными людьми на разные темы. Некоторые из вещей, которые я им говорил, были позитивные, некоторые негативные, некоторые безэмоциональные.
И пришла мысль исследовать, а собственно, в среднем оно как у меня там с радостью?
Поэтому я собрал все свои сообщения из PM и скачал через API. После чего сделал совсем миниприложение(на картинке). Оно выдавало мои случайные фразы (длиннее 20 символов) из всей переписки, а я их оценивал по их эмоциональности. Негативные, позитивные и нейтральные. Таким образом, за 1.5 часа бессмысленного чтения случайных фраз у меня составилось 3 списка текстов для обучения.
Эти тексты, после фильтра, я скормил sklearn-овскому pipelinу с TfidfTransformer и SGDClassifier и научил на них модель, которую прогнал уже по всем своим диалогам.
Таким образом, я получил для каждой фразы своих диалогов оценку (1) — позитивная, (0) — нейтральная, (-1) — негативная. После чего сложил по неделям, разделил на 7 и сгладил.
И полученный график (вот тоже внизу на картинке) поверг меня в некоторое смущение, потому что стабильно я с 2010 года впадаю в пессимизм, нытье и срачи. С некоторыми подъемами в чуть больший оптимизм, а потом спусками в пучины пессимизма.
Я в этой соцсети уже больше 10 лет. И в течение всего этого времени я переписывался с разными людьми на разные темы. Некоторые из вещей, которые я им говорил, были позитивные, некоторые негативные, некоторые безэмоциональные.
И пришла мысль исследовать, а собственно, в среднем оно как у меня там с радостью?
Поэтому я собрал все свои сообщения из PM и скачал через API. После чего сделал совсем миниприложение(на картинке). Оно выдавало мои случайные фразы (длиннее 20 символов) из всей переписки, а я их оценивал по их эмоциональности. Негативные, позитивные и нейтральные. Таким образом, за 1.5 часа бессмысленного чтения случайных фраз у меня составилось 3 списка текстов для обучения.
Эти тексты, после фильтра, я скормил sklearn-овскому pipelinу с TfidfTransformer и SGDClassifier и научил на них модель, которую прогнал уже по всем своим диалогам.
Таким образом, я получил для каждой фразы своих диалогов оценку (1) — позитивная, (0) — нейтральная, (-1) — негативная. После чего сложил по неделям, разделил на 7 и сгладил.
И полученный график (вот тоже внизу на картинке) поверг меня в некоторое смущение, потому что стабильно я с 2010 года впадаю в пессимизм, нытье и срачи. С некоторыми подъемами в чуть больший оптимизм, а потом спусками в пучины пессимизма.
Hahaha Now I will tell you what reflexive machine learning is.
I have been in this social network for more than 10 years. And during all this time, I corresponded with different people on different topics. Some of the things I told them were positive, some negative, some unemotional.
And the thought came to investigate, and actually, on average, is it like I have there with joy?
Therefore, I collected all my messages from PM and downloaded via API. Then I made a very mini-application (in the picture). It gave out my random phrases (longer than 20 characters) from the entire correspondence, and I evaluated them by their emotionality. Negative, positive and neutral. Thus, in 1.5 hours of meaningless reading of random phrases, I made 3 lists of texts for training.
After the filter, I fed these texts to the sklearn pipelin with TfidfTransformer and SGDClassifier and taught them a model that I drove through all my dialogues.
Thus, for each phrase of my dialogues I received a mark (1) - positive, (0) - neutral, (-1) - negative. Then folded week by week, divided by 7 and smoothed out.
And the resulting graph (here also in the picture below) threw me into some embarrassment, because I have been steadily falling since 2010 into pessimism, whining and srachi. With some rises in a little more optimism, and then descents into the depths of pessimism.
I have been in this social network for more than 10 years. And during all this time, I corresponded with different people on different topics. Some of the things I told them were positive, some negative, some unemotional.
And the thought came to investigate, and actually, on average, is it like I have there with joy?
Therefore, I collected all my messages from PM and downloaded via API. Then I made a very mini-application (in the picture). It gave out my random phrases (longer than 20 characters) from the entire correspondence, and I evaluated them by their emotionality. Negative, positive and neutral. Thus, in 1.5 hours of meaningless reading of random phrases, I made 3 lists of texts for training.
After the filter, I fed these texts to the sklearn pipelin with TfidfTransformer and SGDClassifier and taught them a model that I drove through all my dialogues.
Thus, for each phrase of my dialogues I received a mark (1) - positive, (0) - neutral, (-1) - negative. Then folded week by week, divided by 7 and smoothed out.
And the resulting graph (here also in the picture below) threw me into some embarrassment, because I have been steadily falling since 2010 into pessimism, whining and srachi. With some rises in a little more optimism, and then descents into the depths of pessimism.
У записи 28 лайков,
0 репостов,
1194 просмотров.
0 репостов,
1194 просмотров.
Эту запись оставил(а) на своей стене Александр Беспалов
