Послушал сегодня лекцию о современной психометрике и мне стало как-то грустно за тех, кто решил посвятить себя этой дисциплине. Потому что ситуация до боли напоминает ту, что я наблюдал в математической лингвистике. Там люди начали с каких-то очень простых моделей, постепенно их усложняли, и целая наука строилась вокруг этих моделей. В итоге получалась сложная теория, в которой было не так-то просто разобраться, и эта теория начинала успешно применяться на практике, автоматические переводчики показывали неплохие результаты...
А потом появился Google Translate. Я помню, как тогда спросил у знакомого, занимавшегося мат.лингвистикой, что он думает о подходе Google. Тот ответил, что он в него не верит, там все основано только на условных вероятностях, никакого учета грамматики, никакого анализа смысла слов. И тогда это звучало разумно. Google переводил хуже, чем PROMT, и допускал нелепые ошибки. Но реальность оказалось жестокой. Прошло совсем немного времени и Google научился переводить лучше остальных. С тех языков, о существовании которых разработчики алгоритма могли даже не знать, Google стал переводить лучше, чем модели, над которыми годы трудились профессиональные лингвисты. В том виде, в котором она существовала до этого, математическая лингвистика была уничтожена.
Та же участь ждет психометрику. Сегодня умные люди пытаются придумать, как наилучшим образом задать двацать или двести вопросов, придумать сложные математические методы для анализа ответов, чтобы узнать что-то о человеке. А через пять лет эти несчастные 200 data points будут собираться о нас каждую секунду, агрегироваться и сравниваться с данными, полученными от миллионов других людей, предсказательная сила этой системы сделает смешными все сегодняшние расчеты.
А потом появился Google Translate. Я помню, как тогда спросил у знакомого, занимавшегося мат.лингвистикой, что он думает о подходе Google. Тот ответил, что он в него не верит, там все основано только на условных вероятностях, никакого учета грамматики, никакого анализа смысла слов. И тогда это звучало разумно. Google переводил хуже, чем PROMT, и допускал нелепые ошибки. Но реальность оказалось жестокой. Прошло совсем немного времени и Google научился переводить лучше остальных. С тех языков, о существовании которых разработчики алгоритма могли даже не знать, Google стал переводить лучше, чем модели, над которыми годы трудились профессиональные лингвисты. В том виде, в котором она существовала до этого, математическая лингвистика была уничтожена.
Та же участь ждет психометрику. Сегодня умные люди пытаются придумать, как наилучшим образом задать двацать или двести вопросов, придумать сложные математические методы для анализа ответов, чтобы узнать что-то о человеке. А через пять лет эти несчастные 200 data points будут собираться о нас каждую секунду, агрегироваться и сравниваться с данными, полученными от миллионов других людей, предсказательная сила этой системы сделает смешными все сегодняшние расчеты.
I listened today to a lecture on modern psychometrics and I felt somehow sad for those who decided to devote themselves to this discipline. Because the situation is painfully reminiscent of the one that I observed in mathematical linguistics. There, people began with some very simple models, gradually complicating them, and the whole science was built around these models. The result was a complex theory, which was not so easy to understand, and this theory began to be successfully applied in practice, automatic translators showed good results ...
And then came the Google Translate. I remember how I asked a friend who was involved in mathematics linguistics, what he thinks about the approach of Google. He replied that he did not believe in him, everything was based only on conditional probabilities, no grammar accounting, no analysis of the meaning of words. And then it sounded reasonable. Google translated worse than PROMT and made ridiculous mistakes. But the reality turned out to be cruel. It took quite a bit of time and Google learned to translate better than others. From those languages, the existence of which the developers of the algorithm could not even know, Google began to translate better than the models on which professional linguists worked for years. In the form in which it existed before, mathematical linguistics was destroyed.
The same fate awaits psychometrics. Today, smart people are trying to figure out how to ask two or two hundred questions in the best way, come up with complex mathematical methods for analyzing answers, to learn something about a person. In five years, these unfortunate 200 data points will be collected about us every second, aggregated and compared with data obtained from millions of other people, the predictive power of this system will make all today's calculations ridiculous.
And then came the Google Translate. I remember how I asked a friend who was involved in mathematics linguistics, what he thinks about the approach of Google. He replied that he did not believe in him, everything was based only on conditional probabilities, no grammar accounting, no analysis of the meaning of words. And then it sounded reasonable. Google translated worse than PROMT and made ridiculous mistakes. But the reality turned out to be cruel. It took quite a bit of time and Google learned to translate better than others. From those languages, the existence of which the developers of the algorithm could not even know, Google began to translate better than the models on which professional linguists worked for years. In the form in which it existed before, mathematical linguistics was destroyed.
The same fate awaits psychometrics. Today, smart people are trying to figure out how to ask two or two hundred questions in the best way, come up with complex mathematical methods for analyzing answers, to learn something about a person. In five years, these unfortunate 200 data points will be collected about us every second, aggregated and compared with data obtained from millions of other people, the predictive power of this system will make all today's calculations ridiculous.
У записи 10 лайков,
0 репостов.
0 репостов.
Эту запись оставил(а) на своей стене Иван Смирнов
