"Мы показали, что вычислительные подходы могут раскрывать важные тренды и связи между историческими событиями и культурными трендами и тем, что содержится в больших наборах текстов за определенный исторический период. С другой стороны, не все можно автоматизировать – то, какую роль и насколько важными были эти связи для человечества, может выяснить только человек, и эта часть истории никогда не станет вотчиной машин", — заявил Том Лэнсдолл-Уэлфейр (Tom Landsall-Welfare) из Бристольского университета (Великобритания).
Традиции печати газет и других периодических изданий возникли в Британии и многих других странах Европы с середины 17 века, и столетние архивы многих этих местных и национальных СМИ сохранились до наших дней.
До начала 20 века газеты и прочая печатная пресса была фактически единственным источником информации для большинства обывателей, однако та роль, которую они играли в формировании мнении и политики, оставалась почти неизученной до сегодняшнего дня. Одной из причин этого является объем печатных изданий – "ручной" анализ даже нескольких десятков газет за полвека или век потребует нескольких лет, если не десятилетий непрерывной работы.
Лэнсдолл-Уэлфейр и его коллеги решили восполнить этот пробел, воспользовавшись двумя продуктами современной цивилизации – нейросетями, которые применяются сегодня для анализа баз данных и больших массивов текстов в лингвистике, и электронным архивом газет, который подготавливается частной генеалогической компанией findmypast.
Обширный архив газет findmypast помог ученым проанализировать свыше сотни местных газет и прочих периодических изданий, существовавших на территории Британии с 1800 по 1950 год. В общей сложности за это время их корреспонденты и редакторы подготовили и опубликовали примерно 35 миллионов статей и других текстов, которые содержат в себе около 29 миллиардов слов.
Это, по оценкам ученых, составляет около 14% от общего объема информации, издававшейся в прессе за весь этот период.
Для анализа этих газет ученые создали систему искусственного интеллекта, которая "читала" газеты, искала в них различные ключевые слова, оценивала частоту их встречаемости, их важность и другие параметры, интересные для историков и культурологов.
Это позволило системе ИИ выделить важнейшие и самые резонансные события этих периодов и раскрыть множество неочевидных и очевидных закономерностей, вытекающих из общей канвы той информации, которая публиковалась газетами в 19 и в 20 веках.
К примеру, 1898 год стал своеобразным историческим водоразделом, при пересечении которого электричество вытеснило пар в сознании британцев, а поезда стали популярнее лошадей через четыре года. Кроме того, ИИ раскрыло четыре финансовых кризиса 19 века, произошедших в середине 20-тых, 40-тых, 50-тых и 60-тых годов.
С точки зрения социальной жизни, большая часть крупных изменений произошла на рубеже веков – политика начала стремительно терять в популярности в конце 19 — начале 20 века, и постепенно замещаться театром, киноиндустрией, эстрадой и футболом и прочими видами спорта, начиная с 1890 годов. Если говорить о национальной идентичности, то можно говорить, что понятие "Англия" было постепенно вытеснено из жизни страны словом "Британия" в начале 20 века. До этого жители Великобритании в целом считали себя "англичанами", а не британцами.