Большие (городские) данные
В памяти наших компьютеров уже заключено не только содержание всех крупнейших библиотек, архивов и музеев мира и годовых комплектов газет всех стран, но и досье ad hoc на множество отдельных лиц и мест… Мы хотим создать централизованную память рода человеческого.[1 ]Italo Calvino, «World Memory», in Numbers in the Dark, trans. Tim Parks (New York: Vintage, 1995), 135; Итало Кальвино, «Память мира», в Итало Кальвино, Космикомические истории: рассказы (Москва: АСТ: Астрель, 2011), 437.»
Итало Кальвино, 1968
Базы данных превращают вымышленный мир Кальвино в реальность.
Представьте каждый телефонный звонок, каждую покупку в магазине, каждый пройденный километр, каждый твит, СМС, поход в прачечную, которые имели место за последние двадцать четыре часа. Каждый день люди, особенно в городах, ежесекундно оставляют за собой разнообразные виртуальные следы, и все они хранятся в электронной базе данных. Мы создаем, архивируем и обращаемся к электронным копиям нашего мира, формируя коллективную память. «Что произойдет, спросил однажды Билл Гейтс, если мы сможем получить мгновенный доступ ко всей информации, с которой мы соприкасались в течение жизни?»[4 ]Bill Gates, «Foreword», in Gordon Bell and Jim Gemmell, Your Life, Uploaded: The Digital Way to Better Memory, Health, and Productivity, by Gordon Bell and Jim Gemmell (New York: PLUME, 2009), x–xi.» Кажется, сейчас наступил как раз такой момент, когда мы можем это сделать.
Поскольку электронные технологии все глубже проникают в нашу жизнь (и образуют постоянно работающую сеть, как в случае с «интернетом вещей»), каждый человек производит ошеломляющее количество данных, которые объединяются в одно целое с данными всего остального человечества. Эрик Шмидт, пожалуй, одна из ключевых фигур, стоящих за революцией больших данных, во время своей работы в Google отметил, что каждые два дня люди создают столько же информации, сколько было создано с момента зарождения цивилизации до 2003 года, то есть почти пять эксабайт данных (один эксабайт — это квинтиллион, то есть 1018 байтов).[5 ]Eric Schmidt, «Google», Techonomy Conference, Lake Tahoe, CA, August 4, 2010, presentation at a panel discussion with Debby Hopkins, Kevin Kelly, and Lisa Randall, moderated by David Kirkpatrick.» По мере того как происходит сбор и хранение цифровой информации, «разрешение» виртуальной копии нашего мира становится все более высоким.
Любой набор данных, собираемых для определенной цели, имеет множество связанных с этими данными потенциальных побочных продуктов. Исследователи, работающие с этим потоком городской информации, часто называют это оппортунистическим восприятием (opportunistic sensing): использование данных, сгенерированных для одной цели, и их анализ в другом контексте для того, чтобы сделать новые выводы. Массивы данных часто имеют много измерений, и независимо от того, подразумевается или нет явное использование каждого из этих измерений в момент создания, каждый аспект этих данных впоследствии может быть инструментализован неожиданным и творческим образом. К примеру, данные транзакций по кредитным картам имеют уникальные идентификационные коды для продавца и для покупателя. Эти коды позволяют исследователям фильтровать данные по месту и типу покупки (еда, бензин, одежда) для определения паттернов экономического поведения в городах.[6 ]S. Sobolevsky, I. Sitko, R. Tachet des Combes, B. Hawelka, J.M.Arias, and C.Ratti, «Money on the Move: Big Data of Bank Card Transactions as the New Proxy for Human Mobility Patterns and Regional Delineation — The Case of Residents and Foreign Visitors in Spain», 2014 IEEE International Congress on Big Data, 136–143» Анализ телекоммуникационных данных и социальных медиа показал, что и то и другое является мощным инструментом для понимания функционирования социальных связей и механизмов их развития.
Массивы данных можно рассматривать индивидуально, но гораздо лучшее представление можно получить при наложении их друг на друга, а также при анализе мест их пересечений. Общим знаменателем, позволяющим нам сопоставлять их друг с другом, является географическое пространство. В особенности сейчас, когда можно соединять и переплетать между собой различные потоки информации, городские данные могут дать нам как никогда раньше ясную картину жизни людей. Еще в 2006 году исследователи начали связывать данные об использовании мобильной связи с данными о перемещениях.[7 ]. Calabrese and C.Ratti, «Real Time Rome». Networks and Communications Studies 20 (2006): 247–258.» Собранный воедино городской портрет, который сделался зримым (особенно во время такого исключительного события как финальный матч Чемпионата мира по футболу в Риме в 2006 году), позволил увидеть, что коллективное поведение было напрямую связано с этим событием. Перед началом игры движение и использование мобильной связи замерли, во время матча активность почти прекратилась, в перерыве резко возросла, упала почти до нуля во время напряженных последних минут и взорвалась после окончания матча. В следующие несколько часов по следам мобильной связи можно было наблюдать массовое движение в центр города для празднования победы национальной команды. В последующих проектах в городах, где доступ к данным организован проще, как, например, в Сингапуре, массивы данных были еще больше. Данные о погоде, о почтовых отправлениях, из социальных медиа, об использовании общественного транспорта, сотовых сетей и другие соединились в единый поток, чтобы создать многомерный портрет городов и их паттернов.[8 ]C. Kang, S. Sobolevsky, Y. Liu, and C. Ratti, «Exploring Human Movements in Singapore: A Comparative Analysis Based on Mobile Phone and Taxicab Usages», UrbComp ’13 Proceedings of the 2nd ACM SIGKDD International Workshop on Urban Computing (New York: ACM, 2013), article 1, http://dl.acm.org/ citation.cfm? id=2505826; C.Ratti and K.Kloeckl, ” «Enacting the Real Time City, Proceedings of Futur en Seine 2009, Cap Digital, 2010, 72–84.
Помимо оппортунистического восприятия, данные можно генерировать с помощью сенсоров определенного назначения. При внедрении технологий в городскую среду можно получить надежные и подробные данные, которые затем можно использовать, например, для составления карты какой-либо системы, для обнаружения скрытых процессов или для получения нового понимания характера человечества. На макроуровне, автомобили Google, к примеру, ездили по всему миру, делая панорамные съемки местности. После пяти лет работы команда, занимавшаяся панорамными съемками для Google Maps, сообщила, что за это время их автомобили запечатлели пять миллионов миль дорог в тридцати девяти странах невероятным общим объемом в двадцать петабайт данных, то есть несколько квадриллионов изображений.
По мере того как все больше и больше таких электронных элементов внедряется в физическое пространство, можно выявить многие другие аспекты городской среды, приведем в качестве примера систему утилизации мусора. Как уже обсуждалось в Главе 1, Senseable City Lab запустила проект «Отслеживание мусора», который обращался к сценарию повсеместного трекинга. Исследователи разработали геолокационные метки и с помощью жителей Сиэтла присоединили их к тысячам единиц обычного мусора по сути создав «интернет мусора», чтобы отследить цепочку утилизации отходов на территории Соединенных Штатов.[9 ]Carlo Ratti et al., «Investigation of the Waste-Removal Chain through Pervasive Computing», IEEE Xplore: IBM Journal of Research and Development 55.1.2 (2011): 1–11.» На протяжении последующих месяцев с помощью меток удалось обнаружить удивительную сеть, о которой никто раньше не догадывался. В будущем, с ускорением распространения технологий в городском пространстве, можно будет получить беспрецедентное понимание функционирования таких систем, как динамика управления мусором, а также создать данные, которые можно будет использовать для оптимизации всей системы, даже в реальном времени.
В будущем, при развитии сценария повсеместной «умной пыли», появится доступ к множеству разнообразных данных. Между тем уже сейчас в наших городах существует всеобъемлющая сеть, сами горожане. В некоторых случаях сбор персональных данных является совершенно осознанным и целенаправленным. Программист Гордон Белл был одним из первых, кто занялся практическим развитием идеи индивидуальных данных, в 1998 году он создал проект под названием «Твоя оцифрованная жизнь» («Your Life, Uploaded»), сделав себя предметом первого полноценного эксперимента по так называемому лайфлоггингу (запись жизни). Белл разработал техническое оборудование и программное обеспечение, позволяющее запечатлевать каждый момент и каждое действие своей жизни через фотографии, работу за компьютером, биометрию и другие вещи. Эта технология была примитивной и давала сбои, но проект оказался успешным в части каталогизации его жизни на протяжении более чем десяти лет. «Каков результат?» — спрашивал он. «Невероятное расширение возможностей человеческой жизни в разных сферах: от здоровья и образования до работы и просто воспоминаний о приятных моментах. А потом, когда тебя не станет, твои внуки смогут прикоснуться к твоей жизни и твоей памяти».[11 ]Bell and Gemmell, Your Life, Uploaded.»
То, что Белл изначально планировал как масштабный исследовательский и социологический проект, теперь является бессознательной нормой, чем-то, само собой разумеющимся, для поколения интернета. Наша пространственная и социальная активность отслеживается и записывается; во многих случаях требуется приложить больше усилий и решительности, чтобы избежать документирования, чем позволить ему случиться. Твиты, звонки Uber, СМС, отзывы на Yelp и «чекины» становятся рутиной повседневной жизни. Население планеты производит и пропускает через себя огромное количество информации, а люди становятся все более и более взаимосвязаны. Основная часть колоссального (и растущего) объема данных, который создается сегодня, — это информация генерируемая пользователями, практически непрерывный поток персональных данных.
Существует множество пользовательских платформ, позволяющих выкладывать в общий доступ, к примеру, фотографии, но помимо непосредственной функции, они скрывают в себе также огромный и богатый массив данных, включающий GPS позицию, ключевые слова, время, социальные сети и количество просмотров каждой фотографии. Этот кладезь информации способен помочь нам глубже понять, как люди взаимодействуют с физическим пространством и внутри него, по мере того как электронные отметки наносятся на карту и накладываются друг на друга, выявляя, например, перемещения и активность туристов. На основе данных Flickr исследователи Senseable City Lab создали карту Испании, отражающую перемещения внутри страны.
Она показывает, как туристы и местные жители воспринимают и используют окружающую среду, и, помимо прочего, определяет наиболее привлекательные места, или «визуальные магниты».[12 ]Girardin, F.Calabrese, F.Dal Fiore, C.Ratti, and J.Blat, «Digital Footprinting: Uncovering Tourists with User-Generated Content», IEEE Pervasive Computing 7.4 (2008): 36–43; F.Girardin, F.Dal Fiore, C.Ratti, and J.Blat, «Leveraging Explicitly Disclosed Location Information to Understand Tourist Dynamics: A Case Study», Journal of Location-Based Services 2.1 (2008): 41–54.» В своем продолжающемся исследовании они смогли эффективно использовать глаза других людей, изучая фотографии местности с помощью методов компьютерного распознавания изображений и цветового соответствия. Пользовательские фотографические данные стали применяться для выявления природных явлений и текущего состояния окружающей среды, например, засушливых зон или зеленых оазисов внутри города. Этот сценарий futurecraft опирается на предпосылку постоянно расширяющегося всеобъемлющего знания, ткань электронного покрывала, застилающего и заполняющего города, в которых мы живем.
Любой человек может выгружать данные в реальном времени, и, сознательно или нет, мы делаем это практически постоянно. Одни платформы стимулируют пользователей, предлагая небольшую денежную компенсацию за выполнение единичных заданий, которые вносят вклад в общие усилия, в то время как другие системы привлекают людей к гражданскому участию на более альтруистических мотивах. Многочисленные приложения для смартфонов, связанные с определенной территорией, автоматически отправляют детальную информацию о повреждениях дорог, движении транспортного потока и ценах на бензин на благо всех водителей. Участники созданной гражданскими усилиями «открытой карты улиц» (OpenStreetMap) прочерчивают дороги и делают информацию доступной для всех. 311 приложений позволяют городским жителям сообщать о неэкстренных дорожных происшествиях ямах, упавших деревьях, поврежденных дорожных знаках и либо информировать об этом городские власти, либо привлекать самих горожан для устранения проблемы. Другая категория данных тех, которые создаются ненамеренно, включает в себя большое (и растущее) количество платформ социальных медиа, таких как Twitter, Facebook и Flickr. Пользователи могут совсем не представлять себе, что их действия в сети являются богатым источником информации факт, который использовался для совместного сотрудничества (вызвавшего неоднозначную реакцию) между Facebook и Корнелльским университетом.[13 ]Adam D.I.Kramer, Jamie E.Guillory, and Jeffrey T. Hancock, «Experimental Evidence of Massive-Scale Emotional Contagion through Social Networks», Proceedings of the National Academy of Sciences 111.24 (2014): 8788–8790.»
Три описанные категории сбора данных в городах оппортунистическое восприятие, применение сенсоров ad hoc и краудсенсинг могут совмещаться в различной степени. На основе телекоммуникационных сетей возник новый мир городских приложений, которые позволяют людям обмениваться геолокационной информацией и смотреть на город с точки зрения своего местоположения. К примеру, качество воздуха плохо поддается измерению, поскольку данные собираются на немногочисленных станциях, стоящих в определенных местах. В возможном будущем сами горожане смогут образовать распределенную сеть сенсоров, которая создаст динамичную атмосферную карту в реальном времени. Используя сенсоры, интегрированные со смартфонами, пешеходы могут генерировать данные, соразмерные человеку, как если бы по улицам города путешествовало наблюдающее устройство, показывая городскую среду, в которой живут и перемещаются жители.[14 ]Carlo Ratti and Otto Ng, «One Country, Two Lungs», MIT Senseable City Lab with LAAB, exhibition, presented at the Hong Kong and Shenzhen Bi-City Biennale of Urbanism and Architecture, 2013.» Эта идея может вдохновить производителей потребительской электроники на то, чтобы внедрять сенсоры измерения окружающей среды в устройства и открывать доступ для анализа полученных данных.
Индивидуумы становятся агентами сбора данных, и в масштабах городского населения мы все являемся частью огромной сокровищницы краудсорсинговой информации. Эксперимент Гордона Белла стал достоянием прошлого, общество движется от «лайфлоггинга» к «ситилоггингу» (запись города). Мы все вплетены в обширную сенсорную экосистему.
Наиболее явные тенденции сегодня связаны с ростом числа приложений и технологий, создающих городские данные, более широким применением приложений и технологий среди населения и более быстрой реакцией со стороны городских властей. На городском уровне создаются абсолютно новые должности, к примеру, директор по технологиям станет отвечать за городское применение электронных систем на макроуровне, а программа по управлению персональными данными будет действовать на микроуровне. Люди квантифицируют себя, чтобы лучше понять свое предназначение и сделать свою жизнь лучше. Все вместе мы составляем мозаичный портрет города. Люди все сильнее ощущают ответственность за электронную тень, которую они отбрасывают, и в будущем у них будет возможность играть более активную роль в обустройстве своей среды проживания. Мы движемся от квантифицированного «я» к квантифицированному городу.
