Fábricas de datos
El cambio más trascendente del último cuarto del siglo XX ha sido la desvinculación del dato espacial del mapa. El producto ha mutado; el dato espacial pasa a ser parte integrante de bases de datos geoespaciales. A partir de este momento el consumo de los datos espaciales no se realiza exclusivamente en forma de mapas. Estamos ante un nuevo paradigma tecnológico, el informacionalismo [1] en el que cambian los modos de desarrollo y uso de la información geográfica.
Quien dirige los equipos piensa en términos de comprar jugadores. El objetivo no debería ser comprar jugadores, debería ser comprar victorias. Y para comprar victorias hay que comprar carreras. (Peter Brand-Moneyball) Share on X
Estos son algunos de los hastags que puedes seguir en twitter #Spatialdriven #datagovernance #smartdata #GIS
- Datos espaciales y las fábricas de datos
- Definición de fábrica de datos
- Historia
- Elementos de las fábricas de datos
- Gestión de las fábricas de datos espaciales
- Ejemplos de fábricas de datos
- Roles profesionales
- Obstáculos y retos de la trasformación digital originados por las factorías de datos
- Desempeño de las fábricas de datos
- Ecosistema de las fábricas de datos: Geo-comunidades
- Adopción tecnológica
- Impacto de las factorías de datos
- Lecturas recomendadas sobre las fábricas de datos
- Post relacionados
Datos espaciales y las fábricas de datos
En el ámbito de la producción de datos destaca la consolidación de un nuevo instrumento: las fábricas de datos. Las factorías se integran en las organizaciones públicas y privadas, con carácter trasversal en la organización. La idea de que sin datos, sin mapas no hay buenas decisiones posibles impregna a todas las capas de la sociedad y define el objetivo de las fábricas de datos espaciales: poner el dato en valor para asistir la toma de decisiones.
Las organizaciones impulsadas por datos están implantando fábricas de datos. Un ejemplo de la popularidad de estas factorías es el impacto mediático de las smart city
En el ámbito de las decisiones se observa que en muchas ocasiones las decisiones son dibujadas en el territorio, por ese motivo se añade el adjetivo “espacial” para hacer referencia a que en esa fábrica se trabaja con datos que tienen un atributo geo-referenciado que permite la localización de objetos, y eventos en el territorio.
Los datos espaciales se equiparán con el resto de la información, perdiendo por ello la condición singular que tenían cuando sólo estaban incluidos en mapas. Ahora en las fábricas de datos son objeto de las mismas tareas y operaciones que el resto de los datos: captura, control, calidad, análisis o comunicación. Los datos espaciales están por lo tanto subordinados a otros procesos como la toma de decisiones, al seguimiento de las cadenas de producción y distribución o la mejora de la gestión de proceso de negocio [2].
Definición de fábrica de datos
La definición de fábricas o factorías de datos es incipiente pero prolija y en constante revisión. Se han hecho propuestas desde distintos ámbitos empresariales, académicos para definir las fábricas de datos . Cada definición de la fábrica de datos otorga visibilidad y protagonismo a aspectos concretos relacionados con la maquinaria, los servicios, la automatización el lugar, las operaciones, los componentes, o el servicio que prestan las fábricas de datos.
Desde este blog proponemos la siguiente definición de fábrica o factoría de datos
El proceso de trasformación de los datos se realiza mediante una cadena o línea de montaje que va incorporando valor a la materia prima, el dato.
Historia
Desde el punto de vista de la producción de mapas la historia de la cartografía nos muestra una inexorable marcha hacia la industrialización. Las pioneras infraestructuras de datos espaciales creadas por las compañas mercantiles que fueron creadas en el siglo XVI, como la Casa de contratación de Indias en España, o la WIC y VOC neerlandesas son una muestra de la sistematización en la producción cartográfica.
En este proceso a finales del siglo XX la transformación digital de la sociedad alcanza también a los mapas. La cartografía se transforma en bases de datos espaciales y los mapas se convierten en la representación gráfica de la misma dentro de la pujante área de visualización de datos.
La historia de la cartografía ha prestado mayor atención al contenido de los mapas, a su diseño y a la evolución de la producción cartográfica que al consumo de la información que contienen, consumo de mapas que en la actualidad se extiende y personaliza a toda la sociedad.
Elementos de las fábricas de datos
El origen de la materia prima de las fábricas:los datos geolocalizados
Existen tres grandes tipos de datos espaciales en función de quién sea su productor y la finalidad con la que se coleccionan. Cada uno de ellos presenta unas técnicas de captura, un modelo, un tipo de archivo de la información y un software.
- El primer grupo está formado por datos muy tecnificados y especializados. El uso de este tipo de datos está ligado generalmente a una producción y consumo profesional o científico, y a una reutilización que aporta un gran valor. En este campo se ha producido una hiperespecialización y una reivindicación del valor de los small data.
- Un segundo grupo está compuesto por datos generalistas y cotidianos. Están más vinculados con el estilo neogeográfico y de voluntariado de la web 2.0. En este grupo la neogeografía y el voluntariado son las formas habituales de producción y consumo.
- El tercer grupo proviene de la automatización en la producción, la cual se alcanza gracias y entre otros artefactos, a los sensores, al registro de la huella informática de la actividad cotidiana en el territorio y en la red, al Internet de las cosas, o la informacionalización. En este último grupo la forma que ha tomado la producción y el consumo es el binomio del big data y el geo-smart.
Existen otras clasificaciones basadas en el linaje de los datos. El análisis de su origen y procedencia de la información es una herramienta necesaria para conseguirla gestión esbelta (lean) de en la cadena de producción de la fábrica de datos
En la actualidad tenemos una vía ecléctica de producción del dato geográfico El mix productivo de estos tres tipos de datos está facilitado por los estándares de interoperabilidad, pero la convivencia de los datos no es fácil y está en fase de debate.
La disparidad de la calidad, las garantías técnicas y la seguridad jurídica de cada tipo de datos condiciona su integración; especialmente se discute la utilidad de la neogeografía, la capacitación geoespacial de la sociedad, el voluntariado geográfico para enriquecer a otros conjuntos de datos. A pesar de estas dificultades se están buscando marcos de integración que superen la segregación inicial
Cadena de producción
Algunas fábricas de datos realizan todo el proceso de transformación de datos en información, conocimiento, inteligencia y sabiduría. Otras se especializan y se centran solo en uno de los pasos. Para describir la cadena de producción tenemos a nuestra disposición distintos esquemas para rastrear el proceso corporativo de tratamiento de los datos.
- cadena de valor
- ciclo de Deming
- viaje del consumidor
- caso de uso
- rutinas tecnológicas
- red de actantes de la geocomunidad
- jeraquia DIKW
Algorirmos
La cadena de producción se descomponen en operaciones. Cada operación consiste en un conjunto de algoritmos sobre los datos. CUnado las operaciones se realizan sobre datos geográficos hablamos de algoritmos GIS
Calendario de decisiones
El consumo de información está condicionado en muchos sectores por el momento en el que es preciso adoptar una decisión. La identificación de esos momentos y su registro en calendarios de decisiones es una herramienta de gobernanza de los datos. El calendario permite sincronizar la producción de las factorías de datos con el consumo, puesto que la finalidad de la producción es el consumo.
Gestión de las fábricas de datos espaciales
Al igual que en otras áreas de la producción industrial , la producción de datos geográficos se impregna de la cultura de la manufactura industrial. Importa de ella varios esquemas entre los que destacan just in time, lean manufacturing, ágil entre otras. Ente ellos sobresale la incorporación de los principios de trabajo de la producción esbelta (lean manufacturing) al proceso de creación de datos espaciales mediante el «Lean mapping»
El consumo de datos espaciales se convierte en una fuerza motriz que tira de la producción. Para identificar el alcance de este fenómeno se introduce el concepto de punto de desacoplamiento en los modos de producción como instrumento para medir el efecto «pull» del consumo sobre la producción [3, 4, 5].
Ejemplos de fábricas de datos
Quizás estemos todavía lejos de plantear clasificaciones o taxonomías de fábricas de datos, pero si que podemos recopilar algunos caso de uso o ejemplos procedentes del mundo empresarial:
- Administración basada en la Relación con los Clientes “Customer Relationship Management” ( CRM )
- Administración del ciclo de vida de productos “Product Lifecycle Management” ( PLM )
- Administración de la Cadena de Suministro “ Supply Chain Management”( SCM )
- Gestión de las Relaciones con Proveedores “Supplier Relationship Management” ( SRM )
- Administración de Recursos Humanos “Human Resource Management” ( HRM )
- Planificación de Recursos Empresariales “ Enterprise Resource Planning” ( ERP )
- Plataformas de crowdsourcing cartográfico
Las noticias de los operadores nos muestran quela integración de la geolocalización y los análisis espaciales en estos sistemas de toma de decisiones (DSS) es una cuestión abierta [6].
También podemos hallar otro tipo de fábricas de datos
- Redes sociales, fábricas de datos que transforman la actividad de los usuarios en demandas de contenido y perfiles de usuarios que son objeto de comercialización al sector editorial y publicitario [7].
- Granjas de servidores. instalaciones especialmente creadas para el almacenamiento y gestión de datos [8].
- Entrenamiento de inteligencia artificial. Refinerías que convierte los datos en bruto en el combustible que puede impulsar las aspiraciones de la inteligencia artificial [9].
- Infraestructuras de datos espaciales: Fábricas basadas en información geográfica que proporciona servicios y facilitar el uso de datos georeferenciados para la toma de decisiones de la acción política evitando pérdidas de tiempo y facilitado su reutilización con fines comerciales [10,11].
- Smart city. Herramienta para manejar y englobar factores característicos de una zona urbana con el fin de promover el desarrollo sostenible, bienestar y calidad de vida de sus habitantes [32].
- En un sentido amplio también podemos considerar a las APIS procedimientos (Application Programming Interface) como fábricas de datos. Las APIS son una interfaz de programación de aplicaciones formada por un conjunto de subrutinas que incluyen funciones. La API es el estándar de facto para construir y conectar aplicaciones y desde ese punto de vista pueden ser consideradas las líneas de montaje de la fábrica de datos. La administración de API se ha vuelto esencial para la forma en que las organizaciones procesan y entregan aplicaciones en la nube [12].
Roles profesionales
Alrededor del dato espacial se incorporan profesionales de distintas áreas. La informatización y la mayor cantidad de datos disponibles han producido una híper-especialización en las labores de producción y análisis. Numerosas descripciones de roles surgen y desaparecen a medida que se va madurando las operaciones necesarias para la gestión de las factorías de datos. Algunos de los perfiles que podemos encontrarnos en las ofertas de barbotar son Data Scientists Data Analysts, Engineers and Operations, Data Stewards, Chief Information Officer, Chieff data officer, Chief Data Monetization Officer [13, 14] a los que se van incorporando otros como el gestor de datos de entrada, el bibliotecario de datos de entrada, data controller, u otros perfiles vinculados con la captura de los datos o la comunicación de los resultados.
Estos roles profesionales no son estrictamente nuevos. Estas funciones ya existían en gran parte de las organizaciones que dispone de sistemas de información. La novedad es se está produciendo una especialización y mezcla muy acelerada en las competencias necesarias para desarrollar las tareas y las funciones implícitas en las factorías de datos. El motivo es que facilitar que las organizaciones sean gestionadas con datos no es una tarea sencilla. La época del “profesional para todo”, cada vez esta más alejada de la realidad cotidiana que precisa la gobernanza de las infraestructuras de datos. El nacimiento de estos perfiles no podemos atribuirlo en exclusiva a la tecnología, o a la abundancia de datos. La transformación digital que están experimentando las organizaciones impulsadas por datos, especialmente cuando incorporan una dimensión territorial y en muchas ocasiones temporal, implica la construcción y desarrollo de factorías de datos dentro de la propia organización y estas factorías son muy útiles pero complejas.
Las organizaciones a las que nos referimos tienen un nexo en común, disponen de un sistema de datos habitualmente con alguna conexión espacial, territorial , o de información geografía. La diferencia estriba en el tipo de sistema en el que el dato espacial se está integrando en las organizaciones. Los sistemas son muy variados en su estructura y fines. Por citar algunos tenemos desde SDI, BI, DSS, CRM, ERP, atlas, que incluyen base de datos, “data warehouse”, repositorios documentales, “Iot”, “big data”, y con los que interactuamos en distintos niveles, desde código hasta GUI compo pueden ser plataformas, portales, webmaps o apps entre otros.
Obstáculos y retos de la trasformación digital originados por las factorías de datos
La trasformación digital es un proceso estratégico de cambio en las organizaciones mediante la integración de las tecnologías de la información y la capacitación en competencias de alfabetización digital de sus integrantes que proporciona oportunidades y retos a la organización, en el entorno digital en red, como consecuencia de los cambios de los métodos y estrategias de funcionamiento.
Las fábricas de datos son uno de las herramientas de transformación digital que ponen en marcha las organizaciones que aspiran a estar impulsadas por datos (data driven). El proceso de implantación y gestión de las fábricas de datos tiene los siguientes retos.
Puesta en marcha de la fábrica de datos
Almacenamiento, disponibilidad y mantenimiento, recogida, búsqueda, evaluación de los más útiles para un fin particular, interoperabilidad, comunicación [10]
Adaptación de la organización a un entorno digital cambiante
El efecto de la reina roja, la organización exponencial [15].
Gestión cadena de producción de datos y las líneas de montaje
priorizar las actuaciones de la fábrica, las interrupciones de la cadena de producción y la calidad, acelerar el tiempo de producción, monitorizar el desempeño de la estrategia de impulsar la organización mediante datos, maximizar la productividad de los científicos de datos [16, 17]
¿Por qué las estrategias digitales fallan?
Definiciones difusas, malinterpretando la economía digital, (Lo digital está destruyendo la renta económica, la economía del ganador se lo lleva todo, la recompensa es para las pioneros y adaptadores tempranos) las industrias serán ecosistemas, titulares vs aspirantes y el B2B, necesidad de digitalizar sus negocios actuales e innovar nuevos modelos, interrupción digital su magnitud y el ritmo. [18]
Percepción humana
La paradoja del big data [33] La cuantificación propicia una falsa sensación de seguridad, un sesgo cognitivo. La aparición de nuevos factores nos avisa de la necesidad de una revisión y actualización constante de variables y modelos especialmente en sistemas abiertos, practicado algo muy básico observar la realidad.
Correlación espacial
La geoinformática debe incorporar la geoestadística para garantizar que los modelos de aprendizaje automático resultantes incorporen la perspectiva espacial [34] . La incorporación de modelos de simulación continua, con eventos discretos y agentes, o los análisis de incertidumbre y sensibilidad puede ser también herramientas necesarias para optimizar las factorías y que proporcionen predicciones adaptables a la evolución de su ámbito sectorial. Pero estas prevenciones metodológicas puede ser insuficientes si se pierde la perspectiva geográfica que proporciona la identificación del hecho geográfico sobre el que esta tratando cada fábrica de datos.
Desempeño de las fábricas de datos
De forma paralela al desarrollo del informacionalismo, en la manufactura se produce una proliferación de nuevos paradigmas en la producción de bienes y servicios. Estos paradigmas conviven y se superponen en el tiempo. Hay paradigmas productivos que se adaptan mejor a determinadas circunstancias de mercado y económicas [20], a cada tipo de producto [19], al ciclo de vida del producto [21], o a la disponibilidad de tecnologías de la información [22]
El esfuerzo que supone la trasformación digital provoca la necesidad de construir indicadores para evaluar el grado de desempeño, el efecto y el nivel de adopción de cada paradigma por parte de una organización o de un sector productivo concreto [23]. Los indicadores se construyen mediante técnicas multicriterio e índices de agregación que se validan empíricamente [24, 25, 26]. En la construcción de los indicadores de desempeño es habitual que se empleen técnicas de valoración económica de los datos. Se disponen de ejemplos en el análisis de los beneficios económicos de un GIS
Desde la esfera de las infraestructuras de datos espaciales (SDI) se realiza un esfuerzo en la evaluación de los datos espaciales. Los indicadores propuestos miden distintos ámbitos, desde el estado actual de desarrollo, el desempeño, el coste eficacia o la utilización de los productos y los servicios, hasta el impacto en la sociedad [27,28].
Ecosistema de las fábricas de datos: Geo-comunidades
Hoy en día el consumo de datos geográficos sirve a su vez de materia prima a nuevos procesos de producción de información. La concatenación de los ciclos productivos sucesivos sirve para diferenciar y caracterizar los lugares donde se realiza la producción y el consumo.
La geoweb es coral [29] y está formada por muchas geo-munidades. En este ecosistema las geocomunidades formadas alrededor de las factorías de datos desarrollan relaciones inter e intra-organizativas mediante políticas, acuerdos y licencias. Establecer estas relaciones entre las factorías de datos permite destinar los recursos hacia la creación de datos propios y originales mediante la integración y reutilización de la información elaborada por otras geocomunidades en sus fábricas de datos. En este sentido se puede afirmar que casi todas las geocomunidades son usuarios de otras.
Las geocomunidades constituidas alrededor de una fábrica de datos realizan una mediación de los datos existentes, dentro de las actividades sociales [30]. No sólo son un marco tecnológico en torno al dato espacial, son también una infraestructura sociotécnica [31]
Las geocomunidades y no las fábricas de datos son el ágora en el que se efectúa la negociación del proceso de producción y consumo de los datos espaciales. Es una red de acto-res que realizan una agencia compartida, cuyo éxito se puede resumir en términos de su estabilidad o supervivencia en el tiempo.
La aparición de estas redes se debe en gran parte al omnivorismo espacial de nuestra realidad, que ha provocado la necesidad de agentes y sistemas intermediarios que faciliten el acceso a la información, reduciendo los riesgos y maximizando la confianza en el consumo de datos, información, conocimiento, inteligencia.
Adopción tecnológica
SI hay diferencial, habrá implantación. Aún con este lema la adopción de las fábricas de datos es desigual. Este es el motivo por el que gran parte de la acción publicitaria de industrial geoespacial esta enfocada a superar la brecha de adopción tecnológica. Esta acción publicitaria esta evolucionando desde lemas próximos al «impulsado por datos » a otros donde se destaca el papel de la IA «Los análisis espaciales serán el próximo «salto adelante » de la geoweb«
El estudio del discurso publicitario alrededor de las fábricas de datos es incipiente por parte del sociología del ciencia y la tecnología, aunque algunos antecedentes se pueden tomar del campo del GIS-crítico, Gis y Sociedad. como Los análisis espaciales serán el próximo «salto adelante » de la geoweb
Impacto de las factorías de datos
Las factorías de datos como las ciudades inteligentes tiene un doble efecto de spillover en su nacimiento que ha sido posible gracias la integración de tecnologías y en su explotación como fuente generadora de conocimiento.
Lecturas recomendadas sobre las fábricas de datos
[1] CASTELLS, M. (2004): «1. Informacionalismo, redes y sociedad red: una propuesta teórica» en La sociedad red: una visión global (CASTELLS, M. dir.). Alianza Edi-torial, 27-78.
[2] WESKE, M. (2012): Business process management: concepts, languages, architec-tures, Springer Science & Business Media.
[3] HOEKSTRA, S. y ROMME, J. (1992): Integral logistic structures: developing customer-oriented goods flow. London, Reino Unido, McGraw-Hill, London.
[4] VAN HOEK, R. I. (1998): «Reconfiguring the supply chain to implement postponed manufacturing». The International Journal of Logistics Management, nº 9(1), 95-110.
[5] OLHAGER, J. (2012): «The Role of Decoupling Points in Value Chain Management» en Modelling Value (H. JODLBAUER, J. OLHAGER, R. J. SCHONBERGER, dirs.). Physica-Verlag HD, 37-47.
[7] Data Factories
[8] The Data Center Mural Project: Home of «The Cloud»
[9] How Cheap Labor Drives China’s A.I. Ambitions
[10] LISIGE
[11] INSPIRE
[12] The 2018 Gartner Magic Quadrant for Full Life Cycle API Management
[13] Driving Competitive Advantage through Data Monetization
[14] Data Monetization? Cue the Chief Data Monetization Officer
[15] Organizaciones exponenciales
[17] Applying a Factory Model to Artificial Intelligence and Machine Learning
[18] Why digital strategies fail
[19] MASON-JONES, R.; NAYLOR, B. y TOWILL, D. R. (2000): «Lean, agile or leagile? Matching your supply chain to the marketplace». International Journal of Produc-tion Research, nº 38(17), 4061-4070.
[20] GOLDSBY, T. J.; GRIFFIS, S. E. y ROATH, A. S. (2006): «Modeling lean, agile, and leagile supply chain strategies». Journal of business logistics, nº 27(1), 57-80.
[21] VONDEREMBSE, M. A.; UPPAL, M.; HUANG, S. H. y DISMUKES, J. P. (2006): «Design-ing supply chains: Towards theory development». International Journal of pro-duction economics, nº 100(2), 223-238.
[22] BI, Z. (2011): «Revisiting system paradigms from the viewpoint of manufacturing sustainability». Sustainability, nº 3(9), 1323-1340.
[23] DUBEY, R. y GUNASEKARAN, A. (2015): «Agile manufacturing: framework and its empirical validation». The International Journal of Advanced Manufacturing Technology, nº 76(9-12), 2147-2157.
[24] LAU, K. H. (2011): «Benchmarking green logistics performance with a composite in-dex». Benchmarking: An International Journal, nº 18(6), 873-896.
[25] O’BRIEN, C. (2013): «Fifty years of shifting paradigms». International Journal of Production Research, nº 51(23-24), 6740-6745.
[26] AGARWAL, A.; SHANKAR, R. y TIWARI, M. (2006): «Modeling the metrics of lean, agile and leagile supply chain: An ANP-based approach». European Journal of Operational Research, nº 173(1), 211-225.
[27] MORERA, C. O.E., C.; REY, D. I. y GUIMET, J. (2012): «Evaluación de una IDE desde su caracterización hasta su impacto en la sociedad» en Fundamentos de las Infra-estructuras de Datos Espaciales (IDE) (M. Á. Bernabé-Poveda y C. M. López-Vázquez, dirs.). Madrid, España, UPM Press,
[28] Midiendo la calidad de una IDE y sus geoportales
[29] GOODCHILD, M.F. (2009b): «Geographic information systems and science: today and tomorrow». Annals of GIS, nº 15(1), 3-9.
[30] HAKLAY, M. (2012): «Geographic information science: tribe, badge and sub‐disci-pline». Transactions of the Institute of British Geographers, nº 37(4), 477-481.
[31] DODGE, M.; PERKINS, C. y KITCHIN, R. (2009): «12. Mapping modes, methods and moments: a manifesto for map studies» en Rethinking Maps (ROUTLEDGE, dirs.). Vol. 28. New York, Routledge, 1ed., 220-243.
[32] Smart city[33] Las percepciones humanas que faltan en los grandes datos | Tricia wang
[34] Movement data in GIS and the AI hype por Anita Graser