PORTAFOLIO
TI_DWH-LCO_Lista de Control de Obligados, migración a NPSI
Se realizó el proceso de automatización y control de datos empleando tecnologÃas de bases de datos como PostgreSQL, junto con plataformas de procesamiento distribuido y big data Databricks, integradas mediante flujos orquestados y notificaciones automáticas por correo electrónico. El proceso contempla validaciones iniciales de disponibilidad de servicios y tablas, la inclusión de puntos de reinicio, cifras de control y generación de bitácoras que permiten la trazabilidad y auditorÃa de la operación.
Durante la fase de análisis se construyó un diagrama de solución para mapear cada componente, asegurando la correcta lectura, escritura y persistencia de los datos dentro del ecosistema. La arquitectura fue diseñada bajo un esquema de alta disponibilidad 24/7, con mecanismos que evitan la duplicidad de registros y que garantizan información confiable, Ãntegra y consistente en todo momento.
TI_DWH Lista marcaje PetrolÃferos: Generar listado de contribuyentes obligados a integrar en el Complemento concepto Hidrocarburos y PetrolÃfero
En este proyecto se realizó la modernización de procesos ETL dentro de una nueva plataforma con el objetivo de optimizar el manejo y disponibilidad de datos institucionales.
La solución se implementó con tecnologÃas como Azure Data Factory, Databricks, Data Lake y PostgreSQL, permitiendo un ecosistema escalable, resiliente y desacoplado que garantiza la operación continua.
El proyecto incluyó:
- Validación de disponibilidad de componentes al inicio de cada ejecución.
- Incorporación de puntos de reinicio, cifras de control y bitácoras para auditorÃa y trazabilidad.
- Automatización de notificaciones por correo en cada etapa crÃtica del proceso.
- Generación de listados diarios bajo reglas de validación, evitando duplicados y asegurando consistencia.
- Publicación de archivos .txt y .txt.gz firmados digitalmente, almacenados en Azure Blob Storage con histórico de 5 años.
- Transferencia segura de archivos con archivos de control y hash de verificación.
Con este proyecto se garantiza un servicio disponible 24/7 los 365 dÃas del año, reduciendo tiempos de procesamiento, eliminando dependencias de tecnologÃas propietarias y ofreciendo información confiable, trazable y de calidad.
DyP_DWH-EXTRACTOR_NEPE_NPSI-ReingenierÃa del Servicio
Se llevó a cabo la automatización y control del proceso ETL dentro de la Nueva Plataforma, sustituyendo tecnologÃas propietarias por componentes portables y escalables.
El flujo se implementó con Azure Data Factory para la orquestación, Databricks para el procesamiento distribuido de grandes volúmenes de datos, PostgreSQL para validaciones y control, y Data Lake como repositorio por capas utilizando la arquitectura medallón.
Durante la ejecución se establecieron validaciones iniciales de disponibilidad de componentes, puntos de reinicio, cifras de control y generación de bitácoras para garantizar la trazabilidad. Asimismo, se integraron notificaciones automáticas por correo electrónico en cada etapa crÃtica, lo que permitió mantener un monitoreo constante.
Se elaboró un diagrama de solución que mapeó los componentes del ecosistema, validando la correcta lectura, escritura y persistencia de los datos. Con ello, se aseguró la integración continua 24/7, evitando duplicidad de registros y garantizando información confiable, Ãntegra y de calidad.
Finalmente, se implementaron mecanismos de conciliación automática y reprocesos parametrizables que permitieron resolver incidencias sin afectar la información ya cargada en la plataforma.
Sac_ReingenierÃa en NPSI: Servicio de Información de Movimientos SAC
El servicio fue rediseñado e implementado bajo los componentes definidos en su nueva plataforma, entre los que destacan Azure Data Factory para la orquestación de procesos, Databricks para el análisis y modelado de datos en arquitectura medallion, Data Lake como repositorio central de almacenamiento, PostgreSQL para validación de cifras y persistencia, asà como Power BI para la explotación de la información. A la par, se integraron herramientas de monitoreo y auditorÃa como App Insight, que permiten registrar y dar seguimiento a los eventos de ejecución.
Durante la construcción del servicio se establecieron validaciones de disponibilidad para asegurar que los componentes crÃticos, como PostgreSQL, Databricks y las tablas de proceso, se encontraran en lÃnea al inicio de la ejecución. De igual forma, se implementaron puntos de reinicio que permiten reanudar el proceso en la etapa donde ocurrió una falla, lo que posibilita atender incidentes de manera ágil y automatizada sin necesidad de intervención manual. Asimismo, se integraron cifras de control dentro del modelo general de la nueva plataforma para garantizar la consistencia de la información entre los distintos entornos y asegurar trazabilidad en todo momento.
Otro aspecto fundamental fue la construcción de pistas de auditorÃa mediante bitácoras y logs, los cuales son enviados a App Insight en conformidad con los lineamientos establecidos. Además, se configuraron notificaciones automáticas por correo electrónico que permiten informar a los usuarios sobre cualquier incidente detectado, detallando el punto donde ocurrió la falla, asà como la confirmación de una ejecución exitosa.
Como parte del proceso de transición tecnológica, se llevó a cabo la extracción y rediseño de las reglas de negocio originalmente implementadas en DataStage. Estas reglas fueron documentadas y reimplementadas utilizando los componentes de la nueva plataforma, garantizando su integración natural al nuevo ecosistema. Paralelamente, se migró la información hacia el nuevo modelo de datos, asegurando compatibilidad con diferentes tipos de datos, incluyendo valores enteros, decimales y long.
NyV_ReingenierÃa en NPSI: Servicio de Información MAT-NyV
para aplicativos de AGR
Dentro de la estrategia de evolución de la nueva plataforma se realizó la reingenierÃa del Servicio de Información, destinado a los aplicativos, con el objetivo de reemplazar tecnologÃas propietarias que requerÃan licenciamiento y soporte especializado, por componentes portables, escalables y resilientes implementados en la nube pública. Esta transformación permitió optimizar los procesos de integración, reducir costos operativos y asegurar mayor disponibilidad de la información para los distintos usuarios institucionales.
El servicio se implementó utilizando los componentes establecidos en la nueva plataforma, incluyendo Azure Data Factory para la orquestación de procesos, Databricks para el procesamiento distribuido y modelado de datos por arquitectura medallón, Data Lake como repositorio central de almacenamiento, y PostgreSQL para control, validación de cifras y persistencia. Además, se generaron los modelos de consulta mediante Power BI y se incorporaron herramientas de monitoreo y auditorÃa a través de App Insight para registrar y dar seguimiento a los eventos de ejecución.
Durante la implementación, se establecieron validaciones de disponibilidad de componentes al inicio de la ejecución, asegurando que Databricks, PostgreSQL y las tablas requeridas estuvieran online y disponibles. Asimismo, se implementaron puntos de reinicio, que permitieron retomar la operación desde la etapa donde se presentó un incidente, facilitando la resolución ágil de errores sin intervención manual. Se integraron también cifras de control y bitácoras para garantizar la trazabilidad de la información, asà como notificaciones automáticas por correo electrónico para informar sobre cualquier incidente o la finalización exitosa de los procesos.
Como parte del rediseño, se extrajeron y documentaron las reglas de negocio de los procesos existentes en DataStage, las cuales fueron reimplementadas utilizando los componentes de desarrollo de la nueva plataforma, asegurando su integración al ecosistema de la plataforma. La información histórica y actual de distintos ambientes de bases de datos fue migrada al nuevo modelo, incluyendo datos de contribuyentes, declaraciones, reportes, comunicados y solicitudes de chatarrización, entre otros. Se conservó la integridad de los datos de origen, respetando formatos de fecha, valores tipo long, decimales y enteros, y se cargaron en los modelos de la nueva plataforma garantizando que las cifras coincidieran entre Databricks y PostgreSQL.
Por último, se generó un diagrama de solución que permitió identificar todos los componentes del servicio y validar su funcionalidad, incluyendo lecturas, escrituras y persistencia de datos, puntos de reinicio, cifras de control y flujos de auditorÃa. Con esta reingenierÃa, el Servicio de Información se consolidó como una solución robusta, confiable y alineada a los objetivos estratégicos de la nueva plataforma, asegurando información oportuna, Ãntegra y de calidad, con alta disponibilidad y eficiencia en los procesos de integración y consulta.
IdC_ReingenierÃa en NPSI: Servicio de Información Validación de Contribuyentes
PF-PM Exentos de IDE e IVA
Se realizó la reingenierÃa del Servicio de Información para la validación con el propósito de migrar de plataformas propietarias hacia la nueva plataforma. El proceso contempló la extracción y rediseño de reglas de negocio originalmente implementadas en DataStage, documentándolas y adaptándolas a la nueva plataforma. La solución se diseñó bajo una arquitectura basada en tecnologÃas abiertas y escalables, integrando Azure Data Factory para la orquestación de procesos, Databricks para el análisis y procesamiento de datos en arquitectura medallón un Data Lake como repositorio central y PostgreSQL para validaciones, persistencia y control de datos.
El flujo incluye validaciones iniciales para garantizar la disponibilidad de los componentes antes de la ejecución como la conexión con Databricks, PostgreSQL y tablas del proceso, de igual manera la implementación de puntos de reinicio que permiten retomar automáticamente la operación desde el punto de falla, evitando reprocesos completos y reduciendo tiempos de recuperación. Se desarrollaron mecanismos de control que registran cifras de integración de datos, generación de logs y bitácoras de auditorÃa, los cuales se envÃan a App Insight para su monitoreo. Asimismo, se integraron notificaciones automáticas vÃa correo electrónico a fin de informar sobre incidentes o la correcta finalización de los procesos, proporcionando trazabilidad y visibilidad operativa.
La información validada se integra de acuerdo con el encoding institucional, gestionando caracteres especiales y garantizando la calidad de los datos. Los archivos recibidos pasan por procesos de validación de nombre y contenido, y se habilitó la capacidad de reprocesar insumos reenviados sin generar duplicados. La solución se conecta al modelo de control general de la nueva plataforma y alimenta los modelos de Business Intelligence disponibles en Power BI, facilitando la consulta de información de manera ágil y confiable.
DyP_NPSI-Actualización tecnológica a DWH-NEPE
Se realizó la reingenierÃa de la información, migrando los procesos desde tecnologÃas propietarias hacia la nueva plataforma. La solución fue diseñada con componentes abiertos, desacoplados y escalables, utilizando Azure Data Factory para la orquestación, Databricks para el análisis y procesamiento en la arquitectura medallón, un Data Lake como repositorio central y PostgreSQL para validaciones, persistencia y control de datos. El flujo contempla validaciones iniciales de disponibilidad de componentes, puntos de reinicio automáticos para retomar la operación desde fallas, integración de cifras de control, generación de logs y bitácoras de auditorÃa enviados a App Insight, asà como notificaciones automáticas vÃa correo electrónico que brindan visibilidad de incidentes y ejecuciones correctas. Se incluyó la capacidad de procesar insumos recibidos y reprocesar archivos reenviados evitando duplicados, además de gestionar encoding institucional y caracteres especiales. La información integrada alimenta el modelo de control general de la nueva plataforma y genera modelos de BI disponibles en Power BI, garantizando datos confiables, oportunos y trazables. Con esta modernización se eliminó la dependencia de plataformas propietarias, se redujeron costos y tiempos de procesamiento, y se fortaleció la disponibilidad y calidad de los servicios de información bajo un esquema resiliente y portable.
DyP_NPSI-Actualización tecnológica a DWH-DIOT
Se realizó la reingenierÃa la iniciativa integrándolo en la nueva plataforma. El proceso fue migrado de tecnologÃas propietarias DataStage hacia una arquitectura en la nube basada en Azure Data Factory, Databricks  de la arquitectura medallón Data Lake y PostgreSQL.
La solución contempla validaciones de disponibilidad de componentes al inicio de la ejecución, manejo de puntos de reinicio para recuperar procesos desde la falla, y control de integridad con almacenamiento de cifras de integración. Se implementaron bitácoras y trazas en App Insight, asà como notificaciones automáticas vÃa correo para incidentes o ejecuciones exitosas.
Se diseñaron y desplegaron repositorios para recepción de insumos y entrega de productos, incluyendo validación de nombres, estructura y contenido de archivos, asà como mecanismos de reproceso evitando duplicidad de datos. Además, se garantizó la persistencia bajo encoding estándar con soporte de caracteres especiales y se estableció una vigencia de 30 dÃas para la información procesada.
DyP_NPSI-Actualización tecnológica a DWH-M_IEPS (Forma 33)
Se realizó la reingenierÃa de la iniciativa, migrando su operación de tecnologÃas propietarias a la nueva plataforma con una arquitectura soportada en Azure Data Factory, Databricks con la arquitectura medallón, Data Lake y PostgreSQL.
El servicio se diseñó con validaciones de disponibilidad al inicio de la ejecución, asegurando la correcta conexión con bases de datos y tablas requeridas. Se implementaron puntos de reinicio para reiniciar procesos en caso de falla, evitando reprocesamiento completa y reduciendo tiempos de recuperación. Asimismo, se integró al modelo de control general para consolidar cifras de integración y trazabilidad de datos.
Se incluyeron pistas de auditorÃa y bitácoras conforme a los lineamientos de la NPSI, con envÃo de eventos a App Insight y generación de alertas automáticas por correo electrónico, dando visibilidad de incidentes y de la finalización exitosa de los procesos.
El modelo de datos fue diseñado e implementado en Databricks y PostgreSQL, garantizando consistencia entre ambos entornos y soportando múltiples tipos de datos long, decimales, enteros, etc. Se generó el modelo de Business Intelligence en Power BI, habilitando la explotación analÃtica de la información.
Como parte del análisis, se generó un diagrama integral de solución, considerando componentes de lectura/escritura, persistencia, reinicios, control de cifras y auditorÃa. Además, se migró la información histórica del proceso Movimientos SAC al nuevo modelo, rediseñando y documentando las reglas de negocio extraÃdas de DataStage para ser implementadas con los componentes de la nueva plataforma.
Con esta reingenierÃa, el servicio asegura portabilidad, escalabilidad, resiliencia y reducción de costos de licenciamiento, alineándose a los lineamientos estratégicos de la nueva plataforma y garantizando información confiable, oportuna y de calidad.
DyP_NPSI-Actualización tecnológica a MAT-RIF DWH
El proyecto sustituye procesos heredados en DataStage por una arquitectura basada en Azure Data Factory, Databricks y Data Lake, con PostgreSQL/Citus para persistencia transaccional y de consulta. El modelo de datos se organiza bajo la arquitectura medallón, garantizando limpieza, transformación progresiva y consumo confiable.
La solución contempla validaciones automáticas de disponibilidad de componentes antes de cada ejecución, lo que asegura estabilidad desde el arranque. Data Factory orquesta las cargas, mientras que Databricks ejecuta reglas de negocio y transformaciones masivas sobre archivos Parquet y estructuras transaccionales, aplicando procesos de control de calidad, manejo de caracteres especiales, validación de nulos y generación de cifras de control. El esquema transaccional y de réplica en PostgreSQL separa los usos de escritura y lectura, minimizando riesgos de colisión en producción.
El diseño incluye mecanismos de tolerancia a fallos mediante puntos de reinicio, reprocesos parametrizables y conciliaciones automáticas entre origen y destino. En caso de incidentes, el sistema detiene la ejecución, genera bitácoras y logs centralizados en App Insight, envÃa notificaciones por correo y clasifica los errores por infraestructura, configuración, proceso o contenido.
Como capa de explotación, se prevé un tablero de control unificado en Power BI, con indicadores de cifras de control, diferencias entre Databricks y PostgreSQL, métricas históricas y semáforos de integridad. Este tablero incluye un módulo de incidencias con trazabilidad detallada (fechas, tipo de error, estatus) y monitores de ejecución en tiempo real.
La reingenierÃa aprovecha los principios de la nueva plataforma: portabilidad, escalabilidad, resiliencia y elasticidad, asegurando que la información fiscal se integre con calidad, precisión y oportunidad, mientras se optimizan recursos operativos y se fortalecen los procesos de vigilancia y fiscalización de la institución.
DyP_NPSI-Actualización tecnológica a DWH-D_Terceros_Informados (IETU)
La reingenierÃa del proceso de la nueva plataforma se centra en la migración de tecnologÃas propietarias hacia una arquitectura abierta y desacoplada, soportada en Azure Data Factory, Databricks y Data Lake, con PostgreSQL como motor principal para persistencia y explotación de datos. La solución opera bajo el modelo de arquitectura de medallón, garantizando la trazabilidad completa del dato desde su ingestión hasta su consumo analÃtico.
El flujo contempla validaciones automáticas al inicio de cada ejecución para confirmar la disponibilidad de componentes crÃticos como PostgreSQL, Databricks y almacenamiento en Data Lake. Se implementaron puntos de reinicio que permiten retomar la operación desde el punto exacto de falla, minimizando reprocesos innecesarios. Asimismo, se establecieron mecanismos de control mediante cifras de integración y conciliaciones entre las distintas capas de Databricks y PostgreSQL, asegurando calidad y consistencia en los registros procesados.
Las reglas de negocio, originalmente implementadas en DataStage, fueron extraÃdas, documentadas y rediseñadas en Databricks Notebooks y pipelines de Data Factory, lo que permite un mayor rendimiento en el procesamiento masivo de datos y una integración nativa con el ecosistema de la nueva plataforma. Se incluyó la generación de bitácoras de auditorÃa y logs centralizados en App Insight, con notificaciones automáticas vÃa correo electrónico que brindan visibilidad sobre incidentes y confirmaciones de ejecución exitosa.
La arquitectura también incorpora un modelo de BI en Power BI, el cual se alimenta de los datos refinados en la capa Oro de Databricks y en las vistas optimizadas de PostgreSQL. Este modelo facilita la consulta y explotación de indicadores clave relacionados con los movimientos, reduciendo los tiempos de acceso a la información y habilitando capacidades de análisis avanzadas.
DyP_NPSI-Actualización tecnológica a DWH-DIM (Forma 30)
Esta iniciativa busca realizar la reingenierÃa de los procesos ETL actuales, migrando de plataformas propietarias hacia la nueva plataforma con el fin de contar con procesos automatizados, escalables, resilientes y alineados a una arquitectura moderna de datos.
Se emplearán tecnologÃas como Data Factory, Databricks, Data Lake, PostgreSQL Citus, Power BI y App Insights, las cuales permitirán orquestar flujos, procesar datos utilizando la arquitectura de medallón, almacenar información centralizada, generar modelos de BI, y garantizar monitoreo, trazabilidad y auditorÃa.
El nuevo proceso contempla validación automática de componentes, puntos de reinicio ante fallas, reprocesos unitarios o masivos, conciliación diaria entre fuentes y sistemas integrados, asà como estandarización de datos y separación de esquemas para mitigar colisiones en producción.
Por último, se entregará un Tablero de Control Unificado con cifras de control, métricas históricas, estado de procesos e incidencias, asegurando que la información institucional sea confiable, oportuna y de calidad para su uso en procesos analÃticos y de negocio.
DyP_NPSI-Actualización tecnológica a DWH-Donatarias (Forma 35)
La iniciativa busca modernizar y reestructurar el proceso migrando de tecnologÃas propietarias hacia un ecosistema más ágil y escalable dentro de la nueva plataforma. Con ello, se busca que los datos sean confiables, accesibles y de calidad, permitiendo a las áreas de negocio utilizarlos en análisis, fiscalización y toma de decisiones.
Para lograrlo, se aprovecharán herramientas como Data Factory, Databricks, Data Lake, PostgreSQL Citus, Power BI y App Insights, que permiten orquestar flujos ETL, procesar la información en la arquitectura medallón, almacenar datos de manera centralizada y monitorear la ejecución en tiempo real. La solución contempla esquemas separados para transacciones y consumo, evitando colisiones y garantizando un flujo seguro y eficiente de la información.
El proceso incluye la validación automática de componentes, manejo de reprocesos, integración diaria y por periodo, conciliación de datos, limpieza y estandarización, asà como documentación completa de modelos y flujos. Además, se implementará un tablero de control unificado que muestra cifras de control, métricas históricas, estado de ejecución e incidencias, complementado con alertas y notificaciones.