Node kinda sucks on serverless...

☀️ Quick Takes

Is this Video Clickbait?

1-Sentence-Summary

Favorite Quote from the Author

Este modelo tiene dificultades con cargas de trabajo dinámicas interactivas, donde las solicitudes de un solo usuario están vinculadas a una instancia de función que permanece inactiva mientras el procesamiento espera la respuesta del backend.

Key Ideas

• 💡 Vercel ha incorporado servidores en su oferta serverless, destacando la nueva característica de multi-concurrencia que reduce el uso de cómputo y costos sin afectar la latencia.

• ⚙️ El modelo serverless tradicional, como AWS Lambda, asigna una instancia de función por invocación, lo que genera ineficiencias en cargas de trabajo dinámicas e interactivas.

• 🔄 Node.js está diseñado para alta concurrencia y maneja bien las operaciones de E/S, pero su potencial se desaprovecha en entornos serverless como Lambda.

• 🚀 La introducción de soporte para streaming en Lambda y el desarrollo de un servicio de invocación de funciones por Vercel mejoran las capacidades de las funciones serverless.

• 🖥️ El nuevo modelo de Vercel permite que una sola instancia maneje múltiples invocaciones, aprovechando el tiempo de inactividad para procesar más solicitudes.

• 🌐 Cloudflare Workers utiliza el modelo de aislamiento V8 para manejar múltiples solicitudes simultáneamente, pero limita el acceso a ciertas características como las operaciones de sistema de archivos.

• 🔧 El nuevo modelo de concurrencia de Vercel permite un mejor uso de las capacidades de concurrencia de Node, manejando múltiples solicitudes mientras se espera la respuesta del backend.

• 💸 Los usuarios pueden ahorrar hasta un 50% en costos de cómputo optimizando su uso en la plataforma, especialmente aquellos con muchas horas de cómputo consumidas.

• ⚡ El nuevo enfoque de Vercel mejora la eficiencia de las funciones serverless sin alterar su naturaleza, como el escalado automático y el mantenimiento.

• 📊 La arquitectura de React y Next.js fomenta la gestión de datos en el servidor, lo que puede reducir el número de solicitudes cuando se optimiza adecuadamente.

• ⏳ El modelo de concurrencia de Vercel no resuelve completamente los costos de renderizado de grandes aplicaciones, ya que depende de la velocidad de las solicitudes de datos externas.

📃 Video Summary

TL;DR

💨 Vercel ha mejorado su arquitectura serverless con multi-concurrencia, permitiendo que una sola instancia maneje múltiples invocaciones. Esto reduce costos y uso de recursos sin afectar la latencia.

Esta solución aborda las ineficiencias de modelos anteriores como AWS Lambda, que asignaban una función por invocación. Node.js, diseñado para alta concurrencia, no se aprovechaba bien en entornos serverless, pero ahora Vercel optimiza su uso. Clientes beta han visto hasta un 50% de ahorro en cómputo.

Sin embargo, los beneficios dependen del equilibrio entre tiempo de cómputo y espera de I/O.

Vercel introduce servidores en su oferta serverless

💡 Vercel ha dado un giro interesante al incorporar servidores en su oferta serverless, con la nueva característica de multi-concurrencia. Esta funcionalidad permite que una sola instancia maneje múltiples invocaciones, lo que reduce el uso de cómputo entre un 20% y 50%, sin afectar la latencia. Esto es especialmente útil para cargas de trabajo interactivas como el renderizado de páginas web y aplicaciones de IA.

"Estamos viendo una reducción del 20% al 50% en el uso de cómputo sin impacto en la latencia."

Ineficiencias del modelo serverless tradicional

⚙️ El modelo serverless tradicional, como AWS Lambda, asigna una instancia por invocación, lo que genera ineficiencias. Cada solicitud crea una nueva instancia, lo que significa que si una función está esperando una respuesta del backend, no puede procesar otras solicitudes. Esto es especialmente problemático en cargas de trabajo dinámicas e interactivas, donde el tiempo de espera es común.

Node.js y su potencial desaprovechado en serverless

🔄 Node.js fue diseñado para manejar alta concurrencia y es excelente para operaciones de E/S (entrada/salida). Sin embargo, en entornos serverless como Lambda, este potencial se desaprovecha. En lugar de aprovechar la capacidad de Node para manejar múltiples solicitudes mientras espera respuestas de E/S, cada invocación en Lambda se ejecuta en su propia instancia, lo que desperdicia ciclos de CPU.

"Node fue construido para alta concurrencia... pero con Lambda, estás optando por no usar esa capacidad."

Mejoras con soporte para streaming y servicio de invocación

🚀 Vercel ha mejorado las capacidades serverless al introducir soporte para streaming en Lambda y desarrollar un servicio propio de invocación de funciones. Este servicio permite conexiones bidireccionales y streaming de datos, lo que mejora significativamente el rendimiento en aplicaciones que requieren respuestas parciales o continuas.

Aprovechando el tiempo de inactividad con multi-concurrencia

🖥️ El nuevo modelo de Vercel permite que una sola instancia maneje múltiples invocaciones. Esto significa que cuando una función está esperando una respuesta del backend, puede procesar otras solicitudes en paralelo, aprovechando el tiempo de inactividad. Esto no solo mejora la eficiencia, sino que también reduce los costos.

Cloudflare Workers y el aislamiento V8

🌐 Cloudflare Workers utiliza un modelo diferente basado en aislamiento V8, donde múltiples solicitudes se manejan simultáneamente dentro de un mismo servidor. Sin embargo, este enfoque tiene limitaciones, como la falta de acceso a operaciones del sistema de archivos. Aunque es eficiente, no ofrece la misma flexibilidad que el modelo de Vercel.

Mejor uso de las capacidades de concurrencia de Node.js

🔧 El nuevo modelo de concurrencia de Vercel permite aprovechar mejor las capacidades nativas de concurrencia de Node.js. Ahora, mientras una función espera una respuesta del backend, puede manejar otras solicitudes sin necesidad de crear nuevas instancias, lo que maximiza el uso del CPU disponible.

Ahorros significativos en costos de cómputo

💸 Los usuarios que consumen muchas horas de cómputo pueden ver ahorros significativos con este nuevo enfoque. Algunos clientes han reportado reducciones de hasta un 50% en costos, especialmente aquellos con aplicaciones que requieren tiempos largos de espera para respuestas externas.

"Clientes han reportado reducciones significativas en el uso de cómputo... hasta un 50%."

Eficiencia sin comprometer la naturaleza serverless

⚡ A pesar de los cambios en la arquitectura, Vercel sigue manteniendo las características clave del serverless, como el escalado automático y la ausencia de mantenimiento manual. Las funciones continúan escalando automáticamente y aplicando actualizaciones sin interrupciones para los usuarios.

React y Next.js optimizan la gestión de datos en el servidor

📊 La arquitectura moderna de React y Next.js fomenta la gestión de datos en el servidor, lo que puede reducir el número total de solicitudes cuando se optimiza adecuadamente. Al mover más lógica al servidor, se pueden evitar múltiples llamadas API desde el cliente, mejorando la eficiencia general.

Limitaciones del modelo frente a grandes aplicaciones

⏳ Aunque el nuevo modelo mejora la eficiencia en muchas áreas, no resuelve completamente los costos asociados con el renderizado de grandes aplicaciones. El beneficio depende principalmente del tiempo que se pasa esperando respuestas externas; si la mayor parte del tiempo se dedica a cálculos internos, los ahorros serán menores.

"Si tu código pasa más tiempo calculando que esperando respuestas externas, este modelo no te beneficiará tanto."

Conclusion

🌚 La nueva arquitectura de Vercel mejora la eficiencia en aplicaciones serverless, especialmente en cargas interactivas como APIs y renderizado de servidores.

Aunque hay limitaciones en la fase beta, como la latencia en tareas intensivas de CPU, los ahorros son significativos para usuarios con bases de datos lentas o servicios externos. React y Next.js se benefician de esta optimización, pero el costo de esperar respuestas API ahora recae en el servidor, lo que afecta a los desarrolladores que dependen de estas tecnologías.