Automating Athena Queries with Python

Thumbnail
Automating Athena Queries with Python Introduction Over the last few weeks I’ve been using Amazon Athena quite heavily. For those of you who haven’t encountered it, Athena basically lets you query data stored in various formats on S3 using SQL (under the hood it’s a managed Presto/Hive Cluster). Pricing for Athena is pretty nice as well, you pay only for the amount of data you process and that’s relatively cheap at $5 per TB when you consider the effort to set up EMR Clusters for one-time or very infrequent queries and transformations.
Read more →
Automating Athena Queries with Python Introduction Over the last few weeks I’ve been using Amazon Athena quite heavily. For those of you who haven’t encountered it, Athena basically lets you query data stored in various formats on S3 using SQL (under the hood it’s a managed Presto/Hive Cluster). Pricing for Athena is pretty nice as well, you pay only for the amount of data you process and that’s relatively cheap at $5 per TB when you consider the effort to set up EMR Clusters for one-time or very infrequent queries and transformations.
Read more →

The Same for everyone: Lambda Function and Code with the same language via AWS CDK

Thumbnail

The AWS CDK has been presented on reInvent 2018. Its mission is to simplify develop infrastructure as code.

There are several other frameworks, as discussed here on the blog in tRick. So there are some competitors… Can you use shiny new CDK also for serverless lambda applications?

Big “Yes” from my side, but read for yourself…

Read more →

The AWS CDK has been presented on reInvent 2018. Its mission is to simplify develop infrastructure as code.

There are several other frameworks, as discussed here on the blog in tRick. So there are some competitors… Can you use shiny new CDK also for serverless lambda applications?

Big “Yes” from my side, but read for yourself…

Read more →

Building Lambda with terraform

Thumbnail
Building Lambda Functions with Terraform Introduction Many of us use Terraform to manage our infrastructure as code. As AWS users, Lambda functions tend to be an important part of our infrastructure and its automation. Deploying - and especially building - Lambda functions with Terraform unfortunately isn’t as straightforward as I’d like. (To be fair: it’s very much debatable whether you should use Terraform for this purpose, but I’d like to do that - and if I didn’t, you wouldn’t get to read this article, so let’s continue)
Read more →
Building Lambda Functions with Terraform Introduction Many of us use Terraform to manage our infrastructure as code. As AWS users, Lambda functions tend to be an important part of our infrastructure and its automation. Deploying - and especially building - Lambda functions with Terraform unfortunately isn’t as straightforward as I’d like. (To be fair: it’s very much debatable whether you should use Terraform for this purpose, but I’d like to do that - and if I didn’t, you wouldn’t get to read this article, so let’s continue)
Read more →

Lambda - breaking Update - testen Sie ihre Lambdas mit binären Bibliotheken jetzt auf Kompatibilität!

Thumbnail
Lambda - breaking Update - testen Sie Lambda mit binären Bibliotheken jetzt auf Kompatibilität! AWS hat gestern am 14.Mai angekündigt, dass die Laufzeitumgebung von Lambda aktualisiert wird auf Amazon Linux AMI 2018.03. Upcoming updates to the AWS Lambda and AWS Lambda@Edge execution environment | AWS Compute Blog Das bedeutet, wenn Sie Lambda Funktionen verwenden, die mit binären Bibliotheken arbeiten, kann es sein, dass Sie diese neu kompilieren müssen. Reine Scriptsprachen und die meisten Funktionen sollten problemlos weiterlaufen.
Read more →
Lambda - breaking Update - testen Sie Lambda mit binären Bibliotheken jetzt auf Kompatibilität! AWS hat gestern am 14.Mai angekündigt, dass die Laufzeitumgebung von Lambda aktualisiert wird auf Amazon Linux AMI 2018.03. Upcoming updates to the AWS Lambda and AWS Lambda@Edge execution environment | AWS Compute Blog Das bedeutet, wenn Sie Lambda Funktionen verwenden, die mit binären Bibliotheken arbeiten, kann es sein, dass Sie diese neu kompilieren müssen. Reine Scriptsprachen und die meisten Funktionen sollten problemlos weiterlaufen.
Read more →

Erste Einblicke in CloudWatch Logs Insights

Thumbnail

Mal unter uns - in der Analyse der Logdateien hat CloudWatch logs bisher nicht gerade geglänzt. Das Feld wurde eher anderen Kandidaten überlassen. Jetzt hat man die Analysefähigkeit aufpoliert. Daher ist es Zeit sich das genauer anzuschauen. TL;DR : Nicht schlecht gemacht, einen Blick wert!  Verschiedene Auswertungen von vordefinierten und eigenen Feldern, kombiniert mit einer einfache Visualisierung können schon viele Anwendungsfälle erschlagen.

Read more →

Mal unter uns - in der Analyse der Logdateien hat CloudWatch logs bisher nicht gerade geglänzt. Das Feld wurde eher anderen Kandidaten überlassen. Jetzt hat man die Analysefähigkeit aufpoliert. Daher ist es Zeit sich das genauer anzuschauen. TL;DR : Nicht schlecht gemacht, einen Blick wert!  Verschiedene Auswertungen von vordefinierten und eigenen Feldern, kombiniert mit einer einfache Visualisierung können schon viele Anwendungsfälle erschlagen.

Read more →