Redshiftの設計前に知っておくべき分散キーとソートキーの役割
Redshiftの設計で知っておかなければいけないこと 設計する前に下記ワードの意味をしっかりと知らないとRedshiftのテーブルを設計することはできません。各ワードについて設計の観点から説明したいと思います。 ノード…
Redshiftの設計で知っておかなければいけないこと 設計する前に下記ワードの意味をしっかりと知らないとRedshiftのテーブルを設計することはできません。各ワードについて設計の観点から説明したいと思います。 ノード…
UTCとJST プログラムから時間を取得してもUTCのままでなぜか日本時間(JST)になってくれないときがあります。そんなときはだいたいec2の時間がそもそも日本時間じゃないことがほとんどです。確認して違う場合は日本時間…
インストール手順 EC2上でNode.jsのスクリプトを動かすときに毎回最初の環境構築について調べたりしていたのでまとめておきます。 インストールするものはgit, nvm, npm modulesです。 git たった…
Lambdaでログ整形 Kinesis FirehoseでログをS3に転送し、そのログをLambdaで受け取りログを整形する場合を想定しています。そのときのLambdaの処理をNode.jsでどう書くか説明します。 ソー…
手順 babel-cliのインストールと設定 babel-cliでトランスパイル コードをZIP化してLambdaにアップロード アップロードした関数を登録 1. babel-cliのインストールと設定 下記コマンドでイ…
Kinesis Firehoseとは ストリーミングデータを AWS にロードする最も簡単な方法です。ストリーミングデータをキャプチャ、変換して、Amazon Kinesis Analytics、Amazon S3、Am…
アップロード方法 AWS SDKを使用する方法 aws-kinesis-agentを使用した方法 fluent-plugin-kinesisを使用した方法 アップロードにはいくつか方法がありますが今回はAWS SDKを使…
Socket.IOをスケールアウトする時のELBでの問題点 Socket.IOはv1.0以降はpollingからwebsocketにアップグレードする方式になったのですが、ELBを経由させると以下の問題点があります。 E…
ElastiCacheとは クラウドでMemcachedとRedisが使えるAWSのサービスです。詳しくは下記リンクを参照してください。 https://aws.amazon.com/jp/elasticache/ 本番…
Node.jsのデプロイの問題点 Node.jsにはホットデプロイという機能が存在しないため、最新のソースコードを反映するにはプロセスの再起動をしなければいけません。その際に問題となるのがプロセスの再起動中に処理していた…