湖、作ってますか？やまさきです。 データ分析について調べていると必ず出てくる、「データウェアハウス」「データマート」「データレイク」。 今回はデータレイクについて調べて見ましたので、忘れないようにメモ的にまとめておこうと思います。 データレイクが生まれた背景 ビッグデータ、IoTという言葉が流行りましたが、世の中はデータで溢れかえっています。 あふれるデータは集めて分析することでその価値を高めることが出来ます。 顧客のニーズを発見したり、異常を検知したり、機械学習してみたり・・・。 さらに最近は分析のスピードが求められるようになり、「分析できるまで１日かかるよ。」というのは問題外な世の中です。...
今年の途中からRDSが停止できるようになりましたね！ テスト用に使用するRDSには嬉しいなと思い、停止していたりしたんですがどうにも勝手に起動しているような気がする、、社内の誰かが立ち上げてるのかと思いきや、 https://aws.amazon.com/jp/about-aws/whats-new/2017/06/amazon-rds-supports-stopping-and-starting-of-database-instances/ インスタンスは 1 回で最大 7 日まで停止できます。7 日後に、自動的に開始されます。データベースインスタンスの停止と開始の詳細については、Amazo...
AWSを利用する上で利用料金というのは常に気になるものです。 料金シミュレーションには AWS Simple Monthly Calculator にお世話になることが多いのですが、意外にも気づいていなかったことがあったのでポストしておきます。 それは、月の日数が 30.5日 で計算されているということです。 一応、実際に確かめてみます。 t2.micro の時間単価 = $0.016 1ヶ月使用すると $11.72 だそうです。 t2.micro の時間単価は $0.016 で、月31日として計算してみると... $0.016 * 24(h) * 31(d) = $11.904 となり、Ca...
前回の記事では Hibernate Search を使って Docker コンテナ上の Elasticsearch と連携してみました。 今回は AWS のフルマネージドな Amazon Elasticsearch Service と連携させてみましょう。 記事中のサンプルコードはここにあります。 環境： Mac OS X Hibernate Search 5.8.0.CR1 Amazon Elasticsearch Service (Elasticsearch version 5.5) 1. Elasticsearch Service を作成する AWS マネージメントコンソールの Elas...
こんにちは。ナミキです。 当たり前の話だとは思うのですが、ちょっとハマってしまったので簡単にメモ プライベートサブネットに配置してある EC2 のローカルからメール送信をする時 外部通信をするために NATインスタンス を構築している場合 NATインスタンス のセキュリティグループの設定を追加する必要がります。 タイプ プロトコル ポート範囲 ソース 設定値 SMTP TCP 25 カスタム ※EC2 の SGを指定 NATゲートウェイを設置する場合も同様で NATゲートウェイにアタッチした ネットワークインターフェイスID に設定している セキュリティグループ の設定を追加する必要があ...
Beanstalk の環境を作成するときに keypair を設定すると SSH (22) ポートがフルオープンになってしまいます。 これは Beanstalk が自動で作成する SecurityGroup の仕様なので、次のように .ebextensions を設定して接続元をしぼっちゃいましょう。 .ebextensions/00_options.config option_settings: - namespace: aws:autoscaling:launchconfiguration option_name: SSHSourceRestriction va...
ダッシュボードの「レポート」からリザーブドインスタンス使用率レポート見てみると、7/1以降使用されていない・・・？ 何かメッセージ出ているので確認します。 「コストエクスプローラを使ってください、このレポートは6/30までです」ということですね。 コストエクスプローラにも Reserved Instance (RI) Reports があるので確認してみると、 7/1以降も使用されていますね。よかった。 コストエクスプローラ自体には前に実装されていたと思いますが、既存のレポートは7/1以降はデータが反映されなくなっているようです。 たしかに、RIの使用状況はコストに大きく影響があるものなのでコ...
【7/8 0:00 追記】 現在は、全てのサービスが復旧している状態とのことです https://status.aws.amazon.com/ whois 情報が勝手に書き換わるという事象が発生してます。 Domain Registration Nameserver Configuration Errors 06:36 AM PDT We are investigating reports that domain nameservers may unintentionally change for domains registered under .ch, .jp. .nl, .sh, and...
Trusted Advisor、ここ最近までほとんど見ることがなかったのですが便利そうですね。 使用しているAWSアカウントにおけるセキュリティの問題を指摘してくれたり、リソースのパフォーマンス状況を教えてくれるようです。 ダッシュボードでサマリーが表示され、デフォルトでは下記の項目についてチェックしてくれます。 問題ない場合は緑色になりますが、問題があると思われる場合は黄色や赤で警告してくれます。 例えばセキュリティグループですが、下記の基準を満たさない場合はアラート表示（黄色または赤）となります。 こんな感じで一目で問題のセキュリティグループが分かるので管理者の方には見やすいのではないで...
Elastic Beanstalk は2016年12月にアップデートされたプラットフォームから、CloudWatch Logs との連携が強化され、コンソールからオプションを有効にするだけで、簡単にログが Stream に出力できるようになりました。 ただ、例えば Tomcat 環境であれば現時点では以下のログが対象になり、catalina.out が含まれません。 /var/log/eb-activity.log /var/log/httpd/error_log /var/log/httpd/access_log /var/log/nginx/error_log /var/log/n...
