Tagbangers Blog

AWS

HibernateSearchからElasticSearchへの接続タイムアウト

こんにちは 昨年10月からジョインさせて頂いてます卜部です よろしくおねがいします webアプリケーションから検索を伴うページが表示できず、タイトルのようなことが起きていたので調べた事をメモしておきます まずはエラーログ org.hibernate.search.exception.SearchException: HSEARCH400007: Elasticsearch request failed ググった結論から言うと、アプリケーション側で特に指定しないまま(デフォルト)だとコネクション数2なので、10に指定するといいよという話のようです Hibernate Search: concur...

Hibernate Search で Elasticsearch を使用したらの bulk ではまった

なにが起きたのか? Hibernate Search は Elasticsearch にも対応しています。 今回、既存のアプリケーションで Elasticsearch に対応した際に、Hibernate Search の MassIndexer を使用して検索用インデックスを再生成を行いました。 その際、作成に失敗することがありましたので書きとめておきたいと思います。 結論 今回色々調べましたが、結論からいいますと。。 Elasticsearch がバッチで処理できるサイズを超えてしまい、Elasticsearch で生成に失敗、最終的に Hibernate Search の処理がエラーになる...

Windows Server 2016 に CloudWatchAgent をインストールしてログ転送する

Windows で設定することがあまりなかったため、メモ程度に残しておきます。 以下をダウンロードして実行する https://s3.amazonaws.com/amazoncloudwatch-agent/windows/amd64/latest/amazon-cloudwatch-agent.msi MSI パッケージをダウンロードディレクトリに移動して以下のコマンドを実行する msiexec /i amazon-cloudwatch-agent.msi コマンドプロンプトの例 以下のファイルを作成してルールを定義する C:\ProgramData\Amazon\AmazonCloudWa...

Opsチーム研修 AWSでのネットワーク構築について

はじめまして、9月から入社しました山崎です。 前職ではGoogle Cloud Platformを利用したWebアプリの フロント側の開発やデータ整備を行っていました。 好きな食べ物はカレーです。 学生時代、大鍋を買ってきて真夏に1週間分のカレーを作って胃腸を壊したくらい大好きです。   カレーは悪くなってしまいましたがカレーは悪くありません。 ぜんぶ夏が悪いのです。   さて、今週は運用保守がメインのOpsチームで、 AWSを利用したインフラの開発について研修を行いましたので、 学習した事を以下にまとめたいと思います。   AWSでネットワークを構築するのに必要な言葉 VPC  AWS上に構...

Amazon Linux に Google Chrome をインストールする

PhantomJS の開発が終了したらしい。 https://github.com/ariya/phantomjs/issues/15344 ということで、CI サーバ上で動作しているヘッドレスブラウザを Chrome にかえるべく以下のサイトにたどり着きました。 https://intoli.com/blog/installing-google-chrome-on-centos/ 以下のコマンドで一発インストール OK。 curl https://intoli.com/install-google-chrome.sh | bash 試した環境は以下の通り。 $ cat /etc/system...

安価でセキュリティの高い静的ホスティングを実施しよう!(後編)

こんばんわ。ナミキです。 前編の続きとなります 後編開演 【手順おしながき】 1.ACM(無料)を取得しよう 2.CloudFront を作成しよう 3.CloudFront にACMを設定しよう 4.Route53 に CloudFront のドメインを設定しよう 5.S3のバケットポリシーを削除しよう 1.ACM(無料)を取得しよう ※注意:ACMは「米国東部 (バージニア北部)(us-east-1)」で必ず取得してください!でないと Cloudfront に適用できません 証明書のリクエスト(https://ap-northeast-1.console.aws.amazon.com/ac...

安価でセキュリティの高い静的ホスティングを実施しよう!(前編)

ということでタイトルの通りです。ナミキです。 今回は2部構成とします。 前編(今回):独自ドメインを使用して、S3 で 静的Webサイトをホストする。 後編(次回):静的WebサイトにSSL証明書を適用しよう 前編開演 【手順おしながき】 0.目的と前提事項、制限等 1.独自ドメイン(無料)を取得しよう 2.Amazon S3 バケットを用意しよう 3.Amazon S3 バケットの設定を実施しよう 4.Route53 で 独自ドメインのレコードを編集しよう 0.この対応を実施する目的について 静的コンテンツだけを置いて、参照するだけのWebサイトであれば Webサーバを用意して掛かる運用コス...

AWS 認定クラウドプラクティショナー について

こんばんわ。黄金週間皆様いかがお過ごしでしょうか。ナミキです。 早速ですが 昨年末 re:Invent 2017 で発表された 新しい認定試験について 受験、合格をしてきましたので、改めて内容の振り返りをと。 試験の概要はこちら ⇒ 公式 新設された試験を加えたロードマップはこちら ⇒ 公式 ロールベースでの考え方がより強調された試験でした。 ソリューションアーキテクチャ(アソシエイト)では、文字通りアーキテクチャを理解し、ベストプラクティスが自身で導き出せる知識と経験が必要でしたが それよりももう少し知識の深堀をせず サービスの概要を聞かれているレベルの試験になります。 例えば「VPC」の知...

【AWS】ELBの暖気申請について

春めいた陽気の最中、雨の真冬の気温に戻り、体調管理がせせこましい今日この頃 皆様いかがお過ごしでしょうか。こんばんわ。ナミキです。 今日はAWSのELBの暖気申請についてのメモです。 ALBやNLB、種類も多くなってきており、暖気の必要のないLBもありますが まだまだ現役稼働数NO.1?と思われるELBについて、今後も必要になると思い、自分用に記録します。 ELBは負荷に合わせてスケールする機能がありますが ELBのスケールにはある程度の時間がかかり  リクエストが瞬間的に増えたときはELBのスケールが間に合わないことがあります。 その際ELBはHTTP 503を返します。 そこで回避策として...

データレイクとは?

湖、作ってますか?やまさきです。 データ分析について調べていると必ず出てくる、「データウェアハウス」「データマート」「データレイク」。 今回はデータレイクについて調べて見ましたので、忘れないようにメモ的にまとめておこうと思います。 データレイクが生まれた背景 ビッグデータ、IoTという言葉が流行りましたが、世の中はデータで溢れかえっています。 あふれるデータは集めて分析することでその価値を高めることが出来ます。 顧客のニーズを発見したり、異常を検知したり、機械学習してみたり・・・。 さらに最近は分析のスピードが求められるようになり、「分析できるまで1日かかるよ。」というのは問題外な世の中です。...