環境をセットアップします。
作業用PCにSnowballクライアントのインストール、L2スイッチを使いSnowballやNASをネットワークに参加します。

SnowballセットアップSnowballのステータス

Snowball到着後のジョブステータスです。

途中のステータスのキャプチャ取るのを忘れました。

StatusメモJob Createdジョブ作成完了Prepared applianceSnowball準備中Prepared ...

AWS Snowball（Import）を利用しました。

実際の作業内容と気づいた点などを中心に（何回かに分けて）まとめます。

詳細なスペックや操作方法は、AWSのドキュメントを見て頂ければと思います。
記載時点でSnowball配送手続きの一部は、AWS側とやり取りする必要があるので、利用する場合は、AWSの方から頂ける資料を確認する必要があります。
東京リージョンでの利用は今後予定されているようですので、今回はAWSと相談させ ...

１．概要

現在のシステムでは以下のように保存されている。

■格納例
[S3バケット]/[サーバホスト名]/[インスタンスID]/YYYY/MM/DD/[ログ種別]/ログファイル
　※ログファイルは、5分ごとに１ファイルが作成される。

■パス例

s3://test-recochoku-jp/　api-ap/　api-ap00-i-0ed0250b86b11d3a6/　2017/02/17/　service_reco_dev.lo ...

はじめに

岡崎です。
今回は、タイトル通りディレクトリに変更があったものをS3にアップロードするシェルをつくってみました。
業務上作成したものの簡易版を以下に記載します。

ゴール

指定のディレクトリに何か変更があったもの(ファイル、ディレクトリの上書き・新規作成)に対して
その変更を検知して、S3にその変更内容をアップロードする。

※ただし、指定のディレクトリの構造とS3上のディレクトリ構造は同じにする

例) ...

１．概要

AWS版画像サーバの画像データの移行で、他のサーバでawsコマンドを利用するために、環境変数でアクセスキーとシークレットキーを設定しました。
一時的に必要な設定なので、不要になったら削除するため、環境変数を削除するコマンドを調べたので、共有します。

２．利用コマンド

　unsetコマンド

３．使用例# export AWS_DEFAULT_REGION=ap-northeast-1# export AWS_ACCESS_KEY_ID='X ...

最近 Run Command を利用してAWSのCLIのバージョンを上げる作業をしました。
そのときにCLIの出力が思った通りに動作しなかった為、書きたいと思います.

Run Command の実行

Run Commandではじめに実行したスクリプト以下の内容です。

aws --versionpip install -U awscliaws --version

実行結果

Collecting awscli  Down ...

はじめに

前回の記事でご紹介した内容ですが、運用して判明した事があります。
具体的にはkinesisにログ転送をする処理を追加したときに起こった事象です。
同様の構成にした場合には注意が必要ですのでご参考までに。

起こった事象

2パターンありました。

Unable to load AWS credentials from any provider in the chainUser: arn:aws:sts::xxxxxxxxxxxx:ass ...

１．前提条件

　・aws-cli がインストール済み。
　・Administrators権限のアクセスキーおよびシークレットキー
　

２．SSL証明書の削除

　１．以下のコマンドを実行して、AWSの認証情報を登録する。
　　
　　aws configure
　　
　２．削除する証明書を確認する。
　　
　　aws iam list-server-certificates

–実 ...

はじめに

　
岡崎です。
今回は、改めてAWSの基礎知識について復習・まとめを行おうと思い、書いています。
(EC2でサーバを立てる等の以前の前提のお話です。)
ちょくちょくインフラの知識についても触れていきます。

AWSで用いられる用語リージョン（Region）
アベイラビリティゾーン（Availability Zone）
VPC
サブネット
プライベートIPアドレス
パブリックIPアドレス
イン ...

あるシステムでアクセスログの保存先にElasticsearchを使用しているということで、
何かに活用できないかデータを少し見せてもらいました。

AWSの機能でElasticsearch + Kibanaを立ち上げてFluentdでサーバからログを転送しているそうです。

ApacheのアクセスログをKibanaから確認します。
CSSやAjaxっぽいログも混じるので使えそうなデータのみに絞ります。

ログはJSON形式で ...