ZeppelinでAWS Billing のCSVを分析する(CUR版)
投稿者:松木佑徒以前の記事の続きで今回はAWS BillingのCUR(Cost and Usage Report)の方で試してみました。
前回と同様/data フォルダ配下にCSVを配置した状態でZeppelinを立ち上げます。
前回調査不足でちょっと面倒な方法でCSVを読み込んでいたのですが、
Spark2.0からはCSVを読み込む機能が標準で用意されているらしく
以下のようにすることで簡単に読み込むことができるようです。
(loadの引 ...
ZeppelinでAWS BillingのCSVを分析する
投稿者:松木佑徒AWS BillingのCSVはそのままでは見にくいのでDBなどに投入する必要があると思いますが、Zeppelinを使用すれば一時テーブルを使用して簡単にSQLで分析を行うことができます。
GUIからSQLを書くだけでグラフの描画まで簡単にできますのでちょっとした分析をしたいときに便利です。
CSVを一時テーブルに読み込むZeppelin上ではR言語やPythonでも書けるのですがデフォルトのでScalaで書いてみました。
Scala ...
ServerlessFrameworkを使ってみた
投稿者:岡崎拓哉サーバーレスを用いたデプロイフローや開発フローを考えた時に
ServerlessFrameworkについていろいろ調査を行い触ってみたので書いてみます。
基本的な流れとして、コンテナからServerlessFrameworkを使用してみました。
サーバーレスアーキテクチャに関する情報を自ら発信することでサーバーレスに関する情報を集める
環境[ホストOS]
Mac OS X El Capitan (ver. 10.11.3 ...Design Sprint in Yahoo! ロッジ
投稿者:にょこたアプリケーションをリニューアルするにあたって、デザインスプリントをプロダクトチーム内で行いました。
デザインスプリントとは、人々が望んでいるものを作り出す確率を高めるためのフレームワークです。
あくまでもフレームワークですので、このデザインスプリントを行うこと自体は手段であり、目的ではないです。
各工程でいろんな作業をチームで行いますが、その作業を行うことが目的ではなく、その作業を行うことによってなにが ...
Lambda でタイムゾーンを変更する
投稿者:酒井 修平既存のバッチ処理をLambdaに置き換えるという対応をしていたのですが、レコードの登録日時や更新日時が一律UTCになってしまいました。
AmazonLinux最初に立ち上げるとタイムゾーンがUTCになってた記憶があり確かにそうだなと、、
それで色々対応があるなかで一番簡単なのはこれだと思います。
環境変数に設定します。SAMだとこのように書けば終了です。
Environment: &nbs ...iOS11 HEIF、HEVCの新コーデック
投稿者:にょこたiOS11で、新コーデックになりましたね。たしかデフォルト?
HEIF、HEVCというらしいですが、なんて読むのか、、、
上記のコーデックになると、撮影する写真やビデオのサイズが今までの半分のサイズくらいになるみたいですね。
iOS10だと、1分間の4K撮影で、375M
iOS11だと、1分間の4K撮影で、175M
これは素晴らしい。
撮影した写真をSNSとかにiPhoneから共有、ア ...
SRE 〜サイトリライアビリティエンジニアリング〜
投稿者:にょこた
オライリーから、 分厚い本が1冊、日本語訳されて出ましたね。
何かといいますと「SRE サイトリライアビリティエンジニアリング」という本です。
今年辺りから、日本のWEBサービス業界でも浸透してきていて、耳にした人も多いかと思います。去年は「プロダクトマネージャー」がそのワードでしたねw
SREとは、Google発祥のシステムの安定をどのように実現するか?を考える方法論のことです。
autorestでAPIクライアントの自動生成
投稿者:松木佑徒OpenAPI仕様(旧Swagger)からAPIクライアントのSDKを生成するツールにswagger-codegenがありますが。
同様のツールとしてMicrosoftのオープンソースにautorestがあったので試してみました。
autorestは以下の言語の自動生成に対応しています。
C#, Go, Java, Node.js, TypeScript, Python, Ruby, PHP
swagger-codegenの対応言 ...
ブックマークレット作ってみました
投稿者:ドラゴンBacklogで課題登録する際に楽にテンプレート設定できないか調べていたところブックマークレットというものを見つけたので設定してみました。
ブックマークレットとは、ブックマークにjavascriptを埋め込むことで特定のページに対してワンクリックでちょっとしたアクションができるようになります。
使い方は簡単で「backlogテンプレ」というブックマークを作成し、URLにjavascriptを埋め込んで完了です。
今回、URLには以下の ...
続・jQuery の時代で取り残されてたので、今風の書き方を勉強した
投稿者:江藤 光前回の続きです。
宣言通り、let, template, fetch の三本立てです。
注意) Safari では動きません
JavaScript では変数を定義するときに var を使います。
この場合、変数のスコープは関数単位になります。
そのため、以下のような場合には for のスコープの外でも i の値が参照できてしまいます。