SRE

mysqldump と mysqlpump どちらが速くバックアップできるか比較してみた

こんにちは。エンジニアの阿久津です。
今回はMySQLの mysqldumpmysqlpump という2つのコマンドでバックアップを実施しどちらが速く処理するのか比較してみましたので、それを記事にしたいと思います。

mysqldumpとは

従来のMySQLデータベースのバックアップ/リストアに用いられるコマンドです。

mysqlpumpとは

MySQL5.7から追加された新機能で、 mysqldump の次世代となるコマンドです。

機能紹介

1. 並列処理(並列ダンプ)

複数のデータベース・テーブルを並列処理でバックアップすることができます。
MySQLサーバからデータを収集するために複数のスレッドを作成し、そのスレッドがそれぞれMySQLサーバへ接続してデータをまとめるためにキューに取得したデータを挿入する仕組みになっています。
オプションを何も利用せずにデフォルトで mysqlpump を利用すると、スレッド数は2つ、キュー数は1つでダンプ処理が走ります。
–parallel-schemas オプションと –default-parallelism を使うと、スレッド数とキュー数を調整しながら、ダンプを実施できるみたいです。

続きを読む

MySQL 5.7 の透過的暗号化をやってみたよ

こんにちは。SREチーム  インフラエンジニアの綿引です。

今回は MySQL の透過的暗号化 について記載したいと思います。
因みに透過的暗号化が使用できるのは MySQL 5.7.11 からですのでご認識のほど。

前回 は RDS の暗号化について軽く触れましたが、
その際はWebコンソールからボックスにチェックを入れるだけでした。

今回の MySQL の透過的暗号化を使用する場合には設定が必要です。
では早速やっていきたいと思います。

環境

・OS : CentOS 7.1
・データベース : MySQL 5.7.22

続きを読む

33時間クッキング【Kubernetesのラズベリーパイ包み〜ウエパ風〜】

こんにちは、SREチームの西脇(@yasuhiro1711)です。今回は特別番組ということで、33時間クッキング、【Kubernetesのラズベリーパイ包み ウエパ風】をお送りしたいと思います。見逃しそうな方はぜひ録画予約をお願いします。

サイバーの美味しそうなパイ包みを見て、ウエパでも物理的にパイ包みを作ってみることにしました。ローカルマシンやクラウドでもクラスターを組んで利用することは可能ですが、このクッキングを通じてKubernetesのそもそもの理解を深めることを目的としてやりました。

※ なおこちらの記事は、至る所をサイバーエージェントを非常〜〜にオマージュしおります。この記事を了承頂きまして、本当にありがとうございます! オマージュ記事は最後にリンクがございます。

一家に一台、Kubernetesの時代に

この10年でスマホが爆発的に普及したように、Kubernetesが一家に一台の時代がやってきます。本日作るラズベリーパイ包みはそんな時代にもってこい。家庭でお子様からおじいちゃんまで幅広く愛されるであろう、手のひらサイズのKubernetesです。

完成品

完成品はこちらとなります。ジャーン!
Image from iOS (9) 2

続きを読む

Ansible で Node.js を 10系 にアップデートするよ

こんにちは。SREチーム インフラエンジニアの綿引です。

2018/4/24 に Node.js 10系がリリースされましたね。
(私の誕生日です。)

そこで今回は Node.js のアップデートを Ansible を用いて実施する
という記事を書きたいと思います。

Node.js のアップデート方法に関しては、
1. 既存の Node.js(過去に yum でインストール)をアンインストール後、
2. Ansible の shell モジュール を用い Node.js を rpm でインストールする
という形にしました。

10 系を使うものの Node.js に関しての性能や新機能などの検証は行わないので
ご容赦のほどをお願い致します。

続きを読む

LinuC(LPIC) Level1を取得した話

初めまして。SREチーム エンジニアの阿久津です。
今回は仕事の一環でLinuC(LPIC) Level1を取得したことについて記事にしたいと思います。
※受験した当時は「LPIC」という名称でしたが、今は「LinuC」という名称に変わったようですね。

1. LinuC(LPIC)について

1-1. LinuC(LPIC)とは

Linux技術を証明するための資格試験の一つ。正式名称は「Linux Professional Certification」で、略して「リナック」と読みます。
2016年12月時点で、全世界で53万人以上(国内だと約29万人)が受験して、18万人以上の認定者が生まれている資格とのことです。
引用 : LPI-JAPAN 「LPICの魅力をデータで見る」

続きを読む

Redash と Superset を比較検証してみた

こんにちは。SREチーム エンジニアの阿久津です。
今回は Redash と Superset という2つのツールを比較検証してみましたので
それについて記事にしたいと思います。

ツールについて

両者はオープンソースのダッシュボードツールです。
簡単に言うと、DB等のデータを可視化(表やグラフ)してくれるツールになります。

■Redash

公式サイト : https://redash.io/

■Superset

公式サイト : https://superset.incubator.apache.org/index.html

比較したこと

  1. データソース連携
  2. データ操作
  3. グラフ
  4. ダッシュボード
  5. 比較まとめ

続きを読む

Ansible で SSL 証明書更新を自動化してみる

こんにちは。SREチーム インフラエンジニアの綿引です。

今回は Ansible で SSL証明書更新を自動化したみたというお話です。

SSL証明書の更新って時間がかかりますよね。。後ヒューマンエラーも怖い。。
そこで 自動化 出来たら素敵!と思い vagrant で検証してみました。
興味のある方は是非見て頂ければと思います。

続きを読む

古いバージョンの MySQL を yum でインストールをする

こんにちは。SREチーム インフラエンジニアの綿引です。

MySQL の特定のバージョンをインストールしたい!
だけど yum でさくっとインストールしようとしたら、マイナーバージョンが上がっていて同じにならない。。
なんてことよくありますよね。そうです。先週の私です。

そこで今回は古いバージョンの MySQL を yum インストールする手順を記載したいと思います。

手順

1. 依存関係解決のために、最新のリポジトリを追加する

まずは最新のリポジトリをインストールしましょう。

続きを読む

Redmineをしっかり活用してチーム運用改善したら、チーム力がグンと上がった話

こんにちは、SREチーム エンジニアの西脇(@yasuhiro1711)です。今日は、チーム運用改善の話をしたいと思います。これからチーム運用をしていく方々に少しでも響けばいいな、参考事例になればいいな、と思って書いておきます。ちなみに、テーマを変えて続編も書く予定ですので楽しみにしてもらえればと思います。

チームに課題が出て来た

私のSREチームはこれまでは2人と少数精鋭でした。そこに昨年全く違う背景を持つメンバーが入って来ました。(ちなみにSREチームに改名した件も近々どこかで書こうと思います。)最初は仕事のやり方を変えずにやっていたものの、仕事が増えて連携する場面が増えると、2人のときの阿吽の呼吸だけではどうしても回らなくなることが増えてきました。他にも思考のすれ違いなど幾つか課題が出始めました。項目にするとこんな感じです。

  • 少数メンバーのため、人に依存したタスクが多かった。
  • チームメンバー同士での現状把握が出来ていない。
  • タスクの可視化や優先度の把握が不十分。
  • ロードマップの優先度付けも弱い。

それぞれこれまでやれてなくて出て来た課題なので、向き合って進めればいいのですが、
さて、どうやって解決していくのが楽しいか。やるなら楽しく進めたいものです。

そうだ!

うちはRedmineを使ってるので、
Redmineをフル活用すれば、「あーして、こうして」、結構いいかも。

と思いつきました。思いついたら吉日。即日動きました。

続きを読む

MySQLからRDSへの移行手順と暗号化の注意点

こんにちは。SREチーム インフラエンジニアの綿引です。

既存のシステムを刷新する際やリニューアルなどを行う時など
インフラ構成をいろいろ考えるかと思いますが、
DB のクラウド化を検討された方も中にはいらっしゃるのではないでしょうか。

メリット・デメリットはあるかとは思いますが、まずは現状のシステムから
移行可能かという点が気になるかと思います。

そこで本日はオンプレや EC2 インスタンスにインストールした MySQL から、
AWS の RDS の MySQL に移行する方法を試してみたので書いていきたいと思います。
またせっかくなのでRDSの暗号化も一緒にやってみたいと思います。

手順

今回は EC2 にインストールした MySQL から RDS に移行したいと思います。
実施した手順としては以下です。

1. RDS パラメータグループ作成
2. RDS インスタンス作成
3. EC2 レプリケーション事前準備
4. EC2 mysqldump エクスポート
5. RDS mysqldump インポート
6. EC2 → RDS レプリケーション構築
7. アプリケーション向き先変更
8. EC2 → RDS レプリケーション解除

では早速構築していきます。

続きを読む