インフラ

mysqldump と mysqlpump どちらが速くバックアップできるか比較してみた

こんにちは。エンジニアの阿久津です。
今回はMySQLの mysqldumpmysqlpump という2つのコマンドでバックアップを実施しどちらが速く処理するのか比較してみましたので、それを記事にしたいと思います。

mysqldumpとは

従来のMySQLデータベースのバックアップ/リストアに用いられるコマンドです。

mysqlpumpとは

MySQL5.7から追加された新機能で、 mysqldump の次世代となるコマンドです。

機能紹介

1. 並列処理(並列ダンプ)

複数のデータベース・テーブルを並列処理でバックアップすることができます。
MySQLサーバからデータを収集するために複数のスレッドを作成し、そのスレッドがそれぞれMySQLサーバへ接続してデータをまとめるためにキューに取得したデータを挿入する仕組みになっています。
オプションを何も利用せずにデフォルトで mysqlpump を利用すると、スレッド数は2つ、キュー数は1つでダンプ処理が走ります。
–parallel-schemas オプションと –default-parallelism を使うと、スレッド数とキュー数を調整しながら、ダンプを実施できるみたいです。

続きを読む

ELKで始めるElasticStack6入門 (Elasticsearch, Kibana, Logstash)

こんにちは、サーバーサイドエンジニアの菅原です。
今回はElasticStack6について学んでみたのでその知見を共有したいと思い記事にしました。

はじめに

検索エンジンElasticsearchの検証をしている中でELKと呼ばれるElasticStackの製品について学んでみましたのでそのELKの実行までの流れを記載していきます。

環境

  • Mac OS
  • Elasticsearch 6.2.4
  • Kibana 6.2.3
  • Logstash 6.2.3

入門内容

ゴール:ELKの使い方、及び導入からビジュアライズまでの流れを確認する

ELK

  1. Logstashでデータを扱う

  2. LogstashからElasticsearchにデータを加工し投入する

  3. KibanaでElasticsearchで投入したデータを可視化する

続きを読む

MySQL 5.7 の透過的暗号化をやってみたよ

こんにちは。SREチーム  インフラエンジニアの綿引です。

今回は MySQL の透過的暗号化 について記載したいと思います。
因みに透過的暗号化が使用できるのは MySQL 5.7.11 からですのでご認識のほど。

前回 は RDS の暗号化について軽く触れましたが、
その際はWebコンソールからボックスにチェックを入れるだけでした。

今回の MySQL の透過的暗号化を使用する場合には設定が必要です。
では早速やっていきたいと思います。

環境

・OS : CentOS 7.1
・データベース : MySQL 5.7.22

続きを読む

33時間クッキング【Kubernetesのラズベリーパイ包み〜ウエパ風〜】

こんにちは、SREチームの西脇(@yasuhiro1711)です。今回は特別番組ということで、33時間クッキング、【Kubernetesのラズベリーパイ包み ウエパ風】をお送りしたいと思います。見逃しそうな方はぜひ録画予約をお願いします。

サイバーの美味しそうなパイ包みを見て、ウエパでも物理的にパイ包みを作ってみることにしました。ローカルマシンやクラウドでもクラスターを組んで利用することは可能ですが、このクッキングを通じてKubernetesのそもそもの理解を深めることを目的としてやりました。

※ なおこちらの記事は、至る所をサイバーエージェントを非常〜〜にオマージュしおります。この記事を了承頂きまして、本当にありがとうございます! オマージュ記事は最後にリンクがございます。

一家に一台、Kubernetesの時代に

この10年でスマホが爆発的に普及したように、Kubernetesが一家に一台の時代がやってきます。本日作るラズベリーパイ包みはそんな時代にもってこい。家庭でお子様からおじいちゃんまで幅広く愛されるであろう、手のひらサイズのKubernetesです。

完成品

完成品はこちらとなります。ジャーン!
Image from iOS (9) 2

続きを読む

Nginxで403 Forbiddenが表示された時のチェックポイント5選

SREチーム  エンジニアの阿久津です。
今回はNginxの403 Forbiddenが表示された時のチェックポイントについて記事にしたいと思います。

環境

  • Vagrant 1.9.5
  • CentOS Linux release 7.1.1503 (Core)
  • Nginx 1.14.0

前提

  • 設定ファイル
     /etc/nginx/default.conf

  • DocumentRoot
     /var/hoge

  • テストページ
     /var/hoge/index.html

続きを読む

【入門】circleci/go-ecs-ecrを使って、CircleCI からAWS ECS にデプロイしてみる

こんにちは、SREチーム、エンジニアの西脇(@yasuhiro1711)です。今日は、circleci/go-ecs-ecrを使って、CircleCI からECS にデプロイをしてみたいと思います。(参考リンクには非常にお世話になりました。ありがとうございます。)

今回は題材にちょうど合う、CircleCIを通じて、AWS ECS/ECR にデプロイするGoアプリケーションがあったのでこれを利用していきます。勉強の題材にとてもよかったです。(しかし注意として、今回利用の「circleci/go-ecs-ecr」は、2018年6月現在、すでに更新されていないため、現在のCircleCIとAWS環境に自分で合わせないと動作できない可能性もあります。ご注意ください。)

最終的に目指すのはこのような設計です。(ECSクラスタ部分は図としては詳細には書いておりません。)

設計

今回の構成では、GitHubにユーザからpushがされると、CircleCIがそれを自動検知し、build実行を始めます。すると最新のソースがECRのレジストリに登録されて、ECSにて定義更新等が走り、EC2内のDockerコンテナにデプロイされる仕組みです。

続きを読む

Ansible で Node.js を 10系 にアップデートするよ

こんにちは。SREチーム インフラエンジニアの綿引です。

2018/4/24 に Node.js 10系がリリースされましたね。
(私の誕生日です。)

そこで今回は Node.js のアップデートを Ansible を用いて実施する
という記事を書きたいと思います。

Node.js のアップデート方法に関しては、
1. 既存の Node.js(過去に yum でインストール)をアンインストール後、
2. Ansible の shell モジュール を用い Node.js を rpm でインストールする
という形にしました。

10 系を使うものの Node.js に関しての性能や新機能などの検証は行わないので
ご容赦のほどをお願い致します。

続きを読む

LinuC(LPIC) Level1を取得した話

初めまして。SREチーム エンジニアの阿久津です。
今回は仕事の一環でLinuC(LPIC) Level1を取得したことについて記事にしたいと思います。
※受験した当時は「LPIC」という名称でしたが、今は「LinuC」という名称に変わったようですね。

1. LinuC(LPIC)について

1-1. LinuC(LPIC)とは

Linux技術を証明するための資格試験の一つ。正式名称は「Linux Professional Certification」で、略して「リナック」と読みます。
2016年12月時点で、全世界で53万人以上(国内だと約29万人)が受験して、18万人以上の認定者が生まれている資格とのことです。
引用 : LPI-JAPAN 「LPICの魅力をデータで見る」

続きを読む

Redash と Superset を比較検証してみた

こんにちは。SREチーム エンジニアの阿久津です。
今回は Redash と Superset という2つのツールを比較検証してみましたので
それについて記事にしたいと思います。

ツールについて

両者はオープンソースのダッシュボードツールです。
簡単に言うと、DB等のデータを可視化(表やグラフ)してくれるツールになります。

■Redash

公式サイト : https://redash.io/

■Superset

公式サイト : https://superset.incubator.apache.org/index.html

比較したこと

  1. データソース連携
  2. データ操作
  3. グラフ
  4. ダッシュボード
  5. 比較まとめ

続きを読む

Ansible で SSL 証明書更新を自動化してみる

こんにちは。SREチーム インフラエンジニアの綿引です。

今回は Ansible で SSL証明書更新を自動化したみたというお話です。

SSL証明書の更新って時間がかかりますよね。。後ヒューマンエラーも怖い。。
そこで 自動化 出来たら素敵!と思い vagrant で検証してみました。
興味のある方は是非見て頂ければと思います。

続きを読む