SE'S BOOK

BytePlusとは

noreply@blogger.com (Changyao Ye) — Tue, 27 Feb 2024 02:15:00 +0000

こんにちは、ByteDanceのtoB事業部BytePlusのセールスエンジニアリングリードの叶長耀（ヨウ　チョウヨウ）と申します。

今日はBytePlusはどんなものか、どういった製品やサービスを展開しているかについて書いてみたいと思います。

BytePlusとは

一言で言うと「ByteDance傘下のクラウドサービスです」。AmazonのAWSみたいな感じ。ByteDanceがDouyinを始め、たくさんのtoCアプリで培ってきた技術を企業様に提供します。

BytePlusのHQはシンガポール、インフラはシンガポールのDCになっています。製品ラインナップはレコメンド、エフェクト、動画編集、ビデオクラウド、CDN、SMS等PaaSとSaaSがメインになっています。今後IaaSやLLM関連のサービスも提供する予定です。

BytePlusの製品一覧

ウェイブサイトに全製品がリストされていますが、ここで簡単に各製品について説明します。

BytePlus レコメンド

ECサイト、求人サイト、漫画、小説、ニュース、ライブ配信等コンテンツ数が多いサイト、アプリで使えるレコメンドエンジンです。特徴は3つあります。

リアルタイム性（リアルタイムでモデル自体の更新ができます）
コールドスタート（ユーザーとアイテム両方対応）
カスタマイズ性（柔軟なKPI設定、データスキーマ設計、BytePlusアルゴリズムエンジニアによるモデル作成とトレーニング、KPIに合わせた成果報酬課金等お客様のビジネスニーズに合わせて柔軟に対応可能です）

使われるデータは３つあります。

ユーザーの行動（一番重要。モデルへの寄与度は約80%）
コンテンツの属性データ（モデルへの寄与度は約15%)
ユーザーの属性データ（個人情報に触れない属性データ。モデルへの寄与度は約5％）

成果報酬課金モデルを採用される場合、PoCを実施します。BytePlusからアルゴリズムエンジニア1名＋、ビッグデータエンジニア1名、データアナリスト1名、APIエンジニア1名、最小でも4人エンジニアがお客様ごとにアサインされます。

BytePlus Effects

SNS上でよく使われるエフェクトがありますよね。美白、美顔、Face Shaping、メイクアップ、2D/3Dステッカー、AR等様々な機能を企業様に提供できます。企業のサービスに組込むことでエンタメ要素を増やし、サービス全体の成長に貢献することができます。ライブ配信や動画作成、デーティングアプリ等によく使われます。

基本的にSDKの形で提供されます。一部API経由の呼び出しもあります。
CreativeStoreから確認することができます。

またデモアプリもございます。以下のQRコードをスキャンしダウンロードいただけます。

BytePlus Live/MediaLive

BytePlus LiveはライブストリーミングのSaaS製品です。主にライブコマース、社内大型イベント、オンライントレーニング等の用途に使われます。充実な機能、安定性、低遅延、安い等のメリットがあります。
https://assets.byteplus.com/obj/byteplus-assets/videos/live_product_highlights_3.mp4

コンソールから簡単にライブを作成、設定し、すぐにライブ配信ができます。

以下の画像はPC webページ視聴画面になります。簡単にお客様のウェブサイトに組込む（iFrameやWedSDK）ことができます。

モバイルで開く場合は、以下のような感じです。

ブラウザ視聴ではなく、ネイティブアプリ中でもライブ配信や視聴ができます。Live Streaming SDKとViewer SDKが提供され、アプリ内に実装いただけます。

BytePlus MediaLiveはPaaSサービスになります。自由度がLiveより高く、様々なカスタマイズができます。
動画ライブ配信によく使われます。

BytePlus VoD

ビデオオンデマンド、エンドツーエンドの動画（ショート動画、ロング動画）サービスです(PaaS)。

以下の図は、メディアのアップロード、管理と処理（トランスコーディング等）、配信、再生など、BytePlus VODが提供するコア機能を示しています。

大規模なサービス上で実証されている低遅延、高品質、安定性の高いVoDサービス。
BytePlus VoD Playerをご利用いただけます。クラッシュ率0.001%以下、端末側で超解像によって画質を強化、ファーストフレーム表示が速いというメリットがあります。

ぜひ以下の動画を確認してみてください。違いがわかるかと思います。
https://assets.byteplus.com/obj/byteplus-assets/videos/vod_product_highlight_1.mp4

BytePlus RTC

Zoom等で使われるリアルタイムコミュニケーション技術です。ByteDanceのLark(Zoom, Slack, Google Workspace,メール等の合体)というツールでも使われています。
BytePlus RTCは高品質のリアルタイムオーディオとビデオのPaaSサービスです。

BytePlus RTCは他のサービス（VoD、Effect、MediaLive)と容易に連携できます。

デモアプリはこちら
Web版：https://demo.byteplus.com/rtc/solution/videocall/login

BytePlus Video Editor

BytePlus Video Editorは、ByteDanceのアプリ（抖音、CapCut、西瓜ビデオ、FaceU、Ulikeなど）で広く使われている動画編集技術です。UGCプラットフォームに必須と言っていいツールになります。

簡単に、短期間で質の高い動画を作ることができます。たくさんのSNS上の動画コンテンツがCapCutで作られていると言われています。

BytePlus AR

BytePlusは、顧客の様々なシナリオでARソリューションを提供しています。
BytePlusのAR技術には、Product AR, AR Try-on, SLAM, Landmark AR, Sky & Ground AR等がございます。ByteDanceのいろんなtoCアプリで利用され、業界で最も完成度の高いAIソリューションと言えます。

詳細の紹介はBytePlus AR Libraryをご参照ください。

https://youtu.be/b1PtFsnFvxE

BytePlus VideoOne Solution

BytePlus VideoOneは今までご紹介した複数のビデオサービスを統合したソリューションになります。
MediaLive, VoD, RTCの他EffectsとVideo Editor機能も含まれており、そのものを実現できる強力なソリューションと言えます。

デモアプリもあります。
アプリストアで　BytePlus VideoOneダウンロードしてみてください。

BytePlus CDN

CDNサービスも提供しております。
最新のHWとアーキテクチャを採用しており、低遅延、グローバルカバレッジ、コストパフォマンスが高いCDNになります。

BytePlus SMS

SMSサービスも全世界を展開しています。
本人認証用のワンタイムパスワードやマーケティングメッセージ等に使われます。
到達率が高く、コストパフォマンスが高い　等のメリットがあります。

ByteHouse

クラウドネイティブのデータウェアハウスです。

最後

長くなりましたが、今後もいろんなサービスをリリースする予定です。
LLM、CapCut for Business等

ここまで読んでいただきありがとうございます。ぜひBytePlusを注目しておいてください。

CDP 7.1でAtlasをインストール

noreply@blogger.com (Changyao Ye) — Fri, 21 Aug 2020 08:15:00 +0000

CDP 7.1でAtlasをインストール

Cloudera Data Platform（CDP）7.1.1をインストールし、Atlasを追加する際に必要な作業をメモしておきます。

CDP 7.1.1は２０２０年５月末にGAになりました。CDH6/HDP3系の進化版となっています。
インストール後の画面は以下です。

Atlasをインストールするにはいくつかコンポーネントを先にインストールしないといけません。

大まかな手順

Zookeeper, Kafka, Solr(CDP-infra-solr)を「サービスの追加」からインストール
Solrの起動に以下のエラーで失敗した場合、「Solrの初期化」と「HDFSホームディレクトリの作成」を実施

Unable to set the cluster property due to following error : Error setting cluster property
Error: Unable to set the cluster property in ZK
ERROR: Failed to configure urlScheme property for Solr cluster in Zookeeper

Atlasのアクションで「Create HBase tables for Atlas」を実行

続いてAtlasの初期化を実施。Atlasプロセスを停止してからやらないと、「Initialize Atlas」はグレーになります。

初期化のログ。Solrにvertex_index, edge_index, fulltext_indexが作成される。

これでAtlasのUIにアクセスできるようになります。

Intel MKLのようなネイティブな数学ライブラリでSpark機械学習アルゴリズムを加速する

noreply@blogger.com (Changyao Ye) — Thu, 10 Oct 2019 14:14:00 +0000

Intel MKLのようなネイティブな数学ライブラリでSpark機械学習アルゴリズムを加速する

最近、仕事上でSpark MLlibのSVD（特異値分解）でMovieLensの推薦を実装するアプリの性能調査をしております。思った以上遅くて困っていました。SparkのDriver, Executorのメモリ、Executor数、OverHeadなどいろんなSparkパラメーターを調整して試してきましたが、なかなか改善できていません。

そして更に調査したところ、そもそもSpark MllibのSVDの実装が古いらしく、性能が出ない情報がネット上で結構上がっています。Workaroundとしては、SVDの代わりにAlternating Least Squares（ALS）などを使うか、あるいはネイティブな数学演算ライブラリを使って高速化するか　などがあります。

今回はHDP上でIntel MKLを利用するための設定方法をご紹介します。

まず、ClouderaのBlogを参照しています。CDHのクラスタの場合はMKLのParcelsファイルが提供されているため、Cloudera Managerから簡単にインストールすることができます。
Using Native Math Libraries to Accelerate Spark Machine Learning Applications
https://docs.cloudera.com/documentation/guru-howto/data_science/topics/ght_native_math_libs_to_accelerate_spark_ml.html#using_native_math_libs_with_spark_machine_learning

Native Math Libraries for Spark ML

Spark MLlibは、Breeze線形代数パッケージを使用しています。Breezeは最適化な数値処理を行うにはnetlib-javaというライブラリに依存する。 netlib-javaは、低レベルのBLAS、LAPACK、およびARPACKライブラリのラッパーです。しかし、ライセンス関連の制限でCDHのSpark,あるいはApache CommunityのSparkに既定でnetlib-javaのネイティブなプロキシが含まれていません。特に手動で何も設定していない場合、netlib-javaはF2JというJavaベースのライブラリを使います。

ネイティブな数学ライブラリを使っているか、JavaベースのF2Jを使っているか　Spark-shellで確認できます。

scala> import com.github.fommil.netlib.BLAS
import com.github.fommil.netlib.BLAS

scala> println(BLAS.getInstance().getClass().getName())
com.github.fommil.netlib.F2jBLAS

com.github.fommil.netlib.F2jBLASが表示されている場合は、F2jを使っていることを確認できます。

Intel MKLのインストールと設定

Intel MKL（Intel’s Math Kernel Library）を利用することで、(Alternating Least Squares (ALS) algorithm),Latent Dirichlet Allocation (LDA), Primary Component Analysis (PCA),　Singular Value Decomposition (SVD) といったアルゴリズムを使ったモデル訓練を高速化することができます。

Intel MKLインストール

各Sparkノードで実施
https://software.intel.com/en-us/articles/installing-intel-free-libs-and-python-yum-repo

# curl -O https://yum.repos.intel.com/mkl/setup/intel-mkl.repo > /etc/yum.repos.d/intel-mkl.repo
# sudo yum -y install intel-mkl-2019.3-062
intel-mkl-<VERSION>.<UPDATE>-<BUILD_NUM>の形式で指定

MKLのインストール先は/opt/intel/mkl になります。

mklWrapperのダウンロード

mklWrapper.jarとmkl_wrapper.soを以下のリンクからダウンロードする
https://github.com/Intel-bigdata/mkl_wrapper_for_non_CDH

Copy mkl_wrapper.jar to /opt/intel/mkl/wrapper/mkl_wrapper.jar
Copy mkl_wrapper.so to /opt/intel/mkl_wrapper/mkl_wrapper.so

Spark Configuration

# echo "/opt/intel/mkl/lib/intel64" > /etc/ld.so.conf.d/mkl_blas.conf
# ldconfig

AmbariでSpark-default設定を追加

propety	value
spark.driver.extraClassPath	/opt/intel/mkl/wrapper/mkl_wrapper.jar
spark.executor.extraClassPath	/opt/intel/mkl/wrapper/mkl_wrapper.jar
spark.driver.extraJavaOptions	-Dcom.github.fommil.netlib.BLAS=com.intel.mkl.MKLBLAS -Dcom.github.fommil.netlib.LAPACK=com.intel.mkl.MKLLAPACK
spark.executor.extraJavaOptions	-Dcom.github.fommil.netlib.BLAS=com.intel.mkl.MKLBLAS -Dcom.github.fommil.netlib.LAPACK=com.intel.mkl.MKLLAPACK
spark.driverEnv.MKL_VERBOSE	1
spark.executorEnv.MKL_VERBOSE	1

実際の設定 Custom Spark2-defaults

spark.executor.extraJavaOptionsは Advanced spark2-defaultsにあります。すでにあった値の後ろに追加する

確認

com.intel.mkl.MKLBLASが表示されることを確認できます。

そして再度SVDを実行してみたところ、前に比べて３0％〜35%の時間短縮することができました。
アルゴリズムによって加速する度合いが違いますので、ALSの場合は4.3倍も速いという結果が出ています。ぜひ試してみてください。

HDP3 Hive Warehouse connectorを使ってSparkからHiveテーブルにアクセスする

noreply@blogger.com (Changyao Ye) — Thu, 10 Oct 2019 08:30:00 +0000

HDP3 Hive Warehouse connectorを使ってSparkからHiveテーブルにアクセスする

HDP3の環境でSparkからHiveテーブルにアクセスする方法をご紹介します。

HDP以前のバージョンはSpark HiveContext/SparkSession を使ってHiveテーブルにアクセスしていますが、HDP3はHortonworksが開発したHive Warehouse Connector（HWC)を使ってアクセスすることができます。
以下の図の通り、HDP３でSparkとHiveそれぞれMetadataを持っています。お互いへのアクセスはHWC経由になります。

Hive Warehouse Connector

Hive LLAPを使ってSparkのDataFrameをHiveテーブルにWrite, HiveテーブルデータをDataFrameにReadするためのライブラリになっています。
Hive LLAPを有効にする必要があります。

HWCは以下のアプリケーションをサポートしています。

Spark-shell
Pyspark
Spark-submit

使い方としてはこちらをご参照ください。
HiveWarehouseSession API operations
https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.0.1/integrating-hive/content/hive_hivewarehousesession_api_operations.html

HWC使うための設定

設定手順は以下のリンクに詳しく書いてあります。
https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.0.1/integrating-hive/content/hive_configure_a_spark_hive_connection.html

基本的にAmbariでCustom spark-2-defaultsに以下のプロパティを設定する

Property	Description	Comments
spark.sql.hive.hiveserver2.jdbc.url	URL for HiveServer2 Interactive	In Ambari, copy the value from Services > Hive > Summary > HIVESERVER2 INTERACTIVE JDBC URL.
spark.datasource.hive.warehouse.metastoreUri	URI for metastore	Copy the value from hive.metastore.uris. For example, thrift://mycluster-1.com:9083.
spark.datasource.hive.warehouse.load.staging.dir	HDFS temp directory for batch writes to Hive	For example, /tmp.
spark.hadoop.hive.llap.daemon.service.hosts	Application name for LLAP service	Copy value from Advanced hive-interactive-site > hive.llap.daemon.service.hosts.
spark.hadoop.hive.zookeeper.quorum	Zookeeper hosts used by LLAP	Copy value from Advanced hive-sitehive.zookeeper.quorum.

実際の設定画面です

で、注意する必要があるのが、spark.sql.hive.hiveserver2.jdbc.urlです。
手順で直接Ambari上の HIVESERVER2 INTERACTIVE JDBC URLをコピーするってかいてありますが、実行時にPermission Errorのエラーが表示される場合があります。
例えばPysparkの場合

pyspark --jars /usr/hdp/current/hive_warehouse_connector/hive-warehouse-connector-assembly-1.0.0.3.1.0.0-78.jar --py-files /usr/hdp/current/hive_warehouse_connector/pyspark_hwc-1.0.0.3.1.0.0-78.zip


Error
py4j.protocol.Py4JJavaError: An error occurred while calling o72.executeQuery.
: java.lang.RuntimeException: java.io.IOException: shadehive.org.apache.hive.service.cli.HiveSQLException: java.io.IOException: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to compile query: org.apache.hadoop.hive.ql.security.authorization.plugin.HiveAccessControlException: Permission denied: user [anonymous] does not have [USE] privilege on [default]
    at com.hortonworks.spark.sql.hive.llap.HiveWarehouseDataSourceReader.readSchema(HiveWarehouseDataSourceReader.java:130)
    at org.apache.spark.sql.execution.datasources.v2.DataSourceV2Relation$.apply(DataSourceV2Relation.scala:56)

解決策２つがあります。
１, HIVESERVER2 INTERACTIVE JDBC URLの後ろにユーザーを指定する。例えばuser=hive

jdbc:hive2://hdp-srv2.demotest.com:2181,hdp-srv1.demotest.com:2181,hdp-srv4.demotest.com:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2-interactive;user=hive

2, コードの中にHiveWarehouseSession作成時にユーザーを指定する。例：.userPassword(‘hive’,‘hive’)
ソースコードからヒントを得ました。
https://github.com/hortonworks/hive-warehouse-connector/blob/HDP-3.1.0.158/python/pyspark_llap/sql/session.py

from pyspark_llap import HiveWarehouseSession
hive = HiveWarehouseSession.session(spark).userPassword('hive','hive').build()
hive.setDatabase("default")
hive.executeQuery("select * from test_table").show()
hive.showTables().show()
hive.showDatabases().show()

Zeppelin Spark Interpreterから接続する際の設定

ZeppelinからHiveにアクセスする場合もZeppelin側での設定が必要です。
詳細の設定はこちら
https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.0.1/integrating-hive/content/hive_zeppelin_configuration_hivewarehouseconnector.html

設定例

ただし、実際にコード実行したら、以下のように pyspark_llapモジュールが見つかりません　というエラーが出力されます。

調べたところ、Zeppelin側でspark.submit.pyfilesの設定がうまく動作しないバグがあるらしい。
回避策として、コートの中に直接モジュールファイルをインポートする。

これでspark-shell, pyspark, zeppelinから使えるようになります。

Druidインストール後、Druid Coordinatorが起動失敗

noreply@blogger.com (Changyao Ye) — Fri, 19 Jul 2019 14:59:00 +0000

Druidインストール後、Druid Coordinatorが起動失敗

HDP 3.1にDruidを追加し、起動したところ、Druid Coordinatorが以下のエラーにより起動失敗しています。

エラーログ

2019-07-19T14:35:13,842 WARN [main] io.druid.metadata.SQLMetadataConnector - Exception creating table
org.skife.jdbi.v2.exceptions.CallbackFailedException: io.druid.java.util.common.ISE: Database default character set is not UTF-8.
  Druid requires its MySQL database to be created using UTF-8 as default character set.
        at org.skife.jdbi.v2.DBI.withHandle(DBI.java:284) ~[jdbi-2.63.1.jar:2.63.1]
        at io.druid.metadata.SQLMetadataConnector$2.call(SQLMetadataConnector.java:135) ~[druid-server-0.12.1.3.1.0.0-78.jar:0.12.1.3.1.0.0-78]
        at io.druid.java.util.common.RetryUtils.retry(RetryUtils.java:63) ~[java-util-0.12.1.3.1.0.0-78.jar:0.12.1.3.1.0.0-78]
        at io.druid.java.util.common.RetryUtils.retry(RetryUtils.java:81) ~[java-util-0.12.1.3.1.0.0-78.jar:0.12.1.3.1.0.0-78]
        at io.druid.metadata.SQLMetadataConnector.retryWithHandle(SQLMetadataConnector.java:139) ~[druid-server-0.12.1.3.1.0.0-78.jar:0.12.1.3.1.0.0-78]
        at io.druid.metadata.SQLMetadataConnector.retryWithHandle(SQLMetadataConnector.java:148) ~[druid-server-0.12.1.3.1.0.0-78.jar:0.12.1.3.1.0.0-78]
        at io.druid.metadata.SQLMetadataConnector.createTable(SQLMetadataConnector.java:189) [druid-server-0.12.1.3.1.0.0-78.jar:0.12.1.3.1.0.0-78]
        at io.druid.metadata.SQLMetadataConnector.createRulesTable(SQLMetadataConnector.java:287) [druid-server-0.12.1.3.1.0.0-78.jar:0.12.1.3.1.0.0-78]
        at io.druid.metadata.SQLMetadataConnector.createRulesTable(SQLMetadataConnector.java:553) [druid-server-0.12.1.3.1.0.0-78.jar:0.12.1.3.1.0.0-78]
        at io.druid.metadata.SQLMetadataRuleManagerProvider$1.start(SQLMetadataRuleManagerProvider.java:71) [druid-server-0.12.1.3.1.0.0-78.jar:0.12.1.3.1.0.0-78]
        at io.druid.java.util.common.lifecycle.Lifecycle.start(Lifecycle.java:311) [java-util-0.12.1.3.1.0.0-78.jar:0.12.1.3.1.0.0-78]
        at io.druid.guice.LifecycleModule$2.start(LifecycleModule.java:134) [druid-api-0.12.1.3.1.0.0-78.jar:0.12.1.3.1.0.0-78]
        at io.druid.cli.GuiceRunnable.initLifecycle(GuiceRunnable.java:101) [druid-services-0.12.1.3.1.0.0-78.jar:0.12.1.3.1.0.0-78]
        at io.druid.cli.ServerRunnable.run(ServerRunnable.java:50) [druid-services-0.12.1.3.1.0.0-78.jar:0.12.1.3.1.0.0-78]
        at io.druid.cli.Main.main(Main.java:116) [druid-services-0.12.1.3.1.0.0-78.jar:0.12.1.3.1.0.0-78]
Caused by: io.druid.java.util.common.ISE: Database default character set is not UTF-8.
  Druid requires its MySQL database to be created using UTF-8 as default character set.
        at io.druid.metadata.storage.mysql.MySQLConnector.tableExists(MySQLConnector.java:174) ~[?:?]
        at io.druid.metadata.SQLMetadataConnector$4.withHandle(SQLMetadataConnector.java:195) ~[druid-server-0.12.1.3.1.0.0-78.jar:0.12.1.3.1.0.0-78]
        at io.druid.metadata.SQLMetadataConnector$4.withHandle(SQLMetadataConnector.java:191) ~[druid-server-0.12.1.3.1.0.0-78.jar:0.12.1.3.1.0.0-78]
        at org.skife.jdbi.v2.DBI.withHandle(DBI.java:281) ~[jdbi-2.63.1.jar:2.63.1]
        ... 14 more
2019-07-19T14:35:13,846 ERROR [main] io.druid.cli.CliCoordinator - Error when starting up.  Failing.
org.skife.jdbi.v2.exceptions.CallbackFailedException: org.skife.jdbi.v2.exceptions.UnableToExecuteStatementException: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'druid.druid_rules' doesn
't exist [statement:"SELECT id from druid_rules where datasource=:dataSource", located:"SELECT id from druid_rules where datasource=:dataSource", rewritten:"SELECT id from druid_rules where datasource=?", arg
uments:{ positional:{}, named:{dataSource:'_default'}, finder:[]}]

MySqlの文字コードがUTF-8ではないため、テーブルが見つからない　というようなエラー

早速MySqlでdatabase（druid)の文字コードを変更してみます。

alter database druid character set utf8 collate utf8_general_ci;
use druid;
show variables like "character_set_database";
+------------------------+-------+
| Variable_name          | Value |
+------------------------+-------+
| character_set_database | utf8  |
+------------------------+-------+
1 row in set (0.00 sec)

これで起動成功しました。

NiFi1.8からNiFi1.9にアップグレードのメモ

noreply@blogger.com (Changyao Ye) — Thu, 27 Jun 2019 13:26:00 +0000

NiFi1.8からNiFi1.9にアップグレードのメモ

一つのAmbariでHDP３．１とHDF3.3（NiFiだけを使っている）のクラスタを管理しています。NiFi1.8のPutHive3Streaming関連のメモリリークのバグがあるらしく、一定時間経つとをJVM OOMエラーを起こしてしまいます。

There are unfortunately 2 memory leaks around this processor:
one in the NiFi processor that was fixed in 1.9.0:
https://issues.apache.org/jira/browse/NIFI-5841
and one in the Hive client library,
https://issues.apache.org/jira/browse/HIVE-20979

そこでAmbariとHDP3.1のコンポーネントのバージョンはそのまま、HDF3.3.0（NiFi1.8）からHDF3.4.1.1（NiFi1.9）へのアップグレードを試してみました。

手順は概ねこちらになります

HDFのManagement Packをアップグレード
https://docs.hortonworks.com/HDPDocuments/HDF3/HDF-3.4.1.1/ambari-managed-hdf-upgrade/content/upgrade-mpack-hdf-on-hdp.html

手順７の中のHDF-3.4が書いてありますが、実際のところはHDF-3.4が存在していない、設定できないことになっています。

新しいバージョンを作る事も考えたのですが、バージョンの名前が共存できないため、新しい作ると、HDPのバージョンも合わせて変わってくるため、ちょっと危険の匂いがするので、やめておきました。

そこで新しいバージョンのNiFiを手動で各サーバーでインストールしました。
上の手順８のところ、各ノードに以下を追加

path=/
enabled=1
gpgcheck=0
[HDF-3.4-repo-1]
name=HDF-3.4-repo-1
baseurl=http://public-repo-1.hortonworks.com/HDF/centos7/3.x/updates/3.4.1.1

次に、インストール。今回はNiFiとNiFI-toolkitだけ

yum install -y nifi_3_4_1_1_4
yum install -y nifi_3_4_1_1_4-toolkit

インストールされていることを確認

/usr/hdf/の下に２つバージョンのHDFが存在しています
シンボリックリンクは古いバージョンのままになっています。
以下を実行して、シンボリックリンクを変更します(直接変更してもいいですが。。）

hdf-select set nifi 3.4.1.1-4
hdf-select set nifi-toolkit 3.4.1.1-4

最後にAmbariからnifi.propertiesに以下のプロパティを追加する

nifi.nar.library.autoload.directory = {{nifi_internal_dir}}/work/extensions

この状態でAmbariからNiFiを起動する

成功した！！

MiNiFiでセンサーデータを取得し、NiFiに転送してHDFS、Hiveに書き込む

noreply@blogger.com (Changyao Ye) — Fri, 21 Jun 2019 03:44:00 +0000

MiNiFiでセンサーデータを取得し、NiFiに転送してHDFS、Hiveに書き込む

「センサーをラズパイに接続し、MiNiFiでセンサーデータをTailする。そしてNiFiに転送して、NiFiでHDFS, Hiveに書き込む」の手順をご紹介します。

実現したいこと

MiNiFiでセンサーデータを取得し、NiFiに転送する
NiFiでセンサーデータをRawデータとしてKafka経由でHDFSに保存する
NiFiでセンサーデータをHiveテーブルに保存する
NiFiでデータを加工し、温度が閾値を超えたら、Slackアラート通知する

環境情報

センサーをラズパイに接続
ラズパイでセンサーデータを取るPythonスクリプト
HDP3.1(Hadoop 3.1.1, Hive 3.1.0) & HDF 3.3.1(NiFi 1.8.0, Kafka 2.0.0)、クラスタは同一Ambariで管理

構成

構成は以下の様な感じになります。パース処理のところは一つしか書いてないですが、複数のパース処理の集合だと思ってください。

全体データフロー

RemoteMiNiFiというInput portとProcessDataというPrecess Groupで構成されています。
ProcessDataグループ内の詳細フロー

やってみよう

１、MiNiFiのセットアップ

ラズパイ自体のOSインストールや、センサーとの接続ができた状態（ここでは割愛します）でMiNiFiのインストールをやります。
MiNiFiのTarファイルはHortonworksサイトにあります。
https://docs.hortonworks.com/HDPDocuments/HDF3/HDF-3.3.1/release-notes/content/hdf_repository_locations.html

sudo su -
cd /home/pi

#HortonworksのサイトからMiNiFiのtarファイルをダウンロードする
curl -O http://public-repo-1.hortonworks.com/HDF/3.3.1.0/minifi-0.6.0.3.3.1.0-10-bin.tar.gz
curl -O http://public-repo-1.hortonworks.com/HDF/3.3.1.0/minifi-toolkit-0.6.0.3.3.1.0-10-bin.tar.gz

#ファイル解答し、シンボリックリンクを作成する
tar -zxvf minifi-0.6.0.3.3.1.0-10-bin.tar.gz
tar -zxvf minifi-toolkit-0.6.0.3.3.1.0-10-bin.tar.gz
ln -s minifi-0.6.0.3.3.1.0-10 minifi
ln -s minifi-toolkit-0.6.0.3.3.1.0-10 tool_minifi

#MiNiFiをインストールする
./minifi/bin/minifi.sh install
#必要に応じてリモートNiFiホストを/etc/hostsに追加する

２、センサーデータをPythonスクリプトで取得

Pythonスクリプトは/home/pi/bme280-dataフォルダに2019-06-04.csvのようなファイルが生成されます。

中身は：「センサーID, 日付, 時間, 気圧, 温度, 湿度」のカンマ区切りのデータになります。
1,2019-06-04,23:59:51,1011.54,24.86,50.67

#coding: utf-8
import bme280_custom
import datetime
import os

dir_path = '/home/pi/bme280-data’
now = datetime.datetime.now()
filename = now.strftime('%Y-%m-%d’)
label = now.strftime('%H:%M:%S’)
csv = bme280_custom.readData()
if not os.path.exists('/home/pi/bme280-data’):
　　os.makedirs('/home/pi/bme280-data’)
f = open('/home/pi/bme280-data/'+filename+'.csv','a’)
f.write('1,'+filename +","+label+","+csv+"\n")
f.close()

このスクリプトをCronとかで定期的に実行するように設定する（例えば10秒ごとに実行）

３、NiFiでデータフローを作成し、MiNiFiに配布

MiNiFiで直接データフローを作成するのが難しいので、NiFiで作成して、テンプレート（.xml)としてエクスポート、MiNiFi toolkitで.xmlを.ymlに変換するのが一般的です。
今回はTailFileプロセッサとRemoteProcessGroupを使います。

NiFiのTop画面でInput portを追加する。名前をRemoteMiNiFiに設定する
TailFileプロセッサでフォルダの.csvファイルを取り込みます。以下のプロパティを設定します。
Tailing mode：　 Multiple files
File(s) to Tail：　 .*.csv
Base Directory： /home/pi/bme280-data
Remote Process Groupを以下のように設定して、RemoteMiNiFiをInput Portとして選択する
URLsにNiFiのURL(http://hdp-srv4.demotest.com:9090/nifi)を指定する。複数ある場合は、カンマ区切りで入力する。
Transport ProtocolでHTTPを選択する。
作ったデータフローをテンプレートにエクスポートする
TailFileプロセッサとRemoteProcessGroupを繋いで、全部選択して、右クリック、「Create template」でテンプレートを作成する。
作成したら、ダウンロードする
MiNiFiでテンプレートファイル（.xml）から.ymlファイルに変換する
ラズパイにログインして、以下のコマンドでファイルを変換して、MiNiFiを起動する

sudo su -
cd /home/pi

#MiNiFi toolkitでxmlからymlに変換する
./tool_minifi/bin/config.sh transform /home/pi/sensor_minifi4.xml ./sensor_minifi4.yml

#既存のconfig.ymlファイルをバックアップし、新しいymlで上書きする
cp -p minifi/conf/config.yml minifi/conf/config.yml.bk
cp -p sensor_minifi4.yml minifi/conf/config.yml

#MiNiFiプロセスを起動する。他にstop, restartなどオプションがある
./minifi/bin/minifi.sh start

ここまできたら、MiNiFiからセンサーデータをNiFiの方に転送できるようになります。

４、NiFiでセンサーデータをRawデータとしてKafka経由でHDFSに保存する

ここからは、NiFiでセンサーデータをKafka経由でHDFSに保存するデータフローを作成していきます。
全体のデータフローはこんな感じです。

NiFi画面でUser1というProcess Groupをドラッグ&ドロップする。すでに作成済みのRemoteMiNiFi input portと繋ぐ

User1グループをダブルクリックで入って後続のフロー作成に入ります。
FromMinifiというInput portとPublishKafka_2_0プロセッサを作成して、繋ぐ

PublishKafka_2_0のPROPERTIESタブで必要なプロパティを設定する。
Kafka Brokers: hdp-srv1.demotest.com:6667,hdp-srv2.demotest.com:6667,hdp-srv3.demotest.com:6667　を入力
Topic Name: sensor_data_user1
Delivery Guarantee: Guarantee Replicated Delivery　を選択

PublishKafka_2_0のSETTINGSタブでfailureとsuccess両方をチェックする。
ConsumeKafka_2_0プロセッサを追加する
Kafka Brokers: hdp-srv1.demotest.com:6667,hdp-srv2.demotest.com:6667,hdp-srv3.demotest.com:6667　を入力
Topic Name: sensor_data_user1
Group ID: group1_user1
MergeContentプロセッサを追加する
Minimum Number of Entries: 10　に変更
PutHDFSプロセッサを追加する
Hadoop Configuration Resources: /etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml
Directory: /tmp/sensor_data/user1

SETTINGSタブでsuccessをチェックする
最後にLogAttributeプロセッサを追加する
PROPERTIESタブは既定のままで、SETTINGSタブでsuccessをチェックする

MergeContentのoriginal, failure, PutHDFSのfailureと繋ぐ
HDFS上のファイルの中身を見てみる

５、NiFiでセンサーデータをHiveテーブルに保存する

ここでHive Streamingを使ってセンサーデータをリアルタイムにHiveテーブルに追加します。
これを実現するには、Hiveテーブルがいくつか要件を満たす必要があります。
詳細はこちらをご参照くださいStreamingDataIngest-StreamingRequirements

１，ACIDサポートのため、hive-site.xmlに以下３つのパラメータを設定（HDP3.1ではすでに設定ずみ）
hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager 
hive.compactor.initiator.on = true 
hive.compactor.worker.threads > 0

２，テーブル作成時に以下を含むことが必要
STORED AS ORC
tblproperties("transactional"="true")
CLUSTERED BY (cloumn-name) INTO <num> BUCKETS

下記の通りでテーブル(sensor_data_user1)を作成します。

CREATE TABLE sensor_data_user1(id int,time_str string, pressure double, temperature double, humidity double)
PARTITIONED BY(date_str string) 
CLUSTERED BY (id) INTO 5 BUCKETS 
STORED AS ORC 
tblproperties("transactional" = "true");

この部分のデータフローは図の通りになります。

これからプロセッサを説明していきます。

UpdateAttributeプロセッサを追加し、FromMinifi input portと接続する
UpdateAttributeのPROPERTIESタブでschema.name=sensor_data_schema1を追加する
ConvertRecordプロセッサを追加する。CSVをAvroに変換
Record Reader: CSVReaderを選択
Record Writer: AvroRecordSetWriterを選択

CSVReaderの→をクリックする。
Controller ServicesタブでAvroRecordSetWriterとCSVReaderが追加される。

⚙をクリックする。
Schema Access Strategy: Use ‘Schema Name’ Propertyを選択
Schema Registryで Create new service… を選択する

AvroSchemaRegistry… を選択してCreateをクリックする

Schema Registryで AvroSchemaRegistryが表示される。→をクリックする。Save changes before going to Controller Service?が表示され、Yesクリックする

Controller ServicesタブでAvoSchemaRegistryが追加される
⚙をクリックする

Propertiesタブでプロパティ sensor_data_schema1を追加する

Avroスキーマは下記の通り

	{
	     "type": "record",
	     "namespace": "sensor_data_schema1",
	     "name": "sensor_data_schema1",
	     "fields": [
           { "name": "id", "type": "int" },
	       { "name": "date_str", "type": "string" },
	       { "name": "time_str", "type": "string" },
	       { "name": "pressure", "type": "double" },
	       { "name": "temperature", "type": "double" },
	       { "name": "humidity", "type": "double" }
	     ]
	}

終わったら、CSVReaderがInvalid、AvroSchemaRegistryがDisabledの状態。
赤枠のアイコンをクリックしてAvroSchemaRegistryを有効にする（Enable→Closeをクリックする）。
CSVReaderも有効にする

最後にAvroRecordSetWriterも既定のままで有効にする

ConvertRecordのfailureをLogAttributeに繋ぐ

PutHive3Streamingプロセッサを追加する

PutHive3StreamingのPropertiesタブで以下の値を設定する
Record Reader: AvroReaderを選択
Hive Metastore URL: thrift://hdp-srv3.demotest.com:9083を入力
Hive Configuration Resources: /etc/hive/conf/hive-site.xml,/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xmlを入力
Database Name: defaultを入力
Table Name: sensor_data_user1を入力

Record Readerの→をクリックし、AvroReaderを有効にする（Enable→Close）

PutHive3StreamingのSettingsタブでsuccessをチェックする
PutHive3StreamingのfaiureとretryをLogAttributeに接続する
Zeppelinでクエリを実行して確認
時間軸で温度の変化を表しています。

６、NiFiでデータを加工し、温度が閾値を超えたら、Slackアラート通知する

CSV形式のデータ「1,2019-06-04,23:59:51,1011.54,24.86,50.67」から温度を取得して、閾値（ここでは30度）を超えたらSlackにアラート通知します。
全体のデータフロー

ExtractTextプロセッサを追加する
Propertiesタブでfieldプロパティを追加、値を(.*),(.*),(.*),(.*),(.*),(.*)に設定

Settingsタブでunmatchedをチェックする

RouteOnAttributeプロセッサを追加する
Propertiesタブでhighプロパティを追加、値を${field.5:gt(40)}　に設定する

Settingsタブでunmatchedをチェックする

PutSlackプロセッサを追加する
Propertiesタブで以下のプロパティを設定する
Webhook URL: https://hooks.slack.com/services/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
Webhook Text: Temperature is ${field.5}! Too hort!!

Settingsタブでsuccessをチェックする

PutSlackのfailureをLogAttributeに接続する
Slackメッセージ確認

最後のメモ: 事前準備

# Kafka topic作成
cd /usr/hdp/current/kafka-broker
./kafka-topics.sh --create --zookeeper hdp-srv1.demotest.com:218,hdp-srv2.demotest.com:2181,hdp-srv3.demotest.com:2181 --replication-factor 3 --partitions 1 --topic sensor_data_user1

# HDFS folder作成
sudo su - hdfs 
hdfs dfs -mkdir -p /tmp/sensor_data/user1
hdfs dfs -chmod -R 777 /tmp/sensor_data/user1

# sensor_data_user1テーブルにNiFiユーザーにrwx権限追加
hdfs dfs -setfacl -m -R user:nifi:rwx /warehouse/tablespace/managed/hive/sensor_data_user1

NiFi ReplaceTextプロセッサのReplacement Valueの書き方

noreply@blogger.com (Changyao Ye) — Tue, 11 Jun 2019 08:58:00 +0000

NiFi ReplaceTextプロセッサのReplacement Valueの書き方

NiFiで流れてくるFlowfileの中身をReplace（頭何かデータを入れたい、後ろにデータをつけたいとか）したい場合は、ReplaceTextプロセッサを使えます。

ReplaceText既定の画面

一個例を見てみましょう
例えば流れてくるFlowfileは一行のCSV

aaa,bbb,ccc,ddd

後ろにeeeをつけたい場合、以下のように書きます。

$1,eee

FlowfileのAttribute(filenameとか）を後ろにつけたい場合
＄１をシングルクォーテーションで囲む必要です。

${'$1'},${filename}

$1のdddをfffにreplaceして、eeeを追加したい場合

${'$1':replace('ddd','fff')},eee

一番重要なのは$1をシングルクォーテーションで囲むところかなぁ。囲まないと怒られます。

FreeIPAとAmbari連携

noreply@blogger.com (Changyao Ye) — Mon, 10 Jun 2019 12:42:00 +0000

FreeIPAとAmbari連携

FreeIPAとAmbariの連携方法をメモしておきます。
HDP3.1.0、Ambari 2.7.3の環境です。

FreeIPAのインストール

以下のスクリプトでサーバー上にインストールし、いくつかUser、Groupを作成する。
必要に応じて変更してください。

#ホスト名
export NAME=ipa-srv1
#Domain名
export DOMAIN=demotest.com
export REALM=$(echo ${DOMAIN} | awk '{print toupper($0)}')
export IP=$(ip addr | grep 'state UP' -A2 | tail -n1 | awk '{print $2}' | cut -f1 -d'/')

echo "IP is ${IP}"

echo "${IP} ${NAME}.${DOMAIN} ${NAME} $(hostname -f) $(hostname -s)" >> /etc/hosts
hostnamectl set-hostname ${NAME}.${DOMAIN}
hostnamectl --transient set-hostname ${NAME}
hostname ${NAME}.${DOMAIN}
echo 0 > /proc/sys/kernel/hung_task_timeout_secs
ethtool -K eth0 tso off


hostname -f
cat /etc/hosts

#install packages
sudo yum install ipa-server ipa-server-dns -y

#increase entropy
cat /proc/sys/kernel/random/entropy_avail
sudo yum install -y rng-tools
sudo systemctl start rngd
cat /proc/sys/kernel/random/entropy_avail

#sometimes needed to avoid server install failing
sudo service dbus restart

#install IPA server
ipa-server-install \
--realm ${REALM} --domain ${DOMAIN} \
-a BadPass#1 -p BadPass#1 \
--setup-dns \
--forwarder=8.8.8.8 --allow-zone-overlap --no-host-dns \
--auto-forwarders --auto-reverse --unattended

#kinit as admin
#パスワードをBadPass#1に設定する
echo BadPass#1 | kinit admin

# create a new principal to be used for ambari kerberos administration
ipa user-add hadoopadmin --first=Hadoop --last=Admin --shell=/bin/bash

# create a new principal to be used for read only ldab bind (whose password will expire in 90 days)
ipa user-add ldapbind --first=ldap --last=bind

# create a role and and give it privilege to manage users and services
ipa role-add hadoopadminrole
ipa role-add-privilege hadoopadminrole --privileges="User Administrators"
ipa role-add-privilege hadoopadminrole --privileges="Service Administrators"

#add the hadoopadmin user to the role
ipa role-add-member hadoopadminrole --users=hadoopadmin

#create users/groups
ipa group-add analyst --desc analyst
ipa group-add hr --desc hr
ipa group-add legal --desc legal
ipa group-add sales --desc sales
ipa group-add etl --desc etl
ipa group-add us_employee --desc us_employee
ipa group-add eu_employee --desc eu_employee
ipa group-add intern --desc intern
ipa group-add sudoers --desc sudoers

ipa user-add legal1 --first=legal1 --last=legal1 --shell=/bin/bash
ipa user-add legal2 --first=legal2 --last=legal2 --shell=/bin/bash
ipa user-add legal3 --first=legal3 --last=legal3 --shell=/bin/bash
ipa user-add hr1 --first=hr1 --last=hr1 --shell=/bin/bash
ipa user-add hr2 --first=hr2 --last=hr2 --shell=/bin/bash
ipa user-add hr3 --first=hr3 --last=hr3 --shell=/bin/bash
ipa user-add sales1 --first=sales1 --last=sales1 --shell=/bin/bash
ipa user-add sales2 --first=sales2 --last=sales2 --shell=/bin/bash
ipa user-add sales3 --first=sales3 --last=sales3 --shell=/bin/bash
ipa user-add joe_analyst --first=joe --last=analyst --shell=/bin/bash
ipa user-add ivanna_eu_hr --first=ivanna --last=hr --shell=/bin/bash
ipa user-add scott_intern --first=scott --last=intern --shell=/bin/bash
ipa user-add noobie --first=jon --last=snow --shell=/bin/bash

ipa group-add-member legal --users=legal1
ipa group-add-member legal --users=legal2
ipa group-add-member legal --users=legal3

ipa group-add-member hr --users=hr1
ipa group-add-member hr --users=hr2
ipa group-add-member hr --users=hr3
ipa group-add-member hr --users=ivanna_eu_hr

ipa group-add-member sales --users=sales1
ipa group-add-member sales --users=sales2
ipa group-add-member sales --users=sales3

ipa group-add-member analyst --users=joe_analyst
ipa group-add-member intern --users=scott_intern
ipa group-add-member us_employee --users=joe_analyst
ipa group-add-member eu_employee --users=ivanna_eu_hr

# create sudo rule
ipa sudorule-add admin_all_rule
ipa sudorule-mod admin_all_rule --cmdcat=all --hostcat=all
ipa sudorule-add-user admin_all_rule --groups=sudoers

# add noobie to the sudoers user, to enable sudo rules
ipa group-add-member sudoers --users=noobie


echo BadPass#1 > tmp.txt
echo BadPass#1 >> tmp.txt


ipa passwd hadoopadmin < tmp.txt
ipa passwd ldapbind < tmp.txt

ipa passwd legal1 < tmp.txt
ipa passwd legal2 < tmp.txt
ipa passwd legal3 < tmp.txt
ipa passwd hr1 < tmp.txt
ipa passwd hr2 < tmp.txt
ipa passwd hr3 < tmp.txt
ipa passwd sales1 < tmp.txt
ipa passwd sales2 < tmp.txt
ipa passwd sales3 < tmp.txt

ipa passwd joe_analyst < tmp.txt
ipa passwd ivanna_eu_hr < tmp.txt
ipa passwd scott_intern < tmp.txt

rm -f tmp.txt

FreeIPAの管理画面

管理画面でUser,Group,Password Policy等情報を確認設定できます。

AmbariのLDAP設定

ambari-server setup-ldap

Using python  /usr/bin/python
Currently 'no auth method' is configured, do you wish to use LDAP instead [y/n] (y)? yes
Enter Ambari Admin login: admin
Enter Ambari Admin password:

Fetching LDAP configuration from DB. No configuration.
Please select the type of LDAP you want to use [AD/IPA/Generic](Generic):IPA
Primary LDAP Host (ipa.ambari.apache.org): ipa-srv1.demotest.com
Primary LDAP Port (636): 389
Secondary LDAP Host <Optional>:
Secondary LDAP Port <Optional>:
Use SSL [true/false] (true): false
User object class (posixAccount): person
User ID attribute (uid): uid
Group object class (posixGroup): groupofnames
Group name attribute (cn): cn
Group member attribute (member): member
Distinguished name attribute (dn): dn
Search Base (cn=accounts,dc=ambari,dc=apache,dc=org): dc=demotest,dc=com
Referral method [follow/ignore] (follow):follow
Bind anonymously [true/false] (false): false
Bind DN (uid=ldapbind,cn=users,cn=accounts,dc=ambari,dc=apache,dc=org): uid=ldapbind,cn=users,cn=accounts,dc=demotest,dc=com
Enter Bind DN Password:
Confirm Bind DN Password:
Handling behavior for username collisions [convert/skip] for LDAP sync (skip): convert
Force lower-case user names [true/false]:false
Results from LDAP are paginated when requested [true/false]:false
====================
Review Settings
====================
Primary LDAP Host (ipa.ambari.apache.org):  ipa-srv1.demotest.com
Primary LDAP Port (636):  389
Use SSL [true/false] (true):  false
User object class (posixAccount):  person
User ID attribute (uid):  uid
Group object class (posixGroup):  groupofnames
Group name attribute (cn):  cn
Group member attribute (member):  member
Distinguished name attribute (dn):  dn
Search Base (cn=accounts,dc=ambari,dc=apache,dc=org):  dc=demotest,dc=com
Referral method [follow/ignore] (follow):  follow
Bind anonymously [true/false] (false):  false
Handling behavior for username collisions [convert/skip] for LDAP sync (skip):  convert
Force lower-case user names [true/false]: false
Results from LDAP are paginated when requested [true/false]: false
ambari.ldap.connectivity.bind_dn: uid=ldapbind,cn=users,cn=accounts,dc=demotest,dc=com
ambari.ldap.connectivity.bind_password: *****
Save settings [y/n] (y)? y
Saving LDAP properties...
Saving LDAP properties finished
Ambari Server 'setup-ldap' completed successfully.

AmbariからLDAP同期

Ambariの既定のID/password(admin/admin)を使用


ambari-server sync-ldap --ldap-sync-admin-name=admin --ldap-sync-admin-password=admin --all
Using python  /usr/bin/python
Syncing with LDAP...

Fetching LDAP configuration from DB.
Syncing all...

Completed LDAP Sync.
Summary:
  memberships:
    removed = 0
    created = 33
  users:
    skipped = 0
    removed = 0
    updated = 1
    created = 15
  groups:
    updated = 0
    removed = 0
    created = 292

Ambari Server 'sync-ldap' completed successfully.

Ambariにログインして(admin/admin)、特定のユーザーにambariの管理権限を付与する

ここではhadoopadminというユーザーにambari adminに設定する
NoからYesに変更する

hadoopadminユーザーでAmbariにログインする

hadoopadminでログインできていることを確認

AmbariのMetrics monitor起動 due to AttributeError: 'module' object has no attribute 'boot_time'ｎ

noreply@blogger.com (Changyao Ye) — Fri, 07 Jun 2019 16:08:00 +0000

AmbariのMetrics monitor起動 due to AttributeError: 'module' object has no attribute 'boot_time'ｎ

以下のエラーでAmbariのMetrics monitor起動に失敗することがあります。

Traceback (most recent call last):
  File "/var/lib/ambari-agent/cache/stacks/HDP/3.0/services/AMBARI_METRICS/package/scripts/metrics_monitor.py", line 78, in 
    AmsMonitor().execute()
  File "/usr/lib/ambari-agent/lib/resource_management/libraries/script/script.py", line 352, in execute
    method(env)
  File "/var/lib/ambari-agent/cache/stacks/HDP/3.0/services/AMBARI_METRICS/package/scripts/metrics_monitor.py", line 43, in start
    action = 'start'
  File "/usr/lib/ambari-agent/lib/ambari_commons/os_family_impl.py", line 89, in thunk
    return fn(*args, **kwargs)
  File "/var/lib/ambari-agent/cache/stacks/HDP/3.0/services/AMBARI_METRICS/package/scripts/ams_service.py", line 109, in ams_service
    user=params.ams_user
  File "/usr/lib/ambari-agent/lib/resource_management/core/base.py", line 166, in __init__
    self.env.run()
  File "/usr/lib/ambari-agent/lib/resource_management/core/environment.py", line 160, in run
    self.run_action(resource, action)
  File "/usr/lib/ambari-agent/lib/resource_management/core/environment.py", line 124, in run_action
    provider_action()
  File "/usr/lib/ambari-agent/lib/resource_management/core/providers/system.py", line 263, in action_run
    returns=self.resource.returns)
  File "/usr/lib/ambari-agent/lib/resource_management/core/shell.py", line 72, in inner
    result = function(command, **kwargs)
  File "/usr/lib/ambari-agent/lib/resource_management/core/shell.py", line 102, in checked_call
    tries=tries, try_sleep=try_sleep, timeout_kill_strategy=timeout_kill_strategy, returns=returns)
  File "/usr/lib/ambari-agent/lib/resource_management/core/shell.py", line 150, in _call_wrapper
    result = _call(command, **kwargs_copy)
  File "/usr/lib/ambari-agent/lib/resource_management/core/shell.py", line 314, in _call
    raise ExecutionFailed(err_msg, code, out, err)
resource_management.core.exceptions.ExecutionFailed: Execution of '/usr/sbin/ambari-metrics-monitor --config /etc/ambari-metrics-monitor/conf start' returned 255. psutil build directory is not empty, continuing...
Verifying Python version compatibility...
Using python  /usr/bin/python2.7
Checking for previously running Metric Monitor...
/var/run/ambari-metrics-monitor/ambari-metrics-monitor.pid found with no process. Removing 5237...
Starting ambari-metrics-monitor
Verifying ambari-metrics-monitor process status with PID : 11790
Output of PID check : 
ERROR: ambari-metrics-monitor start failed. For more details, see /var/log/ambari-metrics-monitor/ambari-metrics-monitor.out:
====================
    server_process_main(stop_handler)
  File "/usr/lib/python2.6/site-packages/resource_monitoring/main.py", line 64, in server_process_main
    controller = Controller(main_config, stop_handler)
  File "/usr/lib/python2.6/site-packages/resource_monitoring/core/controller.py", line 46, in __init__
    hostinfo = HostInfo(config)
  File "/usr/lib/python2.6/site-packages/resource_monitoring/core/host_info.py", line 49, in __init__
    self.__host_static_info = self.get_host_static_info()
  File "/usr/lib/python2.6/site-packages/resource_monitoring/core/host_info.py", line 235, in get_host_static_info
    boot_time = psutil.boot_time()
AttributeError: 'module' object has no attribute 'boot_time'
====================
Monitor out at: /var/log/ambari-metrics-monitor/ambari-metrics-monitor.out

解決策

以下を実行する

cd /usr/lib/python2.6/site-packages/resource_monitoring/psutil
make install ambari-metrics-monitor restart

Spark MLで作ったモデルをどうやってStormやFlinkで使うか

noreply@blogger.com (Changyao Ye) — Thu, 09 May 2019 04:55:00 +0000

Spark MLでトレーニングしたモデルをStormやFlinkで使う方法をメモしておきます。

Storm

https://community.hortonworks.com/questions/24092/how-to-use-spark-mllib-model-in-storm.html

１，PMMLを使う

ただ、この場合はFeature scalingや特徴量変換処理を事前にやる必要があるそうです。

そのかわりに、JPMMLを使う

https://github.com/jpmml/jpmml-storm

2, それでもう一つ方法はStormのコードにSparkのMLlib Jarをインポートして、そのままSpark MLlibのクラスでSpark Modelを呼び出すがあります。

Flink

https://stackoverflow.com/questions/42816766/is-it-possible-to-apply-spark-ml-crossvalidatormodel-into-flink-streaming-data-f

JPMML(on top of PMML)がよく動く!

https://github.com/FlinkML/flink-jpmml

MLeapは非現実的？

https://github.com/combust/mleap

PFAが有望的！

https://berlin-2017.flink-forward.org/index.html%3Fp=2615.html

Flink model serving site

https://cwiki.apache.org/confluence/display/FLINK/FLIP-23+-+Model+Serving

Evernote はあなたがすべてを記憶し、手間をかけずに整理できるようにお手伝いします。Evernote をダウンロードする

Ambari local login

noreply@blogger.com (Changyao Ye) — Thu, 09 May 2019 01:25:00 +0000

Knox経由でAmbariにログインするときに、常にKnoxの画面が表示されます。

Knoxに何か問題があったら、Ambariにログインできなくなります。

でもAmbariにログインしたいですよね。その場合は、以下のようなURLでKnox経由しなくて、従来のAmbariにログインできます。

http://aaa.bbb.com:8080/#/login/local

URLの後ろにlocalをつけます。

Evernote はあなたがすべてを記憶し、手間をかけずに整理できるようにお手伝いします。Evernote をダウンロードする

Apache Arrowメモ

noreply@blogger.com (Changyao Ye) — Mon, 15 Apr 2019 01:26:00 +0000

Arrowが目指していること

メモリ上のデータを効率化することです。

向いていること

大量データの交換

メモリ上のでの大量データの分析処理

速度

シリアライズ、デシリアライズコストが小さいデータフォーマット。各種システムで共通で使う必要があり、各種言語のライブラリも開発中

並列処理

できるだけデータを局所化する配置になっている

OLTPよりOLAPに向いています。

OLTPはECサイトのように行単位の追加、更新、削除処理が多い、RDB

OLAPは列に対する操作（Count, group by）が多い。

Arrowは列志向

https://www.clear-code.com/blog/2018/9/5.html

Evernote はあなたがすべてを記憶し、手間をかけずに整理できるようにお手伝いします。Evernote をダウンロードする

Druid起動時エラー

noreply@blogger.com (Changyao Ye) — Thu, 11 Apr 2019 10:19:00 +0000

AmbariでDruidをインストールして起動すると以下のエラーが出力されます。

resource_management.core.exceptions.ExecutionFailed: Execution of '/usr/java/default/bin/java -cp /usr/lib/ambari-agent/DBConnectionVerification.jar:/usr/hdp/current/druid-historical/extensions/mysql-metadata-storage/mysql-connector-java-8.0.15-1.el7.noarch.rpm org.apache.ambari.server.DBConnectionVerification 'jdbc:mysql://localhost:3306/druid?createDatabaseIfNotExist=true' druid [PROTECTED] com.mysql.jdbc.Driver' returned 1. ERROR: Unable to connect to the DB. Please check DB connection properties.

java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

mysql-connect jarが見つからないためのエラーです。

以下のようにambari-serverコマンド実行する

wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.37/mysql-connector-java-5.1.37.jar

ambari-server setup --jdbc-db=mysql --jdbc-driver=<location where you downloaded mysql connector>

Evernote はあなたがすべてを記憶し、手間をかけずに整理できるようにお手伝いします。Evernote をダウンロードする

BeelineでHiveに接続する際のエラー

noreply@blogger.com (Changyao Ye) — Wed, 10 Apr 2019 09:41:00 +0000

KerberosされたHadoop環境でbeelineでHiveに接続するときのエラーと対処法をご紹介します。

beeline -u "jdbc:hive2://hostname:10000/default"　で接続する

Error 1

ERROR org.apache.thrift.server.TThreadPoolServer: [HiveServer2-Handler-Pool: Thread-40]: Error occurred during processing of message.java.lang.RuntimeException: org.apache.thrift.transport.TTransportException: Unsupported mechanism type PLAIN

対処法

Kerberosされた環境で接続URLにprincipalを指定する必要がある。

beeline -u "jdbc:hive2://hostname:10000/default;principal=user1@HADOOP"　で接続する

Error 2

Error: Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000/default;principal=user1@HADOOP: Kerberos principal should have 3 parts: user1@HADOOP (state=08S01,code=0)

対処法

principalにはuser/hostname@REALM　User、Hostname、Realm３つのPartが必要

Error 3

Caused by: org.ietf.jgss.GSSException: No valid credentials provided (Mechanism level: Server not found in Kerberos database (7) - LOOKING_UP_SERVER)

Caused by: sun.security.krb5.KrbException: Server not found in Kerberos database (7) - LOOKING_UP_SERVER

Caused by: sun.security.krb5.Asn1Exception: Identifier doesn't match expected value (906)

対処法

principalには　hive/hiveserver2_hostname@REALM　のように、user HiveとHiveserver2のホスト名を指定することが必要

beeline -u "jdbc:hive2://192.168.10.154:10000/default;principal=hive/ip-192-168-10-154.ap-northeast-1.compute.internal@HADOOP"

参考

https://community.hortonworks.com/questions/9306/beeline-and-kerberos.html

Evernote はあなたがすべてを記憶し、手間をかけずに整理できるようにお手伝いします。Evernote をダウンロードする

2018年振り返り

noreply@blogger.com (Changyao Ye) — Fri, 28 Dec 2018 14:10:00 +0000

--- ---

2018年振り返り

久しぶりにブログを書きます。
いろいろがあって（書く時間がないか、書くものがないか、書きたい気分ではないか、どっちもあると思います）、あまりかけてないのがこの一年半でした。

2018年はいろんな意味で有意義な一年になりました。

大学卒業10年、来日も10年
10年、長いか、短いか、どっちも言えますが、この10年特に大きな挫折がなく過ごしてきました。家庭、仕事、子供などなど。二、三年おきに大きなイベントありました。人生三分の一は日本にいます。こう考えると長いと感じています。
これからも、おそらくずっと日本にいます。三分の一は二分の一、四分の三、という感じに変わっていくだろう。今後は自分どうなるかあまり想像していないが、未来より現在を大事にするのが今までのポリシーで、これからも変わらないと思います。むしろ変えたくないです。
サイバーエージェント退職しHortonworksに入社
今まで、JBS、GMOクリック証券、CyberAgentで貴重な経験させていただきました。
JBS時代は、主にMicrosoftサーバー製品（Windows Server[AD, DNS, File Server…], Exchange Server, SharePoint Server, Office 365, Hyper-V、System Center製品群などなど）をベースにしたソリューション設計、構築をやってました。社内向けのサポート、製品検証、ちょっとしたツール開発などもやりました。

GMOクリック証券時代は、インフラエンジニアとして一年ちょっとくらいやってました。土曜にデータセンターでの作業が多かったです。ハードラッキング、OSいれて、ミドル入れて、開発に渡すみたいな感じでした。障害対応もチーム内でローテーションでやってました。アラートメールが来たときにドキドキ感が今でも覚えています。
GMOの後半2年くらいは、開発やってました。Java、GoLang、Scala、PHPなどでいくつかプロジェクトやってました。海外のトレーディングシステムのコア部分のテストも経験しました。
もう一つ重要なプロジェクトは社内のビッグデータ基盤の運用でした。HortonworksのHDPを使ってました。

サイバーエージェント時代は、主に社内ビッグデータ基盤周りの開発と運用業務でした。プロトタイプのHadoopクラスタ管理ツール開発したり、Kuduによるファストデータ活用で、Kafka, Flume, Kudu, Prestoなどを検証し、本番導入したりしました。ClouderaのCDHを使ってました。

そして縁があってHortonworksにSEとして入社しました。BigData関連のソリューションアーキテクトとして、お客さんに提案する立場になりました。いかに製品や技術をわかりやすい言葉でお客さんに紹介するか、実践しながらコツを掴んできています。最初は緊張やうまく表現できない部分もありましたが、じょじょに慣れてつまづいたときも臨機応変で対応できるようになりつつある。これからも更に進化していきたいと思います。
来年はHortonworksは長年競争してきたClouderaと合併します。2強が一つになって、それぞれいいところ（製品など）をとって更に進化したプロダクトがリリースされることを期待しています。BigData、AI業界もますます盛り上がるのではないかと思っています。
最後に来年三人目の子供が生まれる予定
名前を考え中です。笑）

2018年の振り返り書きながら、過去10年みたいな振り返りになってしまいました。
過去の記憶や経験を思い出しながら、現在の毎日を大切にして、未来を迎えたいと思います。
今後もいいことがたくさんあるように。

CentOS Pamでケルベロス認証グループ制限

noreply@blogger.com (Changyao Ye) — Tue, 27 Jun 2017 06:32:00 +0000

CentOS Pamでケルベロス認証グループ制限 Pamでケルベロス認証のための設定をメモしておきます。
グループでログイン制御することもできます。
参考情報
https://www.linux.iastate.edu/content/using-pam-kerberos-authentication-and-group-access-control
/etc/pam.d/system-authのサンプル
testgroup以外のユーザーはログインできないようにする

#%PAM-1.0
# This file is auto-generated.
# User changes will be destroyed the next time authconfig is run.
auth        required      pam_env.so
auth        sufficient    pam_unix.so nullok try_first_pass
# only allow auth for member of testgroup
auth        requisite    pam_succeed_if.so user ingroup testgroup
auth        requisite     pam_succeed_if.so uid >= 500 quiet
# for kerberos
auth        sufficient    pam_krb5.so use_first_pass
auth        required      pam_deny.so

account     required      pam_unix.so broken_shadow
account     sufficient    pam_localuser.so
account     sufficient    pam_succeed_if.so uid < 500 quiet
# for kerberos
account     [default=bad success=ok user_unknown=ignore] pam_krb5.so
account     required      pam_permit.so

password    requisite     pam_cracklib.so try_first_pass retry=3 type=
password    sufficient    pam_unix.so sha512 shadow nullok try_first_pass use_authtok
# for kerberos
password    sufficient    pam_krb5.so use_authtok
password    required      pam_deny.so

session     optional      pam_keyinit.so revoke
session     required      pam_limits.so
session     [success=1 default=ignore] pam_succeed_if.so service in crond quiet use_uid
session     required      pam_unix.so
# for kerberos
session     optional      pam_krb5.so

グループ制御ではingroup, notingroupというのがあります。
ingroupはグループ内のユーザーしかログインできない
notingroupはグループに所属していないユーザーしかログインできない。

Hortonworks ODBCでHIVEServerに接続する設定手順

noreply@blogger.com (Changyao Ye) — Thu, 15 Jun 2017 10:17:00 +0000

HortonWorks ODBCでHIVEServerに接続する設定手順 ODBCでHIVEに接続する手順をメモしておきます。

HortonWorksサイトからODBCドライバーをダウンロード

https://jp.hortonworks.com/downloads/
Hortonworks ODBC Driver for Apache Hive (v2.1.7)

ODBCドライバーをインストール

 $ sudo rpm -ivh hive-odbc-native-2.1.7.1010-1.el6.x86_64.rpm

 インストール先確認
 $ ls /usr/lib/hive/lib/native

.odbc.iniを作成

 $ cd /usr/lib/hive/lib/native/Linux-amd64-64
 $ cat .odbc.ini
 ---------------------------------------------------------------
 [ODBC]

 [ODBC Data Sources]
 HIVE

 [HIVE]
 Driver=/usr/lib/hive/lib/native/Linux-amd64-64/libhortonworkshiveodbc64.so
 #環境ごとに変更
 HOST=srv.example.com
 PORT=10000
 Schema=
 ServiceDiscoveryMode=0
 ZKNamespace=
 HiveServerType=2
 #kerberos認証にするため、AuthMechを1に設定
 AuthMech=1
 ThriftTransport=1
 UseNativeQuery=0
 UID=hue
 #環境ごとに変更
 KrbHostFQDN=srv.example.com
 KrbServiceName=hive
 #環境ごとに変更
 KrbRealm=example.com
 SSL=0
 TwoWaySSL=0
 ClientCert=
 ClientPrivateKey=
 ClientPrivateKeyPassword=
 ---------------------------------------------------------------
 権限変更、しないとエラーが出る可能性があります。
 $ chmod 777 .odbc.ini

サンプルファイルは以下にあります。

 /usr/lib/hive/lib/native/hiveodbc/Setup/odbc.ini

環境変数設定

xport ODBCINI=/usr/lib/hive/lib/native/Linux-amd64-64/.odbc.ini
 or
/etc/profileにexport ODBCINI=/usr/lib/hive/lib/native/Linux-amd64-64/.odbc.ini　を追加

参考Kerberos設定

$ cat /etc/krb5.conf
# Configuration snippets may be placed in this directory as well
#includedir /etc/krb5.conf.d/

[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 default_realm = EXAMPLE.COM
 dns_lookup_realm = false
 dns_lookup_kdc = false
 ticket_lifetime = 30d
 renew_lifetime = 7d
 forwardable = true

# for One-Way Trust with Active Directory
 permitted_enctypes   = des-cbc-crc des-cbc-md5 arcfour-hmac aes128-cts-hmac-sha1-96 aes256-cts-hmac-sha1-96
 udp_preference_limit = 1

[realms]
 EXAMPLE.COM = {
  kdc = or

hostname> admin_server = or hostname> } [domain_realm] .example.com = EXAMPLE.COM example.com = EXAMPLE.COM

ERROR

Traceback (most recent call last):
  File "<stdin>", line 4, in <module>
  File "/tmp/hound/hound/tbx/hoover/_hoover_price.py", line 75, in fetch_hoover_price
    verbose=verbose
  File "/tmp/hound/hound/tbx/odbc/_odbc.py", line 55, in execute
    autocommit=True
pyodbc.Error: ('08001', '[08001] [unixODBC][Hortonworks][ODBC] (10380) Unable to establish a connection with data source. Missing settings: {[Host] [Port]} (10380) (SQLDriverConnect)')

解決
.odbc.iniファイルの権限を見直す　777にするとか

Mac Juypter インストール時にエラー [Errno 1] Operation not permitted

noreply@blogger.com (Changyao Ye) — Tue, 14 Feb 2017 03:38:00 +0000

Mac Juypter インストール時にエラー [Errno 1] Operation not permitted Mac にJuypterをインストールしようとすると、以下のようなエラーが発生しました。

sudo pip install jupyter

Exception:
Traceback (most recent call last):
  File "/Library/Python/2.7/site-packages/pip/basecommand.py", line 215, in main
    status = self.run(options, args)
  File "/Library/Python/2.7/site-packages/pip/commands/install.py", line 342, in run
    prefix=options.prefix_path,
  File "/Library/Python/2.7/site-packages/pip/req/req_set.py", line 778, in install
    requirement.uninstall(auto_confirm=True)
  File "/Library/Python/2.7/site-packages/pip/req/req_install.py", line 754, in uninstall
    paths_to_remove.remove(auto_confirm)
  File "/Library/Python/2.7/site-packages/pip/req/req_uninstall.py", line 115, in remove
    renames(path, new_path)
  File "/Library/Python/2.7/site-packages/pip/utils/__init__.py", line 267, in renames
    shutil.move(old, new)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 299, in move
    copytree(src, real_dst, symlinks=True)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 208, in copytree
    raise Error, errors
Error: [('/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/_markerlib/__init__.py', '/tmp/pip-KoEdh2-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/_markerlib/__init__.py', "[Errno 1] Operation not permitted: '/tmp/pip-KoEdh2-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/_markerlib/__init__.py'"), ('/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/_markerlib/__init__.pyc', '/tmp/pip-KoEdh2-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/_markerlib/__init__.pyc', "[Errno 1] Operation not permitted: '/tmp/pip-KoEdh2-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/_markerlib/__init__.pyc'"), ('/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/_markerlib/markers.py', '/tmp/pip-KoEdh2-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/_markerlib/markers.py', "[Errno 1] Operation not permitted: '/tmp/pip-KoEdh2-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/_markerlib/markers.py'"), ('/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/_markerlib/markers.pyc', '/tmp/pip-KoEdh2-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/_markerlib/markers.pyc', "[Errno 1] Operation not permitted: '/tmp/pip-KoEdh2-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/_markerlib/markers.pyc'"), ('/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/_markerlib', '/tmp/pip-KoEdh2-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/_markerlib', "[Errno 1] Operation not permitted: '/tmp/pip-KoEdh2-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/_markerlib'")]

解決

python 再度インストール

brew reinstall python

再度実行で成功

AWS Lambda RDSにデータをInsertするとError発生時にアラート通知

noreply@blogger.com (Changyao Ye) — Sun, 12 Feb 2017 03:52:00 +0000

AWS Lambda RDSにデータをInsertするとError発生時にアラート通知 AWS　LambdaでRDSにデータをインサートする処理を実現しています。
正しくインサートするときに何もしなく、そのまま終了、
インサートするときにエラーが発生した場合は、Alertメールで通知したい。

Sample Code

var mysql = require('mysql');
exports.handler = function(event,context,callback){
    var No = event.No
    var Birth = event.Birth
    var Email = event.Email
    var Name = event.Name

    if(No == null || Birth == null || Email == null || Name == null){
        context.done('FAILED');
    }

    var connection = mysql.createConnection({
      host     : 'rds endpoint url', //RDSのエンドポイント
      user     : 'root', //MySQLのユーザ名
      password : 'password', //MySQLのパスワード
      database : 'db'
    });

    connection.connect();

    var insert_sql = "insert into User (No, Birth, Email, Name) value ('" + No + "','" + Birth +"','" + Email +"','" + Name + "')"
    connection.query(insert_sql, function(err, rows, fields) {
      if (err)
      {
        console.log("--err");
        console.log(err);
        callback(new Error("FAILED"));
      }
    });

    connection.end(function(err) {
        context.done('SUCCESSED');  
    });
}

Lambdaモニタリング設定

「Lambda　⇒　「関数」　⇒　「モニタリング」タブで【呼び出しエラー】というものがあります。

これを設定すればエラー発生したら、設定したメールアドレスにメールが飛びます。

エラー（Errors)
が>=1
を1回連続した場合

間隔：5分間
統計：Standard
などの値を設定し、通知の送信先を選択する。

これでうまくいくかと思いきゃ、実は成功のときも、エラーが通知されてしまいます。よくないね。いろいろ調べたところ、このエラーは以下の意味を示しています。
http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/lam-metricscollected.html

- 処理された例外 (context.fail(error) など)
- コードの終了を起こす処理されない例外
- メモリ不足例外
- タイムアウト
- 権限エラー

解決

ソースコードの以下の部分が悪かった。

 connection.end(function(err) {
        context.done('SUCCESSED');  
    });

これだと、実行後常にエラーメッセージSuccessedで以上終了してしまいます。
以下のように変更すれば、正常に終了されます。

 connection.end(function(err) {
        context.done();  
    });

結構ハマりました。

AWS Lambda connect ETIMEDOUT

noreply@blogger.com (Changyao Ye) — Fri, 03 Feb 2017 05:34:00 +0000

AWS Lambda connect ETIMEDOUT AWS LambdaでDB接続してデータをインサートするFunctionを書いていて、以下のような　ETIMEDOUTエラーが出力されました。エラーがあったが、処理自体は正常に行われてデータがちゃんとDBに挿入されてます。
Error

2017-02-03T05:11:32.012Z    c31fa576-e9cc-11e6-85b4-5dea6b0e5632    { [Error: connect ETIMEDOUT] errorno: 'ETIMEDOUT', code: 'ETIMEDOUT', syscall: 'connect', fatal: true }

Code

var mysql = require('mysql');
exports.handler = function(event,context,callback){
    var No = event.No
    var Birth = event.Birth
    var Email = event.Email
    var Name = event.Name

    if(No == null || Birth == null || Email == null || Name == null){
        context.done('FAILED');
    }

    var connection = mysql.createConnection({
      host     : 'rds endpoint url', //RDSのエンドポイント
      user     : 'root', //MySQLのユーザ名
      password : 'password', //MySQLのパスワード
      database : 'db'
    });

    connection.connect();

    var insert_sql = "insert into User (No, Birth, Email, Name) value ('" + No + "','" + Birth +"','" + Email +"','" + Name + "')"
    connection.query(insert_sql, function(err, rows, fields) {
      if (err)
      {
        console.log("--err");
        console.log(err);
        callback(new Error("FAILED"));
      }
    });

    connection.end(function(err) {
        context.done('SUCCESSED');
    });
}

いろいろ調べたのですが、LambdaのTimeout値を超えたとか、RDSへのアクセス権ないとか、いろいろありました。
自分の場合は、connection.connect() の一番先頭に持っていたらうまくいった。よくわからんけど。
以下の様な感じです。

var mysql = require('mysql');
exports.handler = function(event,context,callback){
    var connection = mysql.createConnection({
      host     : 'rds endpoint url', //RDSのエンドポイント
      user     : 'root', //MySQLのユーザ名
      password : 'password', //MySQLのパスワード
      database : 'db'
    });

    connection.connect();

    var No = event.No
    var Birth = event.Birth
    var Email = event.Email
    var Name = event.Name

    if(No == null || Birth == null || Email == null || Name == null){
        context.done('FAILED');
    }

    var insert_sql = "insert into User (No, Birth, Email, Name) value ('" + No + "','" + Birth +"','" + Email +"','" + Name + "')"
    connection.query(insert_sql, function(err, rows, fields) {
      if (err)
      {
        console.log("--err");
        console.log(err);
        callback(new Error("FAILED"));
      }
    });

    connection.end(function(err) {
        context.done('SUCCESSED');
    });
}

MatterMost hook executed successfully but returned http reponse 500

noreply@blogger.com (Changyao Ye) — Fri, 27 Jan 2017 06:02:00 +0000

MatterMost hook executed successfully but returned http reponse 500

Gitlab　オンプレミス版インストールしたので、内蔵されているSlcakのクローン版MatterMostとの連携をしてみました。

MatterMostを有効にする

デフォルトではMatterMostが無効になっているため、有効にする必要がある。

# vi /etc/gitlab/gitlab.rb
mattermost_external_url 'http://mattermost.test.com'

Gitlabと違うドメイン名が推奨されてますが、同じドメイン名でポート番号だけ変えればOK。

例えば
http://10.10.100.1:9999

GitlabをReconfigure

sudo gitlab-ctl reconfigure

これでURLからアクセスできるようになる。Teamを作って、招待リングを作って関係者招待すればOK

参考
https://docs.gitlab.com/omnibus/gitlab-mattermost/

GitlabとMatterMost連携

MatterMostでWebHookを有効

Teamを右クリック　→　System console　→　Service Settings　以下の項目をTrueにする

Enable Incoming Webhooks: true
When true, incoming webhooks will be allowed. To help combat phishing attacks, all posts from webhooks will be labelled by a BOT tag.
Enable Outgoing Webhooks: true
When true, outgoing webhooks will be allowed.
Enable Slash Commands: true
When true, user created slash commands will be allowed.
Enable Integrations for Admin Only: true
When true, user created integrations can only be created by admins.
Enable Overriding Usernames from Webhooks and Slash Commands: true
When true, webhooks and slash commands will be allowed to change the username they are posting as. Note, combined with allowing icon overriding, this could open users up to phishing attacks.
Enable Overriding Icon from Webhooks and Slash Commands: true

上記項目を有効にしないと、matterMostのIntegration画面が表示されない。

チャンネルごとにWebHook用URLを作成

Teamを右クリック　→　Account Settings →　Integrations →　Incoming Webhooks
対応チャネルを選択し、ADDで追加する。URLが表示されます。

GitlabでWebHook設定

最初に　Gitlabプロジェクト　→　Settings　→　WebHooks画面でMatterMostのURLを追加したのですが、以下のエラーが表示されます。

Error

hook executed successfully but returned http reponse 500

色々調べたところ、どうやら、Webhooks画面ではなく、Services画面でSlackを有効にして、MatterMostのWebhook URLとチャンネル名入力してできました。

解決

DO NOT create webhook in Gitlab from Projects Settings > Webhooks page.
DO create webhook from Projects Settings > Services > Slack page

AWS Create API Gateway　手順

noreply@blogger.com (Changyao Ye) — Mon, 23 Jan 2017 08:08:00 +0000

AWS Create API Gateway　手順 AWS API Gateway とLambda連携してDBにデータPush用API作成しておりまして、APIGatewayの手順をメモしておきます。
Lambdaの手順はずいぶん省略されましたが、こちらご参照ください。
https://viewse.blogspot.jp/2017/01/aws-lambda-process-exited-before.html

API作成　⇒　新しいAPI,　API名：push-api ⇒　API作成
リソースの作成　⇒　リソース名：applicant、リソースパス：/applicant　⇒　リソース作成
メソッドの作成　⇒　Post追加、統合タイプ：Lambda関数、Lambdaリージョン：eu-west-1、Lambda関数（入力）：UpdateApplicantInfo　⇒　保存
メソッド設定　⇒　メソッドリクエスト、APIキーの必要性：true
APIデプロイ　⇒　デプロイされるステージ：新しいステージ、ステージ名：v1　⇒　デプロイ
APIキー作成　⇒　push-api-key
使用プラン作成　⇒　名前：Usage Plan for push-api v１，スロットリングの有効化：無効、クオータを有効にする：無効　次へ　⇒　APIステージの追加、API：push-api、ステージ：v1、次へ ⇒　APIキーを使用量プランに追加、push－api－key、完了

大体こんな感じです。

Terraform Aws RDS parameter group 適用時エラー

noreply@blogger.com (Changyao Ye) — Mon, 23 Jan 2017 07:15:00 +0000

Terraform Aws RDS parameter group 適用時エラー TerrafromでAWS RDS作成時にDBパラメーターグループにパラメーターを指定してTerraform apply実行すると以下のエラーが出たりします。

sample .tf file

# Create parameter group for mariadb
resource "aws_db_parameter_group" "db-pg" {
    name = "test-mariadb10-1"
    family = "mariadb10.1"
    description = "mariadb parameter group for test project"

    parameter {
        name = "character-set-client-handshake"
        value = "0"
    }
    parameter {
        name = "character_set_client"
        value = "utf8"
    }
    parameter {
        name = "character_set_connection"
        value = "utf8"
    }
    parameter {
        name = "character_set_database"
        value = "utf8"
    }
    parameter {
        name = "character_set_results"
        value = "utf8"
    }
    parameter {
        name = "character_set_server"
        value = "utf8"
    }
    parameter {
        name = "log_bin_trust_function_creators"
        value = "1"
    }
    parameter {
        name = "max_allowed_packet"
        value = "10240000"
    }
    parameter {
        name = "skip-character-set-client-handshake"
        value = "1"
    }
}

terraform apply error

Error modifying DB Parameter Group: InvalidParameterCombination: cannot use immediate apply method for static parameter status code: 400

原因

DB再起動しないと適用できないパラメータの場合は、すぐ適用できないため、失敗する

解決策

apply_methodの値をpending-rebootに設定する。デフォルトではImmediateになっている

# Create parameter group for mariadb
resource "aws_db_parameter_group" "gmaridb-pg" {
    name = "test-mariadb10-1"
    family = "mariadb10.1"
    description = "mariadb parameter group for test project"

    parameter {
        name = "character-set-client-handshake"
        value = "0"
        //default is immediate
        apply_method = "pending-reboot" 
    }
    parameter {
        name = "character_set_client"
        value = "utf8"
        apply_method = "pending-reboot" 
    }
    parameter {
        name = "character_set_connection"
        value = "utf8"
        apply_method = "pending-reboot" 
    }
    parameter {
        name = "character_set_database"
        value = "utf8"
        apply_method = "pending-reboot" 
    }
    parameter {
        name = "character_set_results"
        value = "utf8"
        apply_method = "pending-reboot" 
    }
    parameter {
        name = "character_set_server"
        value = "utf8"
        apply_method = "pending-reboot" 
    }
    parameter {
        name = "log_bin_trust_function_creators"
        value = "1"
        apply_method = "pending-reboot" 
    }
    parameter {
        name = "max_allowed_packet"
        value = "10240000"
        apply_method = "pending-reboot" 
    }
    parameter {
        name = "skip-character-set-client-handshake"
        value = "1"
        apply_method = "pending-reboot" 
    }
}

Laravelでファイルの種類を限定してファイルをアップロードする

noreply@blogger.com (Changyao Ye) — Fri, 20 Jan 2017 06:08:00 +0000

Laravelでファイルの種類を限定してファイルをアップロードする Laravelでファイルアップロードサイトを作っていて、アップロードできるファイルの種類（画像、エクセルとか）を制限したいと思って、色々調べたのですが、以下のように簡単にできます。

Form sample

{!! Form::open(['class' => 'form-upload', 'url'=>'/upload/submit','files'=>true]) !!}

{{ Form::label('file','Upload a file.',array('id'=>'','class'=>'')) }}
    <div class="input-group">         
        <label class="input-group-btn">
        <span class="btn btn-primary">
            Select File
            {!! Form::file('file', ['style' => 'display: none;', 'accept' => '.jpg,.jpeg,.png,.gif,.pdf']) !!}
        </span>
        </label>
        <input style="width:350px;" type="text" class="form-control" readonly>
    </div>
    <br>
    
    <button class="btn btn-lg btn-primary" type="submit">Upload</button>
{!! Form::close() !!}

以下の一行でファイルの拡張子を指定することで、jpg, jpeg, png, gif, pdfのファイルだけを制御できます

{!! Form::file('file', ['style' => 'display: none;', 'accept' => '.jpg,.jpeg,.png,.gif,.pdf']) !!}

実際にブラウザでHTMLソースをみてみたら、Inputに変換されていることがわかります。

<span class="btn btn-primary">
    Select file
    <input style="display: none;" accept=".jpg,.jpeg,.png,.gif,.pdf" name="file_1" type="file">
</span>

JavaScript

他にJavaScriptでも制御できます。
例、Excelファイル（.xls、.xlsx）だけをアップロードできるようにする

<script type="text/javascript">

    function SetAccept() {
        document.getElementById("file").accept = "application/vnd.ms-excel,application/vnd.openxmlformats-officedocument.spreadsheetml.sheet";
    }
    SetAccept();
    </script>

imageだとimage/jpeg, image/gifなどを切り替えてよいです。
MIMEタイプ一覧をこちら参照できます。
http://www.geocities.co.jp/Hollywood/9752/mime.html

SE'S BOOK

BytePlusとは

BytePlusとは

BytePlusの製品一覧

BytePlus レコメンド

BytePlus Effects

BytePlus Live/MediaLive

BytePlus VoD

BytePlus RTC

BytePlus Video Editor

BytePlus AR

BytePlus VideoOne Solution

BytePlus CDN

BytePlus SMS

ByteHouse

最後

CDP 7.1でAtlasをインストール

Intel MKLのようなネイティブな数学ライブラリでSpark機械学習アルゴリズムを加速する

Native Math Libraries for Spark ML

Intel MKLのインストールと設定

Intel MKLインストール

mklWrapperのダウンロード

Spark Configuration

AmbariでSpark-default設定を追加

確認

HDP3 Hive Warehouse connectorを使ってSparkからHiveテーブルにアクセスする

Hive Warehouse Connector

HWC使うための設定

Zeppelin Spark Interpreterから接続する際の設定

Druidインストール後、Druid Coordinatorが起動失敗

NiFi1.8からNiFi1.9にアップグレードのメモ

MiNiFiでセンサーデータを取得し、NiFiに転送してHDFS、Hiveに書き込む

実現したいこと

環境情報

構成

全体データフロー

やってみよう

１、MiNiFiのセットアップ

２、センサーデータをPythonスクリプトで取得

３、NiFiでデータフローを作成し、MiNiFiに配布

４、NiFiでセンサーデータをRawデータとしてKafka経由でHDFSに保存する

５、NiFiでセンサーデータをHiveテーブルに保存する

６、NiFiでデータを加工し、温度が閾値を超えたら、Slackアラート通知する

最後のメモ: 事前準備

NiFi ReplaceTextプロセッサのReplacement Valueの書き方

FreeIPAとAmbari連携

FreeIPAのインストール

FreeIPAの管理画面

AmbariのLDAP設定

AmbariからLDAP同期

Ambariにログインして(admin/admin)、特定のユーザーにambariの管理権限を付与する

hadoopadminユーザーでAmbariにログインする

AmbariのMetrics monitor起動 due to AttributeError: 'module' object has no attribute 'boot_time'ｎ

解決策

Spark MLで作ったモデルをどうやってStormやFlinkで使うか

Ambari local login

Apache Arrowメモ

Druid起動時エラー

BeelineでHiveに接続する際のエラー

2018年振り返り

2018年振り返り

CentOS Pamでケルベロス認証 グループ制限

Hortonworks ODBCでHIVEServerに接続する設定手順

HortonWorksサイトからODBCドライバーをダウンロード

ODBCドライバーをインストール

.odbc.iniを作成

環境変数設定

参考Kerberos設定

ERROR

Mac Juypter インストール時にエラー [Errno 1] Operation not permitted

解決

AWS Lambda RDSにデータをInsertするとError発生時にアラート通知

Sample Code

Lambdaモニタリング設定

解決

AWS Lambda connect ETIMEDOUT

MatterMost hook executed successfully but returned http reponse 500

MatterMostを有効にする

GitlabとMatterMost連携

MatterMostでWebHookを有効

CentOS Pamでケルベロス認証グループ制限

AWS Create API Gateway　手順