46 Star 107 Fork 29

Angus / es_data_export

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
export.properties 3.05 KB
一键复制 编辑 原始数据 按行查看 历史
Angus 提交于 2019-01-03 09:50 . No commit message
####################################常规设置######################################################
#获取数据线程数据,最大不超过索引的shards数量和CPU数量,默认为1
common.thread_size=3
#################################导出数据ES集群地址###################################################
elasticsearch.hosts=192.169.2.98:9200,192.169.2.156:9200,192.169.2.188:9200
#数据索引
elasticsearch.index=pb_sa_phone
#索引type,无则可留空
elasticsearch.document_type=pb_sa_phone
#查询条件,默认:{"size":10000}
elasticsearch.query={"size":10000}
#取哪些字段的数据,逗号隔开,如果全部取则设为空,也可以自行写在elasticsearch.query的查询条件里面
#elasticsearch.includes=
#####如有帐号密码则填写#####
#elasticsearch.username=
#elasticsearch.password=
#####SSL,如有需要就设置,不需要忽略即可#####
#elasticsearch.ssl_type=
#elasticsearch.ssl_keystorepath=
#elasticsearch.ssl_keystorepass=
############################################导出文件的设置############################################
##是否启用
file.enabled=true
#输出源数据形式,目前支持json、txt,sql,如果为txt字段间是用逗号隔开,默认:json
file.datalayout=json
#####以下是dataLayout=txt的自定义设置######
#字段以什么分割,不设置则默认英文逗号隔开
#file.field_split=,
#字段输出顺序(datalayout=txt的时候设置起效,防止数据混乱),必须和索引表字段名一样,逗号隔开
#file.field_sort=phone
#输出为txt时候需要字段名字,默认:false,需要的时候以此形式输出类似:fieldName1=fieldValue1,fieldName2=fieldValue2
#file.need_field_name=false
#####以下是datalayout=sql自定义设置######
#file.sql_format=INSERT INTO test (phone,msgcode,spnumber) VALUES (#param{phone},#param{msgcode},#param{spnumber});
#是否需要换行,默认:true
file.linefeed=true
#数据输出文件路径
file.filepath=F:\\pb_sa_phone
####文件名,无则取默认ES的index名,不需要写后缀
file.filename=pb_sa_phone
#每个文件多大进行分割,需要则设置该项,实际是有误差的,单位:KB
file.max_filesize=102400
#自定义字段名,将库里该字段取出来后换为该字段名,原字段名:替换后的字段名,多个逗号隔开,如phone:telphone
#file.custom_field_name=
#######################################ES转移数据到DB########################################################
##是否启用
db.enabled=true
##驱动jar包地址
db.jdbc_driver_library=lib/mysql-connector-java-5.1.47.jar
##数据库连接
db.jdbc_connection_string=jdbc:mysql://192.169.0.23:3306/dblog?useUnicode=true&characterEncoding=utf8
##驱动程序
db.jdbc_driver_class=com.mysql.jdbc.Driver
##数据库帐号
db.jdbc_user=root
##数据库密码
db.jdbc_password=123456
##插入数据模版,其中#param{ES字段}来取ES的值
db.jdbc_template=INSERT INTO test111 (name) VALUES (#param{simuid})
##单批次最大插入多少,默认10000
#db.jdbc_size=10000
##同时写DB线程数,默认1
db.jdbc_write_thread_size=3
Java
1
https://gitee.com/hongjie95/es_data_export.git
git@gitee.com:hongjie95/es_data_export.git
hongjie95
es_data_export
es_data_export
master

搜索帮助