一、先对比两个版本中的jar包差异 由于代码版本兼容的问题，需要记录好原来的包以及升级后的包之间的差异。比如jackson编解码问题，由于版本不同造成的编码错误。此外，DophinSchedur的版本升级，导致ZK必须要升级为3.4.13的版本。之前这些兼容问题，已经做过很多调试，本次升级仅仅是为了解决hive动态分区的问题，至于能否解决还需要看后续的情况。 二、修改配置文件 在hive/conf目录中，执行下面命令，先把文件名改为正式可用的文件名： 1234567mv beeline-log4j2.properties.template beeline-log4j2.propertiesmv hive-exec-log4j2.properties.template hive-exec-log4j2.propertiesmv hive-default.xml.template hive-default.xmlmv hive-log4j2.properties.template hive-log4j2.propertiesmv hive-env.sh.template hive- ...

一、xsync同步脚本 xsync脚本是复制单个文件或者目录到其他服务器相同目录的快捷高效的脚本，我们需要在在/usr/local/bin目录下创建xsync文件。如果我们的服务器的hostname是hadoop001、hadoop002、hadoop003，那么文件内容如下写便可： 123456789101112131415161718192021222324252627282930#! /bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo 请输入需要同步到集群的文件名! exit;fi#2. 遍历集群所有机器for host in hadoop001 hadoop002 hadoop003do echo ======================== $host ======================== #3. 遍历所有目录，挨个发送文件 for file in $@ do #4. 判断文件是否存在 if [ -e $file ] then ...

0x00 批量上传脚本 通过DS的文件上传接口，制作批量上传文件的脚本。init方法中的token需要改为自己的token，DS在导航安全中心->令牌管理中可以创建token。 12345678910111213141516171819202122232425262728293031323334353637383940414243import osimport requestsimport json class UploadScript2DS: def __init__(self, local_path): self.headers = { 'token':'xxxxx' } self.host = "http://hadoop003:12345" self.local_path = local_path def upload_signle_dir(self, pid, current_dir,decs=No ...

hive元数据存储选择了mysql，默认字符键编码是拉丁文，建表时的中文注释，显示为乱码，需要修改mysql中标的字符集编码。 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374-- alter database hive default character set utf8; alter table AUX_TABLE default character set utf8;alter table BUCKETING_COLS default character set utf8;alter table CDS default character set utf8;alter table COLUMNS_V2 default character set utf8;alter table DATABASE_PARAMS default character set ...

原文已发布在微信公众号：融媒体技术社 文章链接：https://mp.weixin.qq.com/s?__biz=MzAwMzY3NDY1Ng==&mid=2647660979&idx=1&sn=d8266a96c07ea5061938192d0f1465c3&chksm=83133efcb464b7ea109f224908781675a613ee50f8abddffb89f72a2afb6667c76e92d76914d#rd 1 DataX配置说明 数据仓库中有7700万的数据需要从hive同步到业务的MySql库，选择DataX作为同步工具，DS作为任务调度平台。在DS中拖拽datax的组件，选择自定义模板，并将脚本生成的datax的json配置粘贴到JSON配置栏中，配置内容如下（已删掉额外信息）： 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566 ...

环保处罚的中，各地行政在描述处罚内容时，对于处罚金额的写法各种各样，然而最多的还是大写数字金额。 1.违法排放大气污染物环境违法行为处以人民币壹拾伍万元（￥150000.00）罚款；2.违法排放水污染物环境违法行为处以人民币叁拾伍万元（￥350000.00）罚款。两项合并处罚人民币伍拾万元（￥500000.00）罚款。 2018年4月14日至4月15、17日、19日至28日共计13天，每天处以罚款壹拾万元，共计处以罚款壹佰叁拾万元整。同时，责令你公司立即改正以上违法行为 罚款：20万元；其他：责令改正违法行为 罚款人民币拾万元整（?100,000元） 罚款人民币35,000元 罚款人民币2，000元 罚款人民币0.232万元 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990with punis ...

法律诉讼中，判决日期中出现汉字日期、全角日期、错误字符等数据。光是0的形式就有很多种：Ο○o〇零。 二〇二〇年十一月二十四日 二0一七年九月二十二日 二 ○ 二 ○ 年 六 月 三 日 二〇一九年五月二十二日 执行员　　陈　良 早期版本的写法如下，300万数据，执行时长约为12个多小时后，而且卡着不动，最终kill了这个任务： 1234567891011121314151617select cid, case_reason, full2half(replace(SUBSTR(COALESCE(trim(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace( CONCAT(split(judge_time,'年')[0], if(length(regexp_replace(regexp_replace(split(split(judge_time,'年')[1],' ...

配置调度任务告警机器人，如果使用wechat插件，需要企业在微信中生成的秘钥，秘钥只有公司管理员才会生成，鉴于执行太过麻烦，因此直接通过webhook的方式配置机器人。 0X00 开通群组机器 在企业微信的群组中，在右上角的三个小点点中，点击下拉找到“添加群机器人”，生成一条webhook url。下图中左侧是告警的实际效果。 0X01 编写脚本 参考企微SDK接口，配合大数据调度平台的script alter的能力，编写符合SDK接口数据的格式。下面是一些常见的告警内容，dolphinAlterServer通过-c参数传入脚本，特别说明，DAS传入三个参数，-t 是告警标题，-c 是告警内容，-p 是用户自定义参数。 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576// 告警内容格式1：[ { "pr ...