티스토리 뷰
[아마존 -ec2] 해결 방법은 pathToPartitionInfo에서 dir을 찾을 수 없습니다 (EMR의 HIVE 테이블에서 선택 / 계산).
필살기쓰세요 2021. 2. 17. 14:48이것은 버그 인 것 같습니다. 버킷 루트를 사용하지 않으면 S3에서 작동 할 수 있지만 HDFS (hdfs : /// path / to / folder /와 같은 것)에서 작동 할 수 없습니다. https : // issues .apache.org / jira / browse / HIVE-7774
Hive 0.14에서 버그가 수정되었으므로 그 이상의 버전을 사용해야합니다.
AWS의 맥락에서
여기에서 샘플 코드를 따르는 경우 : http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/calling-emr-with-java-sdk.html 아마도 Hive 0.13. *을 사용하고있을 것입니다. 다음을 참조하십시오. http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/UsingEMR_SupportedHiveVersions.html
대신 새 AMI 버전으로 클러스터를 생성하는 새로운 방법을 보여주는이 링크를 따라갈 수 있습니다. http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-4.5.0/emr-release-differences.html # emr-release-label
"release-lable"4 또는 5의 경우 문제를 해결해야하는 새 Hive 버전을 얻을 수 있습니다. EMR (AMI)에서 하이브 버전으로 매핑하려면 http://docs.aws.amazon.com//ElasticMapReduce/를 참조하십시오. latest / ReleaseGuide / emr-release-components.html
-------------------같은 문제가 발생했지만 s3의 하위 디렉토리를 사용하여 문제를 해결했습니다. 따라서 "s3n : // OperationOverkill / subdir /"과 같은 파일에 파일을 넣고 사용하려고합니다.
출처
https://stackoverflow.com/questions/39940055